질문은 LLM이, 답은 내가 - LLM을 활용한 사고확장 자기계발 방법 추천 (Prompted by AI, Answered by Me)

목차

 

 

  사내 세미나로 진행한 내용을 발표 스크립트와 함께 작성한 내용 입니다. pdf만 보거나 다운받으시려면 이 글에 있습니다.

 

요약

1. 전통적인 필기, 메모, 밑줄긋기 방법은 장기기억 전환에 한계가 있다.

2. 비판적으로 읽기, 이전 내 경험과 비교, 하브루타 공부법 등 전통적 방법을 개선할 방법이 존재하지만 자기계발 시 모르는 내용에 대해 혼자하긴 다소 어렵다.

3. 그래서 많이들 고급 검색엔진으로써 LLM을 활용해보지만, 인공지능 환각(할루시네이션) 현상 때문에, 답변을 받은 사람이 스스로 판단할 수 있는 능력이 필요하다.

4. 역으로 LLM에게 질문을 시키고, 내가 답변하는 방식을 추천한다. 이 방식은 단순히 정보를 얻는 걸 넘어서, 내 사고력을 훈련하고 장기기억으로 전환하는 데 도움이 된다.

 

 

Summary (English)

1. Traditional learning methods such as note-taking, highlighting, and underlining have limitations when it comes to long-term memory retention.

2. Techniques like critical reading, comparing with personal experiences, or using methods like Havruta can help, but they are hard to apply alone, especially when learning something new.

3. Many try to use LLMs as advanced search engines, but hallucination issues make it essential for users to critically verify the answers.

4. Instead, I recommend a reversed approach: let the LLM ask the questions, and I answer them.
This method helps train critical thinking and turns knowledge into long-term memory more effectively.

 

 

서론

 

※ 주의 : 제 개인적인 생각에 대해 소개하는 세미나 입니다. 실제 논문을 찾고 인용달며 작성한게 아니므로,
사실과 다른 내용이 있을 수 있습니다. 그냥 개인의 자기계발 방법 중 하나라고 생각하시면 됩니다.
들어보고 괜찮은 것 같다면 한번 시도해보세요. 의외로 본인에게 잘 맞을지도 모릅니다.

 

 

 

14자리의 숫자를 5초만에 외우는건 많이 힘듭니다.

 

 

 

하지만 이런 숫자를 기존 기억에 있던 것과 연결지으실 수 있다면, 더 빠르게 기억에 남고 또 오래 남게 됩니다.

127.0.0.1 / 192.168.0.1 -> 눈치 채신 분들도 있으실 것 같습니다.

 

 

 

10개의 단어를 순서와, 단어 모두 외우는건 어떨까요?

외운 후에 "오징어는 몇번이었어?", "10번은 뭐였어?" 이런 질문에 답할 수 있어야 합니다.

물론 그냥 외우는건 어렵겠죠.

 

 

 

그냥 외우는 것 보다는, 연상해서 외우는게 더 잘 외워지고 또 오래갑니다.

 

 

 

기억은 단순히 보거나 듣는 것 보다 직접 사고할 때 더 오래남게 됩니다.

 

 

전통적 자기계발 방법

책을 보며 밑줄, 필기.

강의를 보며 요약, 메모.

이런건 사실 기억에 오래남기 힘듭니다. 단기기억에만 머무르기 쉽죠.

 

 

 

한번쯤 보셨을 에빙하우스 망각곡선 입니다.

단순한 밑줄, 필기, 요약, 메모 같은건 복습을 해야만 장기기억으로 전환이 됩니다.

 

 

 

문제는 개발쪽은 공부할게 참 많다는거죠.

자바로만 검색 후에 eBook 제외해도 1400권이 나오네요. 다른 분야까지 하면 뭐 몇만권은 가볍게 넘을껍니다.

물론 다 볼 필요는 없겠지만, 유명한것만 쳐도 수백권은 나오죠.

근데, 새로운 기술은 계속해서 나옵니다.

기술 뿐 아니라 객체지향 설계, 인프라, DB, 네트워크, OS 같은 CS, 알고리즘, .. 참 많죠.

이걸 다 복습하고 있긴 힘들죠. 한번 공부할 때 효율을 챙기는게 좋습니다.

 

 

 

물론 전통적 방식에서도 좀 더 빠르게 장기기억으로 전환시키는 효율적 방법들이 있습니다.

비판적으로 읽기, 책 내용 보기전에 예상해보기, 이전 내 경헙과 비교, 판단하며 읽기, 토론 이런 것들이죠.

 

예를들어 책 내용 중 내 생각과 다른부분에 대해 저자에게 반대하듯 적어본다거나,

챕터 제목이나 소제목만 보고 "음.. 이런 내용 나오겠네" 라고 예상해보거나,

아 "저자가 말하는 이건 최근에 내가 해봤지ㅋ"

이런식으로 공부하는거죠.

 

추가로 개인적으로는 대학교때부터 미래의 저와 대화하듯 구어체로 필기를 하는데, 이것도 효과가 좋은 것 같습니다.

문제는 덕분에 쪽팔려서 남한테 필기를 못보여줬죠.ㅋㅋ

 

아무튼 문제는 자기계발 자체가 주로 본인이 잘 모르는 부분에 대해 공부하는건데, 저걸 혼자 해내긴 좀 힘듭니다.

 

 

 

토론과 관련해서는, 하브루타 공부법이란 단어도 있습니다.

친구와 서로 질문하고 토론하며 공부하는 방법입니다. 물론 이것도 좋죠.

하지만 같이할 사람이 없거나, 서로 흥미로워 하는 분야가 다를 수 있습니다.

또한 개발서의 난이도와 서로의 배경지식에 따라 질문이나 토론이 힘들 수 있습니다.

 

 

고급 검색엔진으로써의 LLM

그래서 많은 분들이 '고급 검색엔진'으로써 AI (LLM)을 사용합니다.

물론 저도 그런식으로 많이 사용했죠.

하지만 인공지능에는 인공지능 환각(할루시네이션)이라는게 존재합니다.

 

지금 보여드리는 답변도, 대부분 맞지만 미묘하게 틀린 부분이 있습니다.

TMI로 말해보자면, 설명 자체는 잘 했으나, 설명에 사용한 '선택도'와, LLM이 높다, 낮다를 말할 때 사용한 '선택도'가 서로 다른 선택도라는 점입니다. 전자는 '선택도 = 조건에 맞는 행 수 / 전체 행 수', 후자는 '카디널리티(해당 칼럼에서 유니크한 값의 수) / 전체 행 수'를 기준으로 얘기하고 있습니다.

 

실제로 구글에서 'DB 선택도'로 검색해보시면 글들이 높다, 낮다 엄청 섞여있죠. 실제론 '선택도' 자체론 의미가 없고, 어떤 선택도를 기준으로 말하는건지 글을 보고 파악이 필요합니다. 자기계발 중에 책에 'DB 선택도'가 나와서 LLM에 검색했더니 저렇게 말했다면, 이후 많이 헷갈리겠죠. 

 

 

 

LLM을 '사실을 알려주는' 고급 검색엔진이라 생각하고 사용하시려면,

곧이곧대로 다 믿지 않고 스스로도 판단하는 능력이 필요합니다.

그치만 보통 자기계발 시 자신이 잘 모르는걸 보는거라 판단하기 쉽지 않습니다.

 

 

 

여기서 문제가 발생하는데, 할루시네이션이 0.1%만 발생했더라도 전체적으로 신뢰도가 감소하게 됩니다.

왜냐하면 본인이 잘 모르는 내용에 대해 질문하고 받은 답변 중 0.1%가 틀렸다고 하면,

애초에 본인도 잘 모르는 내용이라 어디가 틀린지 알 수 없으니 전부 확인하는 수 밖에 없거든요.

 

 

 

파트너로써의 LLM - 질문은 LLM이, 답은 내가

반면에 제가 생각하는 LLM의 가장 큰 장점은 무언가 논리적인 판단을 시킬 때, 논리력이 매우 뛰어나다는 점 입니다.

즉, 제가 생각한걸 LLM이 논리적으로 판단하게 하는게 더 좋은 방법이라고 생각합니다.

 

이걸 자기계발과 접목시켜보자면

내가 질문하고 '사실'을 LLM에게 답하게 하는 것 보다,

LLM한테 질문을 하라고 시키고 내가 대답한 후 LLM이 논리적으로 판단하게 하는게 더 좋다고 생각합니다.

 

즉, 하브루타 공부법의 파트너와 같은 존재로 LLM을 바라보는거죠.

 

 

 

어떤식으로 하는건지 순서를 적어보겠습니다.

주의점은 이건 하나의 방법입니다.

'활용 예시'를 보시면 알겠지만, 본인의 현재 배경지식이나 책의 성격에 따라 저도 매번 방법을 조금씩 바꿔가며 사용하고 있습니다.

 

 

 

Step 1. 우선 책을 읽거나, 강의를 보며 평소 취향대로 밑줄 긋고 필기하거나 정리합니다.

 

 

 

Step 2. LLM에게 질문을 생성해달라고 합니다.

목차만 주고 생성하게 해도 좋고, 해당 챕터를 읽은 후 본인의 생각을 말하고 생성시켜도 좋습니다.

전자는 책이나 내 생각에 LLM의 대답이 매몰되지 않아서, 좀 더 다양한 시각에서 질문을 받을 수 있습니다.

후자는 본인에게 좀 더 심화적인 질문을 받을 때 좋습니다.

 

질문 받기를 통해, 본인이 이해한걸 말로 설명할 수 있는지 확인할 수 있고, 내가 생각하지 못한 관점의 질문을 받아볼 수 있습니다.

참고로 어떤 내용에 대해 알긴 아는데 뭔가 말로는 표현 못하는 경우가 있으실텐데, 보통 10을 말하고 싶다면, 15~20정돈 알아야 하기 때문에 그렇습니다.

 

 

 

Step 3. LLM의 질문에 답하면서, 최대한 본인의 경험이나 이전 지식과 연결하여 사고해보세요.

처음엔 질문에 답하기 엄청 막막하실 수 있습니다. 하지만 일단 글로 표현해보기 시작하면, 생각보다 잘 써진다는걸 느끼실 수 있을꺼에요.

특히 LLM은 익명으로 답변할 수 있으면서도, 논리적으로 판단해줄 수 있는 존재 입니다.

따라서 틀려도 상관없고 몰라도 상관없습니다. 부담없이 본인의 생각을 표출해볼 수 있는거죠.

 

 

 

Step 4. 다음으로 제가 적은 답변에 대한 LLM의 판단을 요청하는겁니다.

 

참고로 저의 경우 자꾸 얘가 철자 틀린거나 어법 어색한거 지적할 때도 있어서, "문맥이나 맞춤법은 봐주지 말고, 개발적으로 틀렸다고 생각하는 내용이나 일반적인 개발자들의 생각과 다른 부분에 대해 알려줘" 이런식으로 말해두는 편입니다.

프롬프트 설정은 본인의 취향대로 하시면 되긴한데, 너무 비판적으로만 봐달라고 하시면 LLM이 억까해서 괜히 기분만 나빠지고 얻는것도 없습니다. 그렇다고 반대로 어떻게든 긍정해달라고 해서도 안되겠죠 ㅋㅋ

 

LLM은 보통 좋다고 판단한 지점, 보완할 점, 추가로 내게 물어보고 싶은 질문을 주게 됩니다.

이렇게 토론을 주고 받을 수 있고, 이 과정을 통해 내가 쓴 답변을 좀 더 정제할 수 있습니다. 또 잘못 생각한 부분을 확인할 키워드도 얻게되죠.

 

 

 

Step 5. 가능하다면 블로그 등에 포스팅을 해보시는 것도 좋습니다.

LLM과 주고받은 내용을 포스팅하기 위해 다시한번 정제시키는 과정에서 다시한번 내용들을 살펴볼 수 있어서 좋습니다.

 

 

 

그럼 역으로 질문을 받고, 내가 답변하고 판단시키는 과정에서는 인공지능 환각(할루시네이션)이 없을까요?

그렇진 않겠죠.

 

하지만 처음부터 '사실'을 물어본다면 할루시네이션으로 인해 어디가 틀린지 알기 힘듭니다. 전체에 대한 검증이 필요하죠.

 

반면에 정답이 없는 '내 생각'을 LLM이 판단하게 한 후, 틀린점이나 보완할점을 듣는다면, 범위가 확연히 줄어들게 됩니다. 또한 LLM의 말의 진위여부와 상관없이 기본적으로 내 사고는 향상되었고, 스스로 사고했기에 장기기억으로 전환될 확률을 높힐 수 있죠.

 

 

 

활용 예시

이제 제 최근 2개월 가량의 활용예시를 보여드리겠습니다. 위 Step 방식에서 책과 제 현재 지식에 따라 조금씩 방법을 바꿔가며 LLM을 활용한걸 보실 수 있으실꺼에요.

 

주니어 백엔드 개발자가 반드시 알아야 할 실무 지식 책은 별도로 질문을 받지 않고, 제가 책을 읽으며 제 생각을 쭉 말하고 LLM이 평가하도록 했습니다. 애초에 책 자체만으로도 생각해볼만한 지점이 많다고 생각했거든요. 참고로 이번년도 5월쯤 나온 책인데, 상당히 좋습니다. 추천드립니다.

 

관련 글 : 주니어 백엔드 개발자가 반드시 알아야 할 실무 지식'을 읽고 떠오른 내 생각들

 

 

 

다음은 육각형 개발자 책 입니다. 직전의 주니어 백엔드 책을 보고 괜찮은 것 같아서, 이 저자분의 이전책을 읽어보려고 한거였습니다. 근데 개인적으론 이미 대부분 알고 있던 내용이었습니다. 그래서 이번엔 제 생각을 말하기 전에 LLM에게 챕터별로 목차만 주고 질문을 생성하게 한 후 답변했습니다.

 

그렇게 한 이유는 책 내용만 봐서는 제게 큰 인사이트가 없을거라 생각해서, 책 내용 + @를 얻기 위해서는 책과 다른 시각에서 생각해볼 필요가 있다고 생각했기 때문입니다. 따라서 제 생각이나 책 내용에 매몰되지 않고 LLM이 질문을 생성하게 하기 위해, 우선 목차만 주고 질문을 생성하게 했습니다. 그 후 제가 답변하고 LLM이 평가하게 했죠.

 

관련 글 : LLM과 개발 책을 읽으며 든 내 생각 - 개발자식 하브루타 독서

 

 

 

다음으로 객체지향 시스템 디자인 원칙 책 입니다. 이펙티브 소프트웨어 테스팅 책을 쓰신 저자분의 신간인데, 6월 말쯤 나왔습니다. 이 책도 추천드립니다. 다만 클린 아키텍처, 헥사고날 아키텍처, DDD에 대한 기본 지식이 있어야 읽기 좋습니다.

 

이 책은 제가 먼저 읽고 제 생각을 책에 나와 있는 질문 형태의 연습문제와 함께 LLM에게 줬습니다. 그리고 LLM에게 제 현재 지식에 알맞게 심화 질문을 주도록 하고, 제가 답변하고 토론을 이어갔습니다.

 

그렇게 한 이유는 대부분 아는 내용이긴 했으나, 다양한 객체지향 개념들이 섞여서 나오는 책이다보니 '어렴풋이'알고 있는 부분에 대해 정리하고 싶었기 때문입니다. 즉, 기존 제 지식들을 연결시킬 필요가 있었기 때문입니다. 참고로 관련글은 5만자 정도의 분량입니다. 자기전에 수면제 대용으로 쓰시면 좋습니다.

 

관련 글 : '객체지향 시스템 디자인 원칙'을 읽으며 정리한 내 생각 - LLM과의 Q&A 기반 사고 확장

 

 

 

다음은 최근 보고 있는 가상 면접 사례로 배우는 대규모 시스템 설계 기초 책 입니다.

아직 초반이라 뒷부분까지 지속 가능할지는 모르겠으나, 가상면접이 주제인 책인만큼 가상면접 주제만 보고, 책 내용을 보지 않은상태로 LLM과 가상면접을 진행해봤습니다. LLM을 면접관으로 생각하고, 제가 면접을 보는거죠. 그 후 책을 다시 보고, 제 LLM과의 가상면접 경험과 책의 내용을 비교해봤습니다.

 

사실 이건 별다른 이유보다는, 그냥 책 제목이 '가상 면접 사례로 배우는' 이라서 이 방식이 재밌을 것 같았기 때문입니다.

 

 

 

기대효과

이런식으로 읽을 때의 기대효과를 얘기드리겠습니다. 사실 뭐 논문 인용한것도 아니고 그냥 제 생각이라 틀린부분이 있을 수도 있습니다.

 

처음 서론에서 얘기드린 것 처럼, 기존의 지식과 연결짓거나 스스로 사고하는 과정에서 단기기억이 장기기억으로 더 쉽게 전환됩니다.

 

또 사고력 자체가 향상됩니다. 특히 LLM은 실제 사람이 아니기에 눈치보지 말고 그냥 익명으로 말하듯이 아무렇게나 말해도 됩니다. 틀려도 전혀 상관 없거든요.

 

나와 다른 관점에서 평가를 해주기에, '내가 뭘 알고 있고, 뭘 모르는지' 알기 좋습니다. 즉 메타인지에 도움이 됩니다. 원래 모르는건 상관없는데, '뭘 모르는지 모르는건' 스스로 고칠 방법이 없거든요.

 

무언가를 10만큼 설명하고 싶다면, 실제론 15~20정도 알아야 가능합니다. 많이들 대충 알고 있는거 같은데, 말로 설명이 안되는 경험이 있으실껍니다. 그게 이 이유 때문입니다. 질문을 받고, 답변을 고민하고, 다른 시각에서 판단 및 반론을 들어본 후 다시 정리하는 과정을 통해 이런 '막연한 지식'이 '정제된 인사이트'가 됩니다.

 

요즘 유투브 쇼츠 한번 손에 들면 몇시간동안 보시는 분들도 있으실껍니다. 지식도 원래 INPUT과 OUTPUT의 균형이 있는게 좋거든요. 유투브 쇼츠같은건 INPUT만 무한정 주어지는 셈이죠. 직접 답변하는 과정에서, 정보 소비자에서 지식 생산자로 스스로 변화 해볼 수 있습니다.

 

 

 

뭐 장황한 설명들은 다 필요없구요. 마무리로 기본적인 방법만 다시한번 알려드리겠습니다.

LLM에게 '사실'을 묻지 마시고,

LLM에게 질문을 시키세요.

그리고 스스로 답하는 겁니다. 이 때 틀려도 전혀 상관없습니다.

이런 과정을 통해 사고 연결이 훈련되고

결국 기억, 성장이 함께 따라오게 됩니다.

 

 

 

감사합니다.

 

 

 

세미나 후 질문

세미나 후 질문은 다음과 같이 나왔습니다.

참고로 회의 등으로 못들은 팀들이 있어서 다음주에 2차로 같은 내용으로 할꺼라, 현재 올린 내용엔 질문 중 일부는 이미 보완해두었습니다.

 

1. 모델 뭐 쓰시는지? -> chatGpt 4o 쓰고 있습니다. 사실 별 이유는 없고, 친구중에 AI researcher로 간 녀석이 "GPT는 이미 버전 100까지 만들어놓고 시장 상황보고 살짝씩 푸는거같아" 라고 했기 때문입니다. ㅋㅋ 물론 걔도 여러개 동시에 쓰긴 합니다.

 

2. 프롬프트 어떤식? -> 이건 이미 보완해뒀습니다.

 

3. 이런식으로 활용하더라도, 결국 할루시네이션은 피할 수 없지 않나? -> 이걸 예상하고 '파트너로써의 LLM - 질문은 LLM이, 답은 내가' 부분 마지막장에 글을 적어뒀었는데, 처음엔 제대로 안적어놔서 질문이 나올만 했습니다. 이 부분도 보완해뒀습니다.

 

...

 

 

 

Reference

- 모든 이미지 생성 : chatGpt 4o

블로그 마스코트로 제가 대충 그림판에 그린 곰돌이를 쓰고 있습니다. 그 이미지를 주고 생성시켰습니다.

 

- 에빙하우스 망각곡선 : 나무위키 - 망각 곡선

 

- 하브루타 공부법 : 친누나의 교육자료(?)

 

- 참고로 맨 처음에 나온 14자리 숫자 외우기 이거는 human benchmark 사이트에서 직접 해보실 수 있습니다. 재밌습니다.

 

 

그 외엔 대충 제가 생각난대로 지어낸거라 딱히 레퍼런스는 없습니다.

 

 

 

 

읽어주셔서 감사합니다.