👉 AI 기초 개념들을 소개하는 Baseline에서는, 생성형AI의 작동 방식을 설명합니다.
👉 AI를 가지고 노는 Playground에서는, NotebookLM으로 공부하는 법을 소개해드려요.
👉 What's News?에서는 4월 3주차 최신 뉴스와 소식들을 큐레이팅했어요.
#생성형AI의 작동 방식
#Next token prediction
LLM은 텍스트를 받아 텍스트를 뱉어냅니다. 무슨 텍스트를 뱉을지는 어떻게 결정할까요? 바로 다음에 올 단어를 ‘예측’을 해서 내뱉습니다. 이러한 예측은 이전에 받았던 훈련 데이터에 기반으로 합니다. 정리해보면 LLM은 순차적인 텍스트를 입력으로 받아 훈련 데이터에 기반하여 다음에 올 단어(토큰)을 예측하는 ‘예측 엔진’입니다. (토큰은 다음 편에 따로 다룰 예정이며, 이번 편에서는 토큰 대신 단어라고 표현하겠습니다.)
“한국의 수도는”이라는 텍스트를 입력했을 때, LLM 안에서는 어떤 일이 벌어질까요. LLM 안에는 어휘 집합(vocabulary)을 가지고 있으며, 이 중에서 다음에 올 단어를 예측합니다. 그리고 엄청난 계산력으로 어휘 집합에 있는 모든 단어마다 “한국의 수도는” 뒤에 올 수 있을 확률을 계산합니다. “가”는 0.001%, “가나”는 0.001% … 이런 식으로 모든 가능한 단어에 대한 확률 분포를 만드는데, 그중에서 가장 확률이 높게 나온 단어들을 선택합니다. 가장 높은 확률을 가지고 있는 단어가 “서울”이기 때문에 LLM은 서울을 선택하여 “한국의 수도는 서울”이 됩니다.
이렇게 단어 하나를 추가한 다음에는 그 다음 단어를 맞추기 위해 예측 과정을 반복합니다. “한국의 수도는 서울”이라는 텍스트 뒤에 올 수 있는 단어들에 대한 확률을 다시 계산을 합니다. 그 결과 “입니다”가 가장 높게 나오면 “한국의 수도는 서울입니다”가 완성이 되는 것이죠.
이처럼 LLM이 다음 단어를 예측할 때에는 현재까지 생성된 모든 토큰들(문맥)과, 학습 과정에서 접한 패턴과 정보(학습 데이터)를 고려합니다. 이 과정을 반복하며 텍스트가 순차적으로 구성되고, 각 예측은 이전 예측의 결과를 고려해 이루어집니다.
참고로 GPT의 약자는 Generative Pre-trained Transformer로, 여기서 Transformer는 전체 문맥을 이해하고 다음 토큰을 예측하는 핵심 알고리즘 구조입니다. Claude, Gemini, Grok 등 현재 주목받는 대부분의 LLM들 역시 모두 이 Transformer 아키텍처를 기반으로 하고 있습니다.
놀라울 정도로 유창한 대화를 이어가는 오늘날의 AI 모델들 속에는 이처럼 '전체 문맥을 고려해 다음 단어를 예측한다'는 간단하면서도 강력한 원리가 담겨 있다는 점! 복잡해 보이는 AI의 능력도 결국은 이런 기본 원리에서 출발한다는 게 흥미롭습니다.
#공부할 땐 NotebookLM
“이걸 언제 다 읽지! 여기서 나한테 필요한 정보만 찾을 수 없나?”
PDF 파일을 열었는데 100페이지가 넘을 때 느껴지는 막막한 그 기분. 다들 잘 아시죠?
저 역시도 너무나 잘 알고 있는 고통인데요. 자료조사를 하다 보면 무수히 많은 보고서나 논문, 파일을 접합니다. 그래서 처음 NotebookLM을 접했을 때 신세계를 경험했습니다. 제가 NotebookLM을 쓰는 방법을 공유해드릴께요! (사용하기 굉장히 편리하게 UI가 구성되어 있어 몇 번만 딸칵 해도 다들 금방 익숙해지실 겁니다.)
1. 자료 업로드
먼저 가지고 있는 자료를 업로드합니다. 저는 70페이지가 넘는 프롬프트 엔지니어링 백서 PDF를 넣었습니다. 참고로 업로드 가능한 문서 종류는 pdf, txt, markdown, mp3 파일익고, 구글 드라이브와 연동하거나 웹사이트, 유튜브 링크도 첨부가 가능합니다.
2. 팟캐스트로 들어보기
문서를 업로드 한 뒤에는 스튜디오에서 “AI 음성”을 만듭니다. 아직은 영어로만 만들어줍니다. 한글로 된 PDF를 올렸을 때에도 음성을 생성해줍니다. 진짜 자연스러운 팟캐스트로 만들어주는데, 사실 패스해도 되는 기능이지만 저는 신기해서 자주 만들어서 들었습니다. (나름 영어공부도 되고요..? 하하)
3. 마인드맵으로 구조 파악
문서 내용을 한눈에 파악하기 위해서는 마인드맵 그리기가 가장 좋습니다. 처음 문서를 올린 화면 밑에 마인드맵 버튼이 뜨는데, 누르면 알아서 마인드맵을 그려줍니다. 마인드맵을 켜놓고 상위 내용부터 하위 내용까지 하나씩 눌러가며 구조를 파악합니다. 개인적으로 큰그림을 먼저 보는 걸 좋아하는 저에게는 이 기능이 가장 좋았습니다.
4. 원하는 내용을 검색하고 질문하며 이해하기
마인드맵으로 훑어봤다면, 이제 진짜 일을 해야겠죠! 나에게 필요한 정보를 찾는 것이 목적이라면 곧바로 입력창에 키워드를 입력하고 관련된 내용을 전부 뽑아달라고 할 수 있습니다. 또는 내가 확인하고자 하는 내용을 곧바로 물어보면 문서 내용에 근거해서 답변을 해줍니다. 만약 문서 자체를 파헤쳐서 공부하는 것이 목적이라면 마인드맵을 기준으로 챕터 하나씩 눌러가며 내용을 번역하거나 설명해달라고 하면서 공부할 수 있습니다.
개인적으로 학습이나 연구, 프로젝트를 위해 사용하는 수준이라면 무료 버전으로도 충분할 것 같습니다. 여러분도 공부를 하거나 논문을 읽을 때, 보고서 작성을 할 때 유용하게 사용해 보세요! 100페이지짜리 자료가 조금 덜 무서워질 거예요.
