이번 레터에는 이런 내용들이 담겨 있어요. 

지난 레터에서 인공지능 모델을 추가로 학습시켜 원하는 작업 또는 도메인에 최적화되게 만드는 ‘파인튜닝’ 개념에 대해 소개해드렸습니다. 파인튜닝은 마치 전문 요리사가 새로운 요리법을 완전히 익혀서 내 것으로 만드는 것과 같다면, 이번에 소개할 방법은 요리책을 보면서 즉석에서 요리하는 것과 비슷합니다. 바로 '인 컨텍스트 러닝(In-Context Learning, ICL)'입니다.

# In-Context Learning(ICL)

인 컨텍스트 러닝은 모델을 재훈련시키는 방법 대신 “프롬프트에 포함된 예시”를 참고하게 하여 작업을 수행하는 방식입니다. 

자주 사용되는 예가 있는데요. 리뷰가 긍정적인지 부정적인지 판단하는 작업을 한다고 해보겠습니다. 만약 파인 튜닝을 한다면 수천 개의 리뷰와 라벨(긍정/부정)이 있는 데이터로 모델을 추가 학습시켜야 합니다. 모델 내부의 파라미터가 실제로 변경될 것이고 많은 시간과 자원이 들어갑니다. 

하지만 ICL은 다릅니다. 굉장히 심플합니다. 예시를 들어주면 됩니다!

예시1: "음식이 정말 맛있었어요!" → 긍정

예시2: "서비스가 너무 별로였습니다." → 부정

예시3: "분위기가 좋고 직원들이 친절해요!" → 긍정

이제 판단해보세요: "가격 대비 만족스럽지 않네요."

이렇게 새롭게 들어온 정보(가격 대비 만족스럽지 않네요)와 예시에서 주어진 정보(예시1, 2, 3)의 유사성을 파악해 결과를 도출합니다. 모델이 예시를 통해 패턴을 파악하고 추론만 수행하는 것이죠. 전통적인 머신러닝의 파인튜닝과 달리, LLM이 등장한 뒤에 나온 '모델을 다시 학습시키지 않고 질문할 때 예시를 어떻게 주는가'에 따라 다양한 문제들을 해결할 수 있다는 것이 특징입니다. 

예시를 몇 개를 주느냐에 따라 제로샷, 원샷, 퓨샷으로 구분합니다. 

• 제로샷(Zero-shot): 예시 없이 바로 작업 지시 ("이 리뷰의 감정을 분석해줘")
• 원샷(One-shot): 예시 1개 제공
• 퓨샷(Few-shot): 예시 여러 개 제공 (보통 2-10개)

ICL은 빠르고 효율적이며, 다양한 작업에 유연하게 적용이 가능하다는 장점이 있지만, 단점도 있습니다. 제한된 컨텍스트의 길이로 인해 예시가 많아질수록 실제 작업을 위한 공간이 줄어든다는 점입니다. 또한 매번 예시를 처리해야 하기 때문에 계산 시간이 늘어나고요. 작업별 템플릿 효과적인 예시를 만드는 것도 생각보다 쉽지 않은 일입니다. 특히 도메인이나 작업 유형이 바뀌면 성능이 크게 떨어지는 문제점도 있습니다. (음식 리뷰 예시를 주고 영화 리뷰를 판단하게 하는 경우처럼요.) 

# ICL로 간단한 수학 문제 만들기

학습 콘텐츠를 만들고 있다고 가정해보겠습니다. 문제은행 스타일로 초급 난이도의 다양한 문제를 만들어야 하는 상황에서 인 컨텍스트 러닝을 활용해보죠!

[수열 문제 생성]

문제: 2, 4, 6, 8 다음 숫자는? 

해설: 각 숫자에 2를 더한 값이 다음 숫자.

답: 10

문제: 1, 3, 5, 7 다음 숫자는?

해설: 각 숫자에 2를 더한 값이 다음 숫자.

답: 9

문제: 5, 10, 15, 20 다음 숫자는?  

해설: 각 숫자에 5를 더한 값이 다음 숫자. 

답: 25

예시를 보고 똑같은 형식으로 다른 문제를 10개 만들어줘. 

AI가 패턴을 파악해서 비슷한 난이도와 형식의 수열 문제들을 척척 만들어낼 것입니다. 

이런 문제도 인 컨텍스트 러닝을 활용해 한번 풀어보세요! (예시를 직접 만드는 일이 생각보다 힘들다는 것을 깨닫게 되실 겁니다.. 하핫)

미션: 좋아하는 캐릭터를 하나 골라주세요. 그 캐릭터의 스타일과 말투로 다음 상황에 맞는 대사를 AI가 자동생성하게 만들어보세요. 

상황: 죽은 줄 알았던 악당(적)이 돌아왔을 때

요즘엔 무슨 일이? 

기업

• 97년생 중국계 천재가 이끄는 AI 스타트업이 메타로부터 13조원 규모의 투자를 받을지 주목받고 있습니다. (링크)
• 앤트로픽이 야심차게 시작한 AI 생성 블로그 '클로드 익스플레인즈'가 불과 몇 개월 만에 조용히 막을 내렸습니다. (링크)
• EleutherAI가 AI 학습용 8TB 규모의 거대한 오픈소스 데이터셋을 공개하며 AI 민주화에 한 걸음 더 나아갔습니다. (링크)
• 구글 노트북LM 개발팀이 독립해 개인 맞춤형 AI 오디오 동반자 '휴크스'를 출시하며 새로운 도전을 시작했습니다. (링크)
• '망할 것 같다'는 우려 속에서도 네이버가 창업 이후 첫 번째 대담한 베팅을 감행하며 반전을 노리고 있습니다. (링크)
• 허깅페이스가 맥북에서도 돌아갈 정도로 가벼운 혁신적인 로보틱스 모델을 공개해 로봇 AI의 새로운 전환점을 제시했습니다. (링크)
• 코난테크놀로지와 리벨리온이 국산 AI 반도체와 대규모 언어모델을 결합한 제품화에 성공하며 한국 AI 생태계의 새로운 이정표를 세웠습니다. (링크)

정부/국가

• 앤트로픽이 미국 국가보안용 클로드 AI 모델을 출시하며 정부 부문 AI 시장에 본격 진출했습니다. (링크)
• 중국의 주요 빅테크 기업들이 화웨이의 AI 칩 주문을 회피하고 있다는 충격적인 소식이 전해졌습니다. (링크)
• 프랑스 미스트랄AI가 미국 기술 의존에서 벗어나려는 유럽의 움직임 속에서 급부상하며 주목받고 있습니다. (링크)

학계

• 편향성 논란의 진짜 원인은 AI가 아니라 우리가 던지는 질문 자체에 있었다는 연구 결과가 나왔습니다. (링크)
• 애플이 AI 추론 모델의 '사고하는 척' 하는 허상을 날카롭게 지적한 연구 논문을 발표해 업계에 파장을 일으키고 있습니다. (링크)
• 메타와 구글의 공동 연구에서 대규모 언어모델이 매개변수당 3.6비트를 기억하며, 학습 데이터 증가가 일반화 능력 강화로 이어진다는 중요한 발견을 했습니다. (링크)

사회

• AI 에이전트 시대의 도래로 인터넷 자체가 기계 중심의 '머신 네이티브' 환경으로 근본적인 변화를 맞을 것이라는 전망이 나왔습니다. (링크)