이번 레터에는 이런 내용들이 담겨 있어요. 

여러분은 복잡한 문제를 만났을 때 어떻게 해결하시나요? 아마 대부분 "음, 먼저 이것부터 생각해보고, 그 다음에 저걸 고려해서..." 이런 식으로 단계별로 차근차근 접근하실 텐데요. AI도 마찬가지입니다. 복잡한 문제일수록 한 번에 답을 내기보다는 추론 과정을 단계별로 보여주게 하는 것이 훨씬 효과적입니다.

지난 레터에서 예시를 통해 AI가 패턴을 학습하게 하는 'In-Context Learning'에 대해 알아봤는데요. 이번에는 AI가 마치 사람처럼 "생각하는 과정"을 보여주면서 문제를 해결하게 만드는 'Chain-of-Thought(CoT)'에 대해 살펴보겠습니다.

# Chain-of-Thought(CoT)

Chain-of-Thought, 직역하면 '생각의 연쇄'입니다. 한 번에 답을 요구하지 않고, AI가 추론 과정을 단계별로 보여주면서 최종 답에 도달하게 만드는 프롬프팅 기법입니다. 전통적인 프롬프팅과 비교해보면 차이가 명확해집니다.

똑같은 문제를 주고 오른쪽에 "단계적으로 생각하세요" 한 줄만 추가했을 뿐인데, 답변이 달라졌습니다. 이처럼 CoT는 AI가 중간 추론 단계를 명시적으로 보여주게 함으로써 복잡한 문제를 더 정확하게 해결할 수 있게 도와줍니다. 특히 수학 문제, 논리적 추론, 복잡한 분석이 필요한 작업에서 효과가 뚜렷하게 나타납니다.

# CoT의 두 가지 방법: Few-shot CoT와 Zero-shot CoT

CoT에는 크게 두 가지 접근 방식이 있습니다.

Few-shot CoT는 예시와 함께 추론 과정을 보여주는 방법입니다. 앞서 ICL에서 배운 예시 제공 방식에 추론 과정을 추가하는 것이죠. (직접 추론 과정을 예시로 보여줘야 하기 때문에 조금 귀찮긴 합니다.)

Zero-shot CoT는 예시 없이 "단계별로 생각해보자(Let's think step by step)"라는 지시만으로 AI가 스스로 추론 과정을 만들어내게 하는 방법입니다. 이 간단한 한 문장만 추가해도 AI의 성능이 상당히 개선된다는 점이 정말 놀랍습니다. 

연구 결과에 따르면 CoT 프롬프팅은 특히 산술 추론에서 큰 효과를 보였습니다. GPT-3에서 기존 방식 대비 정확도가 큰 폭으로 향상된 것으로 나타났거든요. 하지만 모든 문제에 만능은 아닙니다. 단순한 작업에서는 오히려 불필요한 복잡성을 만들어 성능이 떨어질 수 있고, 추론 과정이 길어질수록 토큰 사용량이 늘어나 비용이 증가한다는 단점도 있습니다.

# CoT로 복합적인 문제 해결하기

CoT의 진가는 여러 단계의 추론이 필요한 복잡한 문제에서 발휘됩니다. 실제 업무에서 활용할 수 있는 예시를 살펴보겠습니다. 

비즈니스 시나리오 분석

상황: 스타트업 A는 월 구독료 9,900원으로 서비스를 운영 중입니다. 현재 구독자는 1,200명이고, 매월 이탈률은 5%, 신규 가입률은 8%입니다. 3개월 후 예상 매출은 얼마일까요? 단계별로 분석해주세요.

이런 문제를 CoT 없이 던지면 AI가 중요한 변수들을 놓치거나 계산 실수를 할 가능성이 높습니다. 하지만 "단계별로 분석해주세요"라는 지시를 추가하면 AI는 체계적으로 접근합니다:

1. 현재 상황 정리
2. 월별 구독자 수 변화 계산
3. 각 월의 매출 산출
4. 3개월 후 최종 예상 매출 도출

창의적 문제 해결

마케팅 전략을 세울 때도 CoT가 유용합니다. "Z세대를 타겟으로 한 친환경 제품 마케팅 전략을 수립해주세요. 단계별로 접근해주세요"라고 요청하면 AI는 타겟 분석 → 트렌드 파악 → 채널 선정 → 메시지 개발 → 실행 방안 순으로 체계적인 전략을 제시할 것입니다.

CoT는 단순히 정답을 맞히는 것을 넘어서 AI의 사고 과정을 투명하게 만들어줍니다. 이는 AI의 답변을 검증하고, 오류를 찾아내고, 더 나은 질문을 만드는 데 도움이 됩니다. 마치 AI와 함께 브레인스토밍을 하는 것 같은 경험을 제공하죠.

미션: Let's think step by step이라는 문장 외에도 다양한 방법으로 모델의 추론 능력을 끌어올릴 수 있습니다. 아래는 "Large Language Models are Zero-Shot Reasoners" 논문에 소개된 다양한 문장들인데요. 여러분도 모델이 문제를 더 잘 풀 수 있도록 하는 마법의 문장을 한번 찾아보시면 어떨까요?

요즘엔 무슨 일이? 

기업

정부/국가

학계

사회