이번 레터에는 이런 내용들이 담겨 있어요. 

지난 레터에서는 퍼셉트론에 대한 개념을 소개했는데요. 퍼셉트론은 ‘예’, ‘아니오’ 처럼 정해진 답을 내놓는 단순한 스위치였습니다. 이 단순한 스위치만으로도 가중치를 조절해가며 많은 문제(숫자 인식하기 같은)를 풀 수 있었는데요. 하지만 퍼셉트론 하나만 가지고는 이 복잡한 세상의 문제들을 해결하기에는 너무나 역부족이였으니…

# 선형 분리 불가능한 문제가 문제다

단일 퍼셉트론에는 치명적인 문제가 있었으니, 바로 선형 분리 불가능한 문제는 풀 수 없다는 것이였습니다. 선형 분리 불가능이라는 것은, 그래프에 직선 하나를 쭉 그어놓고 ‘예’, ‘아니오’로 나눌 수 없다는 뜻입니다. 예를 들면 동그라미 안에 있는 점과 밖에 있는 점을 구분하는 것처럼요. 하나의 퍼셉트론은 딱 하나의 직선만 그릴 수 있었기에 이런 문제를 해결하지 못했습니다.

그래서 등장한 것이 바로 ‘다층 퍼셉트론(Multi-Layer Perceptron, MLP)’입니다. 퍼셉트론 하나로는 부족하니 여러 개를 층층이 쌓아 올려 문제를 푸는 방식입니다. 다층 퍼셉트론은 정보를 받는 입력층, 정보를 처리하고 변형하는 하나 이상의 은닉층(Hidden layer), 최종 결과를 내놓는 출력층으로 구성됩니다. 

입력층: 우리가 해결하려는 문제에 대한 정보, 즉 '특징'들을 받아들이는 곳이에요. 

은닉층: 바로 다층 퍼셉트론의 핵심이자 마법이 일어나는 공간입니다. 입력층에서 받은 정보들이 이 은닉층에 있는 수많은 퍼셉트론을 거치며 복잡하게 계산되고 조합돼요. 각 뉴런은 입력받은 정보에 가중치를 곱하고, 이들을 모두 더한 뒤 활성화 함수라는 특별한 계산을 거쳐 다음 층으로 신호를 전달합니다. 이 활성화 함수 덕분에 다층 퍼셉트론은 단순한 직선으로는 불가능했던 비선형적인 관계, 즉 복잡하고 꼬여 있는 문제들을 풀어낼 수 있게 됩니다. 은닉층이 많을수록 '깊다(Deep)'고 표현하며, 이게 바로 딥러닝(Deep Learning)이라는 이름의 유래이기도 합니다.

출력층: 은닉층을 거쳐 모든 계산이 끝나면, 최종적인 답을 내놓는 곳이에요. 

퍼셉트론이 가중치를 조절하며 학습했던 것처럼, 다층 퍼셉트론도 가중치와 활성화 함수를 통해 학습합니다. 다만, 층이 여러 개라 훨씬 복잡하죠. 여기서 “오류 역전파(Backpropagation)”라는 혁신적인 알고리즘이 등장합니다. 오류 역전파에 대해서는 다음 레터에서 다뤄볼께요!

# Gemini 2.5 Pro 수학 천재 만들기

이 뉴스 보셨나요? 오픈AI와 구글에서 만든 추론 모델들이 이번에 국제 수학 올림피아드(IMO) 문제를 풀어서 금메달급 실력으로 평가받았대요! IMO 문제를 푼 구글의 추론 모델은 Gemini Deep Think 고급 버전입니다.

그런데 이런 고급 추론 모델을 사용하지 않고도, 우리가 평소에 쓰는 일반적인 모델만 가지고도 IMO 문제를 풀게 할 수 있다는 사실! 구글의 Gemini 2.5 Pro 모델만으로도 파이프라인과 프롬프트를 정교하게 설계하여 IMO 2025 문제 6문제 중 5문제를 풀었다는 연구 결과(논문)가 발표됐습니다. 과연 어떤 방법을 사용했길래, 일반 모델을 수학 천재로 만들 수 있었던 걸까요? 

논문에서 제시하는 문제 해결 파이프라인은 총 6단계로 진행돼요. 

• 초기 솔루션 생성 (Step 1): 모델을 여러 번 실행하여 동일한 문제에 대한 다양한 초기 답변을 얻습니다.  사람이 여러 아이디어를 탐색하듯 이것 저것 생각해보며 다양한 해결책을 모색하는 과정과 비슷하죠? 
• 자기 개선 (Step 2)⭐: 모델이 자신의 작업을 검토하고 개선할 수 있도록 '사고 예산(thinking budget)'을 추가로 제공합니다. 여기서 사고 예산은 토큰을 의미하는데, 추론 과정에는 많은 토큰이 소비되기 때문에 토큰 수를 늘려주는 것이에요. 반복적인 개선 과정을 통해 처음에는 품질이 낮았던 솔루션도 점차 견고해질 수 있었다고! 
• 검증 (Step 3): '검증자(Verifier)'를 사용해 2단계에서 출력된 각 솔루션의 문제점을 찾아내요. 이 문제점들은 '치명적인 오류(critical errors)'와 '정당화 공백(justification gaps)'으로 분류되어 버그 보고서에 기록됩니다.
• 검증 확인 (Step 4): 생성된 버그 보고서가 혹시 잘못 된 건 아닌지, 보고서 자체를 검토해요.
• 수정 (Step 5): 버그 보고서를 기반으로 솔루션을 개선합니다.
• 수용 또는 거부 (Step 6): 최종적으로 솔루션을 수락할 때는 검증자가 어떠한 문제도 놓치지 않도록 5번 실행하고, 매번 통과할 때만 수락해요.

실험 설정에서는 낮은 온도(temperature)인 0.1을 사용하여 무작위 오류 발생 가능성을 줄였습니다. 또 Gemini 2.5 Pro의 최대 사고 예산인 32768 토큰을 활용했고요. 프롬프트의 핵심 지침과 출력 형식에 대한 자세한 내용은 원본 논문에 상세히 소개되어 있으니, 더 깊은 내용이 궁금하신 분들은 논문을 직접 확인해보시는 것을 추천드려요.

정교한 파이프라인과 프롬프트 엔지니어링을 통해 우리가 매일 사용하는 모델로도 극강의 성능을 낼 수 있다는 사실이 새삼 놀랍습니다. 이미 가지고 있는 모델로도 충분히 어려운 문제들을 해결할 수 있다는 희망을 가져봅니다.🌠

요즘엔 무슨 일이? 

기업

• OpenAI와 Google, 수학자들 능가했지만 서로를 능가하진 못했다 (링크)
• "AGI는 일반화 능력 필수...벤치마크도 '무상태 결정' 넘어서야" (링크)
• 오픈AI, 수학 올림피아드 금메달 수상..."GPT-5에 관련 기술 탑재" (링크)