이번 레터에는 이런 내용들이 담겨 있어요. 

👉 AI를 가지고 노는 Playground에서는, 온도와 Top-P를 조절한 프롬프트를 비교했어요.

👉 What's News?에서는 최신 뉴스들을 큐레이팅했어요. 

지난 레터에서 AI 모델이 생성할 다음 단어의 무작위성을 조절하는 ‘온도(temperature)’ 샘플링에 대해 알아보았는데요. 이번 레터에서는 온도와 함께 사용할 수 있는 Top-k, Top-p 샘플링의 개념에 대해 정리해 보았습니다. 

#Top-K와 Top-P 샘플링

Top-k

모델이 예측한 확률 분포에서 가장 높은 확률을 가진 상위 k개의 토큰을 선택합니다. 후보로 뽑힌 k개 토큰 중에서 다음 토큰이 결정되며, 확률이 낮은 토큰들은 후보에서 제외됩니다. 

Top-P(nucleus sampling)

누적 확률이 특정 임계값(P)을 넘지 않는 가장 확률이 높은 토큰들의 집합을 선택합니다. 다음에 올 단어를 하나씩 더해가면서 누적 확률값을 계산하고, 임계값을 넘지 않을 때까지의 단어들만 다음 단어 목록에 추가합니다. 

예를 들어 LLM이 “오늘 날씨는” 뒤에 나올 단어를 고르고 있다고 해보겠습니다. 뒤에 올 단어로 좋다(45%), 매우(25%), 싫다(20%), 왜(8%), ?(2%)가 있습니다. Top K는 상위 K개의 토큰만 후보로 포함시킵니다. K를 3으로 지정하면 단어 3개를 위에서부터 차례대로 고르는 것이죠. Top P는 누적 확률 P에 도달할 때까지 토큰을 후보로 등록합니다. P를 0.85라고 한다면 좋다(0.45), 매우(0.25), 싫다(0.2)를 더하면 누적이 0.9가 되니, 싫다를 뺀 좋다와 매우 만이 후보가 됩니다. 

Top K는 항상 정확히 K개의 단어를 고르는 방식이라 정적인 것에 비해, Top P는 확률 분포에 따라 고려하는 단어 숫자가 변하는 동적인 방식입니다. 그래서 Top K보다 Top P를 조절했을 때 문맥에 따른 옵션의 수가 변하여 선택지를 조정할 수 있습니다. 

만약 굉장히 높은 확률을 갖는 확실한 답이 있는 경우에 Top P를 설정하면, 확실한 답 하나만이 선택될 수 있습니다. “대한민국의 수도는” 뒤에 올 단어를 생성한다고 할 때 “서울”이 높은 확률을 가지면, top p의 임계값이 금방 차서 다른 단어가 후보에 들어가지 못합니다. 하지만 Top K를 3으로 고정한다면 확률 낮은 “부산”, “인천”과 같은 토큰까지도 불필요하게 포함될 수 있습니다. 

반대로 다음 단어로 다양한 단어들이 올 수 있는 고른 확률 분포를 가질 때에는 누적 확률에 도달할 때까지 여러 단어들이 후보에 포함될 수 있습니다. “오늘 저녁은” 다음에 올 단어로 “치킨(10%)”, “피자(12%)”, “김치찌개(8%)” 등등으로 비슷한 확률로 분포하는 경우에는 top p의 임계값에 도달할 때까지 10개 이상의 여러 단어들 포함될 것입니다. 하지만 top k를 5로 고정하면 상위 5개 단어만 포함되어 다양한 선택지가 제한됩니다. 

정리하면 Top-K와 Top-P는 다음 토큰 예측을 상위 확률을 가진 토큰으로 제한하는 샘플링 설정입니다. top-k나 top-p로 후보 토큰들이 선발되면 온도 설정이 적용되어 최종적으로 다음 토큰을 결정합니다. 

구글에서 발간한 프롬프트 엔지니어링 백서에 따르면, 온도가 높을수록, Top-K 또는 Top-P 값이 높을수록 LLM은 더 많은 자유도를 가지게 됩니다. Top-K 값을 높게 설정하면, 모델이 더 많은 후보를 뽑게 되니 출력의 다양성과 창의성이 늘어나고 반대로 낮게 설정하면, 선택의 폭이 좁아져 더 제한적이고 사실적인 경향을 보입니다. Top-P 값은 너무 낮게 설정하면 다양성이 제한되고, 너무 높게 설정하면 이상한 단어들이 포함될 수 있어 적절한 값을 찾는 것이 중요합니다. 실제로는 두 가지를 동시에 조절하는 경우, Top-P로 먼저 필터링을 한 뒤 Top-K를 적용하는 방식이 자주 사용됩니다. 

# 온도와 Top P를 조절하면 답변이 이렇게 달라져요

이처럼 Top P의 값을 낮게 주면, 안정적이고 제한된 예측 가능한 답변을 생성하게 됩니다. (답이 있는 질문에 대해서). 

창의적인 답변이 필요한 질문으로 “안드로메다 은하에서 지구로 여행을 온 외계인이 사람을 납치한 뒤에 하는 말은?”을 물었습니다. 온도 0.1, Top p 0.1로 정석적인 답변을 유도했을 때는 정중하고 예의 바른 외계인의 답변을 내놓았는데요. 반대로 온도 0.9, top p 0.9로 높였을 때 답변이 꽤 인상적입니다.

말도 안 되는 질문을 또 해봤습니다. “마법사가 죽음의 마법을 외칠 때 쓰는 주문”은 뭘까요? 온도와 top p를 높였을 때는 정말 아무 말이나 하는 것 같네요. 

요즘엔 무슨 일이?