Next-Token Probability

Temperature Playground

프롬프트: “The best way to learn a new language is to”

0 (결정적)1 (더 무작위)
Selection Probability (%)0255075100learnusereadgetbecomebeapplytake

Temperature가 LLM에서 작동하는 방식

Temperature는 언어 모델의 토큰 선택이 얼마나 결정적이거나 무작위적인지를 조절합니다.

  • 낮은 Temperature (0에 가까움): 모델이 매우 결정적이 되어, 항상 가장 확률 높은 토큰을 선택합니다.
  • 높은 Temperature (1에 가까움): 모델이 가능한 모든 토큰에 확률을 더 고르게 분배하여, 결과에 무작위성을 더합니다.

GPT 모델 다운로드 중... (약 85MB, 첫 방문 시 시간이 걸립니다)

▍
생성된 토큰: 0
다음 토큰 확률 (top 8)

sample을 실행하면 분포가 표시됩니다.

💡강의 노트: 모델은 항상 가장 확률 높은 토큰을 고르지 않습니다. temperature를 높이면 분포가 평탄해져 더 다양한 단어가 나옵니다. EOS 토큰이 sample되면 자연 종료(end_turn).

Remixed by Bora Lee · 원본 프로젝트 Tiktokenizer

GitHubX