AIBT 2급 이론 정리 시리즈 12탄!!!
1회 시험에 나왔던 Temperature!
같은 질문을 해도 AI 답이 매번 조금씩 다른 이유,
그리고 그걸 조절하는 손잡이가 바로 생성 파라미터다
과목: 생성형 AI와 인공지능 이론
출제 영역: 생성형 AI 필수요소 이해
▶ [이론 11] 토큰·임베딩·컨텍스트 윈도우 보러가기
[ 1. LLM은 다음 토큰을 확률로 고른다 ]
11번 글에서 본 것처럼 LLM은
다음에 올 토큰의 확률을 계산해서 하나씩 고른다
예를 들어 "오늘 점심은 ___" 다음에 올 단어 후보가 이렇다고 해보자
| 후보 단어 | 확률 |
| 김치찌개 | 50% |
| 짜장면 | 30% |
| 파스타 | 15% |
| 우주선 | 5% |
항상 1등(김치찌개)만 고르면 매번 같은 답이 나오고
확률에 따라 뽑으면 가끔 짜장면, 파스타도 나온다
이 "얼마나 모험할지"를 정하는 게 생성 파라미터다!
[ 2. Temperature (온도) ]
확률 분포를 뾰족하게 또는 평평하게 만드는 값
| 설정 | 확률 분포 | 결과 | 이럴 때 |
| 낮게 (0에 가까움) | 1등 후보에 확률이 몰림 | 일관되고 정확한 답, 매번 비슷함 | 사실 확인, 요약, 데이터 추출, 코드 |
| 중간 | 적당히 분산 | 자연스러운 대화 | 일반적인 질문·답변 |
| 높게 | 후보들 확률이 비슷해짐 | 다양하고 창의적인 답, 엉뚱한 답 위험↑ | 브레인스토밍, 광고 문구, 소설 |
범위는 서비스마다 다른데 보통 0~1 또는 0~2 사이로 설정한다
온도가 높을수록 분자가 활발하게 움직이듯
AI 답변도 이리저리 튄다고 기억하면 쉽다!
단, 너무 높이면 앞뒤가 안 맞거나
환각이 생길 가능성도 커진다
[ 3. Top-k ]
확률이 높은 상위 k개 후보 중에서만 고르는 방법
점심 예시에서 Top-k = 2라면
김치찌개, 짜장면 중에서만 고른다
(우주선 같은 엉뚱한 답은 아예 후보에서 빠짐!)
[ 4. Top-p (뉴클리어스 샘플링) ]
누적 확률이 p가 될 때까지의 상위 후보 중에서만 고르는 방법
점심 예시에서 Top-p = 0.8이라면
김치찌개(50%) + 짜장면(30%) = 80%
→ 이 두 개 안에서만 고른다
Top-k는 개수로 자르고
Top-p는 누적 확률로 자른다는 게 차이!
[ 5. 그 밖의 생성 파라미터 ]
| 파라미터 | 하는 일 |
| 최대 토큰 (Max Tokens) | 답변으로 생성할 수 있는 최대 길이(토큰 수) 제한 |
| 정지 시퀀스 (Stop Sequence) | 특정 문자열이 나오면 생성을 멈춤 |
| 빈도 패널티 (Frequency Penalty) | 이미 여러 번 나온 단어에 벌점을 줘서 같은 말 반복을 줄임 |
| 존재 패널티 (Presence Penalty) | 한 번이라도 나온 단어에 벌점을 줘서 새로운 주제로 유도 |
[ 6. 상황별 추천 설정 ]
시험에서는 "이 상황에 어떤 설정이 맞나?"로 나온다
| 업무 상황 | Temperature | 이유 |
| 계약서 요약, 재무 수치 정리 | 낮게 | 정확하고 매번 같은 결과가 중요 |
| 코드 작성, 데이터 추출 | 낮게 | 형식이 틀리면 안 됨 |
| 고객 상담 챗봇 | 낮게~중간 | 일관된 안내가 중요 |
| 일반 대화, 설명 | 중간 | 자연스러움과 정확성의 균형 |
| 광고 카피, 아이디어 회의 | 높게 | 다양하고 새로운 표현이 필요 |
| 소설, 시 같은 창작 | 높게 | 창의성이 중요 |
참고로 Temperature와 Top-p는 둘 다 다양성을 조절하기 때문에
보통 둘 중 하나만 조절하는 것이 권장된다
[ 시험 포인트 정리 ]
| 포인트 | 이것만은 기억! |
| Temperature 낮게 | 일관·정확·결정적 → 요약, 사실, 코드 |
| Temperature 높게 | 다양·창의적 → 아이디어, 창작 (환각 위험↑) |
| Top-k | 확률 상위 k개 후보 중에서만 선택 |
| Top-p | 누적 확률 p까지의 후보 중에서만 선택 |
| Max Tokens | 답변 최대 길이 제한 |
| 패널티 | 빈도·존재 패널티로 반복 줄이기 |
[ 예상문제 ]
Q1. 생성형 AI의 Temperature 값을 낮췄을 때 나타나는 현상으로 옳은 것은?
① 답변이 더 다양하고 창의적으로 바뀐다
② 확률이 가장 높은 토큰이 주로 선택되어 일관된 답변이 나온다
③ 답변의 최대 길이가 줄어든다
④ 컨텍스트 윈도우가 늘어난다
Q2. (단답형) 다음 토큰 후보를 확률이 높은 순으로 더해
누적 확률이 일정 값에 도달할 때까지의 후보 중에서만 선택하는 방법은?
Q3. 마케팅팀이 신제품 광고 문구 아이디어를 최대한 다양하게 뽑고 싶다.
가장 적절한 설정은?
① Temperature를 0으로 설정
② Temperature를 높게 설정
③ Max Tokens를 최소로 설정
④ 정지 시퀀스를 첫 단어로 설정
Q4. 다음 토큰 후보의 확률이 A 50%, B 30%, C 15%, D 5%일 때
Top-k = 2로 설정하면 선택될 수 있는 후보는?
① A만
② A, B
③ A, B, C
④ A, B, C, D
Q5. (단답형) 생성형 AI가 한 번에 생성하는 답변의 최대 길이를
토큰 수로 제한하는 파라미터는?
[ 정답 & 해설 ]
| 문제 | 정답 | 해설 |
| Q1 | ② | Temperature가 낮으면 확률이 높은 후보에 집중돼 결정적인 답이 나온다. ①은 높일 때의 특징 |
| Q2 | Top-p (뉴클리어스 샘플링) | Top-k는 개수 기준, Top-p는 누적 확률 기준 |
| Q3 | ② | 창의적·다양한 결과가 필요하면 Temperature를 높인다 |
| Q4 | ② | 확률 상위 2개 후보(A, B) 중에서만 선택 |
| Q5 | 최대 토큰 (Max Tokens) | 답변 길이를 제한하며 요금과도 관련된다 |
이걸로 생성형 AI 필수요소 파트(11~12)는 끝!
다음 글은 1회 시험에 나왔던 엔-그램부터 시작하는
[이론 13] 언어모델의 발전: N-gram → RNN → 트랜스포머!
▶ [이론 13] 언어모델의 발전, N-gram·RNN·트랜스포머 보러가기
▶ AIBT 2급 스터디 자료 보러가기 (AI&DATA 자격증 스터디 클럽)
AIBT 2급 준비하시는 분들 모두 화이팅입니다~~~~~ ^^
'AI·데이터 자격증 > AIBT2급' 카테고리의 다른 글
| [AIBT 2급 이론 14] LLM 핵심 개념, 환각·RAG·멀티모달 총정리 (+예상문제) (0) | 2026.10.16 |
|---|---|
| [AIBT 2급 이론 13] 언어모델의 발전, N-gram·RNN·트랜스포머 총정리 (+예상문제) (0) | 2026.10.16 |
| [AIBT 2급 이론 11] 토큰·임베딩·컨텍스트 윈도우 총정리 (+예상문제) (0) | 2026.10.16 |
| [AIBT 2급 이론 10] 이미지 생성 AI, GAN·확산 모델·스테이블 디퓨전 총정리 (+예상문제) (0) | 2026.10.16 |
| [AIBT 2급 이론 09] 생성형 AI란? 판별 모델 vs 생성 모델 총정리 (+예상문제) (0) | 2026.10.16 |