[AIBT 2급 이론 11] 토큰·임베딩·컨텍스트 윈도우 총정리 (+예상문제)

AIBT 2급 이론 정리 시리즈 11탄!!!

 

ChatGPT 같은 LLM은

우리가 쓴 글을 글자 그대로 읽는 게 아니다

 

글을 토큰으로 쪼개고

임베딩으로 숫자로 바꾼 다음

컨텍스트 윈도우 안에서만 기억하면서 처리한다

 

오늘은 이 세 가지 필수 용어를 정리해보자!

 

과목: 생성형 AI와 인공지능 이론

출제 영역: 생성형 AI 필수요소 이해

 

▶ [이론 10] 이미지 생성 AI, GAN·확산 모델·스테이블 디퓨전 보러가기

 

[ 1. LLM이 글을 처리하는 흐름 ]

단계	하는 일
① 토큰화	입력한 문장을 토큰 단위로 쪼갬
② 토큰 ID 변환	각 토큰을 사전에 등록된 번호로 바꿈
③ 임베딩	번호를 의미를 담은 숫자 벡터로 바꿈
④ 트랜스포머 처리	문맥을 파악해 다음에 올 토큰의 확률을 계산 (13번 글)
⑤ 출력	확률에 따라 토큰을 하나씩 골라 이어 붙여 문장을 완성

 

[ 2. 토큰 (Token) ]

 

LLM이 텍스트를 처리하는 최소 단위

단어 하나일 수도, 단어의 일부일 수도, 글자 하나일 수도 있다

 

글을 토큰으로 쪼개는 과정을 토큰화(Tokenization)라고 한다

요즘 LLM은 자주 쓰는 조각을 묶는 서브워드(Subword) 방식을 많이 쓴다

예시	토큰으로 쪼개면 (예시)
unbelievable	un / believ / able
ChatGPT는 똑똑하다	Chat / GPT / 는 / 똑똑 / 하다

 

(실제 쪼개지는 방식은 모델마다 다르다!)

 

영어는 대략 1토큰 ≈ 영어 4글자 ≈ 0.75단어 정도로 보고

한국어는 같은 내용이라도 보통 토큰이 더 많이 쓰이는 편이다

 

토큰이 왜 중요할까?

이유	설명
요금	유료 API는 보통 입력·출력 토큰 수로 요금을 매김
길이 제한	한 번에 넣고 받을 수 있는 양이 토큰 수로 정해져 있음
응답 길이	최대 출력 토큰(Max Tokens)으로 답변 길이를 조절

 

[ 3. 임베딩 (Embedding) ]

 

단어나 문장을 의미를 담은 숫자 목록(벡터)으로 바꾸는 것

 

컴퓨터는 글자를 그대로 계산할 수 없으니까

의미를 좌표처럼 숫자로 나타내는 거다

 

핵심은 의미가 비슷하면 벡터 공간에서 가까이 위치한다는 것!

"강아지"와 "개"는 가깝고, "강아지"와 "냉장고"는 멀다

 

유명한 예시도 있다

왕 − 남자 + 여자 ≈ 여왕

단어의 관계까지 숫자 계산으로 표현할 수 있다는 뜻이다

 

두 벡터가 얼마나 비슷한지는 주로

코사인 유사도(방향이 얼마나 같은지)로 잰다

임베딩 활용	예시
의미 검색	키워드가 달라도 뜻이 비슷한 문서를 찾음
추천	비슷한 상품·콘텐츠 추천
분류·군집	비슷한 문의끼리 자동 분류
RAG	질문과 비슷한 사내 문서를 찾아 LLM에 전달 (14번 글)
벡터 데이터베이스	임베딩 벡터를 저장하고 빠르게 검색하는 DB

 

[ 4. 컨텍스트 윈도우 (Context Window) ]

 

LLM이 한 번에 처리(기억)할 수 있는 최대 토큰 수

입력한 내용 + 이전 대화 + 모델의 답변까지 모두 포함된다

 

책상 크기에 비유하면 이해가 쉽다

책상이 넓으면 자료를 많이 펼쳐놓고 볼 수 있지만

책상보다 자료가 많으면 일부는 치워야 한다!

상황	어떻게 될까?
대화가 아주 길어짐	한도를 넘으면 앞부분 내용을 잊거나 잘라냄
긴 문서를 한 번에 넣음	한도를 넘으면 전체를 넣을 수 없어 나눠서 처리해야 함
컨텍스트 윈도우가 큰 모델	긴 보고서·계약서도 한 번에 요약·분석 가능

 

컨텍스트 윈도우 크기는 모델마다 다르고

최신 모델일수록 점점 커지는 추세다

 

[ 5. 헷갈리는 용어 구분 ]

용어	뜻	예시
토큰	텍스트 처리 단위	"Chat", "GPT", "는"
파라미터	모델 내부의 학습된 가중치 개수 (모델 크기)	GPT-3는 1,750억 개
컨텍스트 윈도우	한 번에 처리할 수 있는 최대 토큰 수	입력+출력 합계 한도
최대 출력 토큰	한 번의 답변으로 생성할 수 있는 토큰 한도	답변 길이 제한

 

[ 시험 포인트 정리 ]

포인트	이것만은 기억!
토큰	LLM의 텍스트 처리 최소 단위, 요금·길이 제한의 기준
토큰화	텍스트를 토큰으로 쪼개는 과정 (서브워드 방식)
임베딩	단어·문장을 의미를 담은 숫자 벡터로 변환
임베딩 특징	의미가 비슷할수록 벡터가 가까움, 코사인 유사도
컨텍스트 윈도우	한 번에 처리할 수 있는 최대 토큰 수 (입력+출력)
한도 초과	앞부분 내용을 잊거나 잘라냄

 

[ 예상문제 ]

 

Q1. LLM의 토큰(Token)에 대한 설명으로 옳은 것은?

① 모델 내부의 학습된 가중치 개수를 말한다

② LLM이 텍스트를 처리하는 최소 단위로, 단어나 단어의 일부가 될 수 있다

③ 항상 한 글자가 정확히 한 토큰이다

④ 요금이나 길이 제한과는 관계가 없다

 

Q2. (단답형) 단어나 문장을 의미를 담은 숫자 벡터로 바꿔

의미가 비슷한 것끼리 가깝게 표현하는 기술은?

 

Q3. 컨텍스트 윈도우(Context Window)에 대한 설명으로 옳은 것은?

① 모델이 학습한 데이터 전체의 크기

② 모델이 한 번에 처리할 수 있는 최대 토큰 수

③ 답변에 걸리는 시간

④ 모델의 파라미터 개수

 

Q4. 임베딩의 활용 사례로 보기 어려운 것은?

① 의미가 비슷한 문서 검색

② 비슷한 상품 추천

③ RAG에서 질문과 관련된 문서 찾기

④ 모델의 파라미터 개수를 늘리기

 

Q5. (단답형) 입력한 텍스트를 LLM이 처리할 수 있는 토큰 단위로 쪼개는 과정은?

 

 

---

 

[ 정답 & 해설 ]

문제	정답	해설
Q1	②	①은 파라미터 설명. 토큰 쪼개는 방식은 모델마다 다르며, 요금과 길이 제한의 기준이 된다
Q2	임베딩 (Embedding)	유사도는 주로 코사인 유사도로 측정
Q3	②	입력, 이전 대화, 출력을 모두 포함한 토큰 한도
Q4	④	파라미터 수는 모델 구조의 문제로 임베딩 활용과는 관계없다
Q5	토큰화 (Tokenization)	요즘 LLM은 주로 서브워드 단위로 토큰화한다

 

다음 글은 1회 시험에 나왔던

[이론 12] Temperature·Top-p 등 생성 파라미터!

▶ [이론 12] Temperature·Top-p·Top-k 생성 파라미터 보러가기

 

▶ AIBT 2급 시험 정보 총정리 보러가기

▶ AIBT 2급 스터디 자료 보러가기 (AI&DATA 자격증 스터디 클럽)

 

AIBT 2급 준비하시는 분들 모두 화이팅입니다~~~~~ ^^