[AIBT 2급 이론 13] 언어모델의 발전, N-gram·RNN·트랜스포머 총정리 (+예상문제)

AIBT 2급 이론 정리 시리즈 13탄!!!

 

1회 시험에 엔-그램(N-gram) 모형이 나왔었다

 

ChatGPT가 갑자기 하늘에서 떨어진 게 아니라

N-gram → RNN → LSTM → 트랜스포머로

언어모델이 차근차근 발전해 온 결과!

 

오늘은 그 흐름을 한 번에 정리해보자

 

과목: 생성형 AI와 인공지능 이론

출제 영역: 생성형 AI를 위한 초대형 언어모델 이해

 

▶ [이론 12] Temperature·Top-p·Top-k 생성 파라미터 보러가기

 

[ 1. 언어모델이란? ]

 

단어들이 이어질 확률을 계산해서

다음에 올 단어를 예측하는 모델

 

"나는 아침에 ___" 다음에

"밥을"이 올 확률이 "우주를"보다 높다는 걸 아는 것!

 

[ 2. 한눈에 보는 언어모델 발전사 ]

단계	모델	핵심 아이디어	한계
1	N-gram	앞의 N-1개 단어로 다음 단어 예측 (통계)	긴 문맥 반영 불가, 처음 보는 조합에 약함
2	RNN	앞의 정보를 기억하며 순서대로 처리 (신경망)	긴 문장에서 앞 내용을 잊음, 느림
3	LSTM · GRU	게이트로 중요한 정보를 오래 기억	여전히 순서대로 처리해서 느림
4	트랜스포머	어텐션으로 모든 단어 관계를 한 번에 계산	계산량이 많음 (대신 병렬 처리로 극복)

 

[ 3. N-gram (엔-그램) ]

 

앞의 N-1개 단어만 보고 다음 단어를 예측하는 통계적 언어모델

문서에서 단어 묶음이 몇 번 나왔는지 세어서 확률을 계산한다

종류	N	다음 단어 예측에 쓰는 앞 단어	"나는 학교에 ___" 예시
유니그램 (Unigram)	1	0개 (단어 자체 빈도만)	그냥 자주 나오는 단어
바이그램 (Bigram)	2	1개	"학교에" 다음에 올 단어
트라이그램 (Trigram)	3	2개	"나는 학교에" 다음에 올 단어

 

N-gram의 한계도 같이 외우자

한계	설명
희소성 문제	학습 데이터에 한 번도 없던 단어 조합은 확률이 0이 됨
짧은 문맥	앞의 몇 단어만 보니까 긴 문장의 흐름을 반영 못 함
저장량 증가	N을 키우면 세어야 할 조합이 폭발적으로 늘어남

 

[ 4. RNN (순환 신경망) ]

 

앞 단계의 정보를 다음 단계로 넘겨주며

문장을 한 단어씩 순서대로 읽는 신경망

(05번 글에서 순서 데이터 = RNN이라고 했던 그것!)

 

하지만 문장이 길어지면

앞쪽 정보가 점점 희미해지는

장기 의존성 문제가 생긴다

(08번 글의 기울기 소실이 원인)

 

또 한 단어씩 차례대로 처리해야 해서

병렬 처리가 어렵고 학습이 느리다

 

[ 5. LSTM · GRU ]

 

RNN의 기억력 문제를 개선한 모델

LSTM(1997)은 게이트를 달아서

무엇을 기억하고 무엇을 잊을지 스스로 조절한다

LSTM 게이트	역할
망각 게이트	이전 정보 중 버릴 것을 결정
입력 게이트	새 정보 중 저장할 것을 결정
출력 게이트	다음 단계로 내보낼 정보를 결정

 

GRU는 LSTM을 더 단순하게 만든 버전이다

 

[ 6. 트랜스포머 (Transformer, 2017) ]

 

04번 글에서 나온 구글의 「Attention Is All You Need」

지금 GPT, Claude, Gemini의 공통 뼈대다!

핵심 기술	설명
셀프 어텐션 (Self-Attention)	문장 안의 모든 단어가 서로 얼마나 관련 있는지 한 번에 계산
병렬 처리	단어를 하나씩 기다리지 않고 동시에 처리 → GPU로 빠르게 학습
위치 인코딩	한 번에 처리하는 대신 단어 순서 정보를 따로 더해줌
인코더·디코더	입력을 이해하는 인코더 + 출력을 만드는 디코더 구조

 

셀프 어텐션 예시!

"그 동물은 너무 피곤해서 길을 건너지 않았다. 그것은 지쳐 있었다"

여기서 "그것"이 "길"이 아니라 "동물"이라는 걸

어텐션이 단어 사이 관계를 계산해서 알아낸다

 

[ 7. 트랜스포머 3가지 계열 ]

계열	대표 모델	잘하는 일
인코더 계열	BERT (구글)	문장 이해: 분류, 검색, 감정 분석
디코더 계열	GPT (OpenAI)	문장 생성: 대화, 글쓰기 (09번 글의 자기회귀 방식)
인코더-디코더	T5 (구글)	입력을 다른 출력으로 변환: 번역, 요약

 

[ 시험 포인트 정리 ]

포인트	이것만은 기억!
언어모델	다음에 올 단어의 확률을 예측
N-gram	앞의 N-1개 단어로 예측, 바이그램=1개, 트라이그램=2개
N-gram 한계	희소성 문제, 긴 문맥 반영 불가
RNN	순서대로 처리, 장기 의존성 문제, 병렬화 어려움
LSTM	게이트(망각·입력·출력)로 장기 기억 개선
트랜스포머	셀프 어텐션, 병렬 처리, 위치 인코딩
계열	BERT=인코더(이해), GPT=디코더(생성)

 

[ 예상문제 ]

 

Q1. N-gram 언어모델에 대한 설명으로 옳은 것은?

① 문장 전체의 모든 단어 관계를 한 번에 계산한다

② 앞의 N-1개 단어를 바탕으로 다음 단어의 확률을 예측한다

③ 게이트를 이용해 장기 기억을 유지한다

④ 학습 데이터에 없는 단어 조합도 항상 정확히 예측한다

 

Q2. (단답형) 트라이그램(Trigram) 모델은 다음 단어를 예측할 때

바로 앞의 단어를 몇 개 참고하는가?

 

Q3. RNN의 한계로 옳은 것은?

① 문장이 길어지면 앞부분의 정보를 잘 기억하지 못한다

② 단어 순서를 전혀 고려하지 않는다

③ 셀프 어텐션 때문에 계산이 너무 많다

④ 이미지 처리에만 사용할 수 있다

 

Q4. 트랜스포머의 특징으로 옳지 않은 것은?

① 셀프 어텐션으로 단어 사이 관계를 계산한다

② 여러 단어를 동시에 처리하는 병렬 처리가 가능하다

③ 위치 인코딩으로 단어 순서 정보를 반영한다

④ 단어를 반드시 하나씩 순서대로만 처리해 병렬화가 어렵다

 

Q5. (단답형) 트랜스포머의 인코더 구조를 기반으로 하여

문장 이해(분류·검색)에 강점을 가진 구글의 언어모델은?

 

 

---

 

[ 정답 & 해설 ]

문제	정답	해설
Q1	②	①은 트랜스포머, ③은 LSTM. N-gram은 처음 보는 조합에 약한 희소성 문제가 있다
Q2	2개	N-gram은 앞의 N-1개 단어를 본다. 트라이그램은 N=3이므로 2개
Q3	①	장기 의존성 문제. 순서를 고려하는 게 RNN의 장점이다
Q4	④	순서대로만 처리하는 건 RNN의 한계. 트랜스포머는 병렬 처리가 가능하다
Q5	BERT	GPT는 디코더 계열로 문장 생성에 강하다

 

다음 글은 1회 시험에 나왔던 환각을 다루는

[이론 14] LLM 핵심 개념: 환각·RAG·멀티모달!

생성형 AI 이론 파트의 마지막 글이다

▶ [이론 14] LLM 핵심 개념, 환각·RAG·멀티모달 보러가기

 

▶ AIBT 2급 시험 정보 총정리 보러가기

▶ AIBT 2급 스터디 자료 보러가기 (AI&DATA 자격증 스터디 클럽)

 

AIBT 2급 준비하시는 분들 모두 화이팅입니다~~~~~ ^^