[AIBT 2급 이론 10] 이미지 생성 AI, GAN·확산 모델·스테이블 디퓨전 총정리 (+예상문제)

AIBT 2급 이론 정리 시리즈 10탄!!!

 

1회 시험에 스테이블 디퓨전 + 푸우 사진이 나왔던 바로 그 파트!

 

글 몇 줄로 그림을 만들어주는 이미지 생성 AI는

어떤 원리로 돌아가는지

대표 모델 3개만 확실히 잡고 가자

 

과목: 생성형 AI와 인공지능 이론

출제 영역: 생성형 AI 기초원리 이해

 

▶ [이론 09] 생성형 AI란? 판별 모델 vs 생성 모델 보러가기

 

[ 1. GAN (생성적 적대 신경망) ]

 

2014년 이안 굿펠로우가 발표한 모델

두 개의 신경망이 서로 경쟁하면서 실력을 키운다

구성	역할	비유
생성자 (Generator)	가짜 이미지를 진짜처럼 만들어냄	위조지폐범
판별자 (Discriminator)	진짜인지 가짜인지 가려냄	경찰

 

위조지폐범은 경찰을 속이려고 점점 정교하게 만들고

경찰은 더 잘 잡으려고 눈이 높아지고

이 경쟁을 반복하다 보면

진짜와 구별이 안 되는 이미지가 만들어진다!

 

09번 글의 판별 모델과 생성 모델이 한 팀으로 들어 있는 구조

 

다만 단점도 있다

단점	설명
학습이 불안정	두 신경망의 균형이 깨지면 학습이 잘 안 됨
모드 붕괴 (Mode Collapse)	생성자가 판별자를 속이기 쉬운 비슷한 이미지만 반복해서 만드는 현상

 

대표 활용: 실제 사람 같은 얼굴 생성(StyleGAN), 사진 화풍 변환,

그리고 악용 사례인 딥페이크

 

[ 2. VAE (변이형 오토인코더) ]

 

데이터를 잠재 공간(Latent Space)이라는 작은 공간으로 압축했다가(인코더)

다시 풀어내면서(디코더) 새로운 데이터를 만드는 모델

 

학습은 안정적이지만 결과 이미지가 흐릿한 편이라는 특징이 있다

 

[ 3. 확산 모델 (Diffusion Model) ]

 

요즘 이미지 생성 AI의 주인공!

노이즈를 넣었다가 빼는 과정을 배운다

과정	하는 일
순방향 (노이즈 추가)	깨끗한 이미지에 노이즈를 조금씩 더해 완전한 잡음으로 만듦
역방향 (노이즈 제거)	잡음에서 노이즈를 단계적으로 걷어내며 이미지를 복원하는 법을 학습
생성할 때	완전한 잡음에서 출발해 노이즈를 걷어내며 새 이미지를 만듦

 

뿌연 안개 속에서 점점 그림이 또렷해지는 모습을 떠올리면 된다!

 

장점은 고품질·다양한 이미지, 학습도 안정적

단점은 여러 단계를 거쳐서 생성 속도가 느린 편

 

[ 4. 스테이블 디퓨전 (Stable Diffusion) ]

 

2022년 공개된 대표적인 텍스트→이미지 생성 모델

Stability AI, 뮌헨대 연구팀(CompVis), Runway가 함께 만들었다

특징	설명
잠재 확산 모델	큰 이미지 대신 압축된 잠재 공간에서 확산을 진행해 빠르고 가벼움
텍스트 인코더	CLIP 기반 텍스트 인코더가 프롬프트의 의미를 이해해 그림에 반영
오픈소스	모델이 공개돼서 개인 PC에서도 실행하고 직접 수정·파인튜닝 가능
네거티브 프롬프트	"넣지 말 것"을 따로 지정할 수 있음 (예: 흐릿함, 글자)

 

1회 시험에서는 스테이블 디퓨전과 함께 푸우 사진이 나왔는데

실제 캐릭터를 따라 그린 이미지는

저작권·상표권 문제가 생길 수 있다는 점도 같이 알아두자 (26번 글)

 

[ 5. 이미지 생성 AI로 할 수 있는 것 ]

기능	설명
Text-to-Image	글(프롬프트)로 새 이미지 생성
Image-to-Image	기존 이미지를 바탕으로 스타일·구도를 바꿔 새로 생성
인페인팅 (Inpainting)	이미지의 일부 영역만 지정해 지우거나 새로 그림
아웃페인팅 (Outpainting)	이미지 바깥으로 장면을 이어서 확장
업스케일링	저해상도 이미지를 고해상도로 키움

 

[ 6. 세 모델 한눈에 비교 ]

구분	GAN	VAE	확산 모델
핵심 원리	생성자 vs 판별자 경쟁	압축(인코더) → 복원(디코더)	노이즈 추가 → 단계적 제거
이미지 품질	선명함	흐릿한 편	고품질
학습 안정성	불안정 (모드 붕괴)	안정적	안정적
생성 속도	빠름	빠름	느린 편 (여러 단계)
대표 예시	StyleGAN, 딥페이크	이미지 압축·생성 연구	스테이블 디퓨전, DALL·E, 미드저니

 

[ 시험 포인트 정리 ]

포인트	이것만은 기억!
GAN	2014년 이안 굿펠로우, 생성자 vs 판별자 (위조지폐범 vs 경찰)
모드 붕괴	GAN이 비슷한 결과만 반복 생성하는 문제
VAE	잠재 공간으로 압축 후 복원, 결과가 흐릿한 편
확산 모델	노이즈 추가 → 제거 과정을 학습, 고품질
스테이블 디퓨전	잠재 확산 모델, 텍스트→이미지, 오픈소스
인페인팅	이미지 일부만 수정 / 아웃페인팅은 바깥 확장

 

[ 예상문제 ]

 

Q1. (단답형) GAN을 구성하는 두 신경망으로,

가짜 데이터를 만드는 쪽과 진짜·가짜를 구별하는 쪽을 각각 무엇이라고 하는가?

 

Q2. 확산 모델(Diffusion Model)의 원리로 옳은 것은?

① 두 신경망이 서로 경쟁하며 학습한다

② 이미지에 노이즈를 더하는 과정과 이를 단계적으로 제거하는 과정을 학습한다

③ 사람이 정한 if-then 규칙으로 그림을 그린다

④ 이미지를 분류해 라벨을 붙인다

 

Q3. 스테이블 디퓨전에 대한 설명으로 옳지 않은 것은?

① 텍스트 프롬프트로 이미지를 생성할 수 있다

② 압축된 잠재 공간에서 확산 과정을 수행한다

③ 오픈소스로 공개되어 개인 PC에서도 실행할 수 있다

④ 생성자와 판별자가 경쟁하는 GAN 방식으로 이미지를 만든다

 

Q4. 생성된 이미지에서 특정 부분만 지정해 지우거나 새로 그려 넣는 기능은?

① 아웃페인팅

② 인페인팅

③ 업스케일링

④ 파인튜닝

 

Q5. (단답형) GAN에서 생성자가 다양한 결과를 만들지 못하고

비슷한 이미지만 반복해서 생성하는 현상은?

 

 

---

 

[ 정답 & 해설 ]

문제	정답	해설
Q1	생성자(Generator), 판별자(Discriminator)	위조지폐범(생성자)과 경찰(판별자)의 경쟁 구조
Q2	②	①은 GAN, ③은 규칙 기반, ④는 판별 모델의 설명
Q3	④	스테이블 디퓨전은 확산 모델(잠재 확산 모델)이다
Q4	②	인페인팅은 일부 영역 수정, 아웃페인팅은 이미지 바깥으로 확장
Q5	모드 붕괴 (Mode Collapse)	GAN 학습이 불안정할 때 생기는 대표적인 문제

 

다음 글은 [이론 11] 토큰·임베딩·컨텍스트 윈도우!

LLM이 글자를 어떻게 이해하는지 정리해보겠다

▶ [이론 11] 토큰·임베딩·컨텍스트 윈도우 보러가기

 

▶ AIBT 2급 시험 정보 총정리 보러가기

▶ AIBT 2급 스터디 자료 보러가기 (AI&DATA 자격증 스터디 클럽)

 

AIBT 2급 준비하시는 분들 모두 화이팅입니다~~~~~ ^^