[AIBT 2급 이론 08] 인공신경망 기초와 과적합, 활성화 함수 총정리 (+예상문제)

AIBT 2급 이론 정리 시리즈 8탄!!!

 

딥러닝의 뼈대인 인공신경망

그리고 AI 학습에서 가장 흔한 문제인 과적합까지!

 

수식은 몰라도 된다

용어와 흐름만 정확하게 잡고 가자

 

과목: 생성형 AI와 인공지능 이론

출제 영역: 인공지능 알고리즘 이해

 

▶ [이론 07] 전이학습·사전학습·파인튜닝 보러가기

 

[ 1. 인공 뉴런은 이렇게 생겼다 ]

 

사람 뇌의 신경세포(뉴런)를 흉내 낸 계산 단위

여러 입력을 받아서 하나의 출력을 낸다

구성요소	역할	비유
입력 (x)	들어오는 데이터 값	여러 친구의 의견
가중치 (w)	각 입력이 얼마나 중요한지	친구별 신뢰도
편향 (b)	출력이 나오는 기준점을 조정	내 원래 성향
가중합	입력 × 가중치를 모두 더하고 편향을 더한 값	의견 종합 점수
활성화 함수	가중합을 보고 다음으로 신호를 보낼지·얼마나 보낼지 결정	최종 결정 규칙

 

학습이란 결국

정답에 가까워지도록 가중치와 편향을 조정하는 과정이다!

 

[ 2. 단층 → 다층 → 심층 신경망 ]

구조	설명	특징
단층 퍼셉트론	입력층과 출력층만 있음	XOR 같은 문제를 못 풂 (03번 글)
다층 퍼셉트론 (MLP)	입력층 + 은닉층 + 출력층	은닉층 덕분에 XOR 해결
심층 신경망 (DNN)	은닉층이 여러 개(2개 이상)	이걸 학습시키는 게 바로 딥러닝

 

[ 3. 신경망은 이렇게 학습한다 ]

순서 문제로 잘 나오니까 흐름을 기억하자

단계	이름	하는 일
①	순전파 (Forward)	입력을 넣어 층을 따라 계산하고 예측값을 냄
②	손실 계산	손실 함수로 예측값과 정답의 차이(오차)를 계산
③	역전파 (Backpropagation)	오차를 뒤에서 앞으로 보내며 각 가중치의 책임(기울기)을 계산
④	가중치 업데이트	경사 하강법으로 오차가 줄어드는 방향으로 가중치 수정
반복	에포크(Epoch)	전체 데이터를 한 바퀴 학습하는 단위, 여러 번 반복

 

같이 나오는 용어도 정리!

용어	뜻
경사 하강법	오차(손실)가 가장 작아지는 방향으로 조금씩 내려가며 가중치를 찾는 방법
학습률 (Learning Rate)	한 번에 가중치를 얼마나 크게 바꿀지 정하는 값 (너무 크면 발산, 너무 작으면 느림)
배치 (Batch)	한 번 업데이트할 때 묶어서 쓰는 데이터 묶음
에포크 (Epoch)	전체 학습 데이터를 한 번 다 사용한 횟수

 

[ 4. 활성화 함수 ]

시험 단골! 함수 이름과 특징을 짝지어 외우자

함수	출력 범위	특징
계단 함수	0 또는 1	초기 퍼셉트론에서 사용, 기준을 넘으면 1
시그모이드	0 ~ 1	확률처럼 해석 가능, 층이 깊으면 기울기 소실 문제
하이퍼볼릭 탄젠트 (tanh)	-1 ~ 1	시그모이드보다 중심이 0이라 학습이 조금 나음
ReLU	0 ~ ∞	0 이하는 0, 양수는 그대로 출력. 계산이 빠르고 기울기 소실을 줄여 딥러닝에서 가장 많이 사용
소프트맥스	0 ~ 1 (합계 1)	다중 분류의 출력층에서 각 클래스의 확률로 변환

 

기울기 소실(Vanishing Gradient)이란?

역전파로 오차를 앞쪽 층까지 보내는 동안

기울기가 점점 작아져서 앞쪽 층이 거의 학습되지 않는 문제

ReLU가 등장하면서 많이 해결됐다!

 

[ 5. 과적합 vs 과소적합 ]

 

과적합(Overfitting)은

학습 데이터에만 너무 딱 맞춰져서

새로운 데이터에서는 성능이 떨어지는 현상

 

기출문제 답만 통째로 외운 수험생이

숫자만 바뀐 새 문제를 못 푸는 것과 같다!

구분	과소적합 (Underfitting)	적절한 학습	과적합 (Overfitting)
상태	너무 덜 배움	딱 알맞게 배움	학습 데이터를 통째로 외움
학습 데이터 성능	낮음	높음	매우 높음
새 데이터 성능	낮음	높음	낮음
원인	모델이 너무 단순, 학습 부족	-	모델이 너무 복잡, 데이터 부족, 너무 오래 학습

 

[ 6. 과적합 해결 방법 ]

방법	설명
데이터 늘리기	학습 데이터를 더 모으거나, 이미지를 뒤집고 돌려서 늘림 (데이터 증강)
드롭아웃 (Dropout)	학습할 때 일부 뉴런을 무작위로 꺼서 특정 뉴런에 의존하지 않게 함
조기 종료 (Early Stopping)	검증 데이터 성능이 나빠지기 시작하면 학습을 멈춤
규제 (L1·L2 정규화)	가중치가 지나치게 커지지 않도록 벌점을 줌
모델 단순화	층이나 파라미터 수를 줄임
교차 검증	데이터를 여러 번 나눠 번갈아 검증해 일반화 성능 확인

 

[ 7. 데이터는 세 개로 나눈다 ]

데이터	용도
학습 데이터 (Train)	모델의 가중치를 학습
검증 데이터 (Validation)	학습 중간에 성능을 확인하고 설정값 조정, 과적합 감시
테스트 데이터 (Test)	학습이 끝난 뒤 최종 성능 평가 (학습에 절대 사용 X)

 

[ 시험 포인트 정리 ]

포인트	이것만은 기억!
인공 뉴런	입력 × 가중치 + 편향 → 활성화 함수 → 출력
심층 신경망	은닉층 2개 이상, 이걸 학습하는 게 딥러닝
학습 순서	순전파 → 손실 계산 → 역전파 → 가중치 업데이트
ReLU	0 이하는 0, 양수는 그대로, 기울기 소실 완화
소프트맥스	다중 분류 출력층, 확률 합계 1
과적합	학습 데이터 성능↑, 새 데이터 성능↓
과적합 해결	데이터 증강, 드롭아웃, 조기 종료, 규제

 

[ 예상문제 ]

 

Q1. 입력값이 0 이하이면 0을, 0보다 크면 입력값을 그대로 출력하며

딥러닝에서 가장 널리 쓰이는 활성화 함수는?

① 시그모이드

② 계단 함수

③ ReLU

④ 소프트맥스

 

Q2. (단답형) 모델이 학습 데이터에서는 성능이 매우 높지만

처음 보는 새로운 데이터에서는 성능이 크게 떨어지는 현상은?

 

Q3. 과적합을 줄이는 방법으로 옳지 않은 것은?

① 드롭아웃 적용

② 학습 데이터 늘리기(데이터 증강)

③ 조기 종료

④ 모델을 더 복잡하게 만들고 학습을 최대한 오래 하기

 

Q4. 인공신경망의 학습 과정을 순서대로 바르게 나열한 것은?

ㄱ. 역전파　ㄴ. 순전파　ㄷ. 가중치 업데이트　ㄹ. 손실(오차) 계산

① ㄴ → ㄹ → ㄱ → ㄷ

② ㄱ → ㄴ → ㄹ → ㄷ

③ ㄴ → ㄱ → ㄹ → ㄷ

④ ㄹ → ㄴ → ㄷ → ㄱ

 

Q5. (단답형) 여러 개의 클래스 중 하나를 고르는 다중 분류 문제에서

출력층의 값을 합계가 1인 확률로 바꿔주는 활성화 함수는?

 

 

---

 

[ 정답 & 해설 ]

문제	정답	해설
Q1	③	ReLU(Rectified Linear Unit). 계산이 간단하고 기울기 소실 문제를 줄여준다
Q2	과적합 (Overfitting)	반대로 학습 데이터와 새 데이터 모두에서 성능이 낮으면 과소적합
Q3	④	모델을 복잡하게 하고 오래 학습할수록 과적합 위험이 커진다
Q4	①	순전파 → 손실 계산 → 역전파 → 가중치 업데이트를 반복
Q5	소프트맥스 (Softmax)	이진 분류에는 주로 시그모이드, 다중 분류에는 소프트맥스

 

이걸로 인공지능 알고리즘 파트(05~08)는 끝!

다음 글부터는 생성형 AI 파트로 넘어간다

 

다음 글은 [이론 09] 생성형 AI란? 판별 모델 vs 생성 모델!

▶ [이론 09] 생성형 AI란? 판별 모델 vs 생성 모델 보러가기

 

▶ AIBT 2급 시험 정보 총정리 보러가기

▶ AIBT 2급 스터디 자료 보러가기 (AI&DATA 자격증 스터디 클럽)

 

AIBT 2급 준비하시는 분들 모두 화이팅입니다~~~~~ ^^