본문 바로가기

AI (Artificial Intelligence)16

[AI/DL] 부스팅(Boosting) 앙상블 기법의 개념과 절차, 특징 알아보기 앙상블 기법 중 하나인 부스팅(Boosting)의 개념과 학습 절차, 특징을 알아봅니다. [ Contents ]  1. 부스팅(Boosting) 예측력이 약한 모델을 순차적으로 결합하여 학습시키면서, 점차 보완하여 예측력이 강한 모델을 만드는 기법  부스팅은 순차적으로 여러 모델을 거쳐 학습해서, 점차 보완된 모델을 얻는 기법입니다. 모델1의 학습데이터 평가 및 가중치를 조정하고, 이를 모델 2가 받아서 또 학습하는 식입니다. 이렇게 순차적으로 대물림받으며 학습을 진행하며, 잘못 학습된 가중치를 바로 잡으면서 정확도를 높여 갑니다. 병렬적으로 여러 분류기를 학습시킨 후, 그 분류기의 값을 취합하는 배깅과는 약간 상반된 앙상블 기법입니다. 2025.04.04 - [AI (Artificial Intellig.. 2025. 4. 4.
[AI/DL] 배깅(Bagging) 앙상블 기법의 개념 및 절차, 특징 알아보기 앙상블 기법은 여러 개의 예측 모델을 조합해서 하나의 최종 예측 모델을 만드는 방식으로, 배깅은 여러 예측 모델의 결과값을 평균 혹은 다수결의 원칙에 따라 최종 도출하는 방식입니다. 이러한 배깅 기법에 대해서 자세히 알아보겠습니다.  [ Contents ]  1. 배깅 (Bagging, Bootstrap Aggregating)부트스트랩 데이터를 기반으로 여러 모델을 학습시키고, 그 결과를 평균(또는 다수결)해서 예측하는 기법  배깅은 'Bootstrap(부트스트랩)'과 'Aggregating(합산)'의 합성어로, 부트스트랩 데이터로 여러 모델에 각각 학습시키고 그 결과를 합산하는 기법입니다. 다양한 데이터로 여러 모델에 학습하는 앙상블 기법 중 하나로, 대체로 성능이 준수한 편입니다. 다만 여러 모델에 .. 2025. 4. 4.
[AI/DL] 매개변수 최적화 기법 종류: 확률적 경사 하강법(SGD), 모멘텀, AdaGrad, Adam 매개변수 최적화 기법의 개념에 대해서 알아보고, 그 종류를 살펴봅니다. (확률적 경사 하강법(SGD), 모멘텀, Adam) [ Contents ]  1. 매개변수 최적화 (Parameter Optimization)딥러닝에서 모델의 성능을 높이기 위해 파라미터(가중치, 편향)를 조정하는 과정  딥러닝에서는 학습을 통해 각 뉴런의 가중치와 편향을 조정합니다. 대량의 데이터 학습은 '입력에 따라 올바른 출력값을 도출하기 위한 매개변수(가중치, 편향) 조정 과정'으로, 효율적인 학습을 위해서는 매개변수 최적화가 필요하죠. 아래에서는 이러한 매개변수 최적화 방법에 대해서 알아보겠습니다.  2. 매개변수 최적화 기법1) 확률적 경사 하강법(Stochastic Gradient Descent, SGD)무작위 샘플 또는.. 2025. 4. 4.
[AI/DL] 혼동 행렬 평가지표: 정확도, 정밀도, 재현율, 특이도, 조화 평균(F1 Score) 혼동 행렬(Confusion Matrix)는 분류모델의 평가 지표로 많이 쓰이며, 그 지표에는 정확도, 정밀도, 재현율, 특이도, 조화평균이 있습니다. 아래에서는 각 평가지표를 구하는 방법과 쓰이는 예시를 살펴보겠습니다. [ Contents ]  1. 혼동 행렬 (Confusion Matrix)TP (True Positive): 실제도 양성이고, 예측도 양성 → 정답TN (True Negative): 실제도 음성이고, 예측도 음성 → 정답FP (False Positive): 실제는 음성인데, 예측은 양성 → 오답 (오탐지)FN (False Negative): 실제는 양성인데, 예측은 음성 → 오답 (미탐지)  분류 모델에서 나올 수 있는 결과값을 행렬 형태로 정리한 걸 '혼동 행렬 (Confusion M.. 2025. 4. 3.
[AI/통계] 베이즈 정리의 개념과 예제 [feat. 조건부 확률, 전 확률의 정리] 확률과 통계 및 딥러닝에서 자주 사용하는 개념인 베이즈 정리에 대해서 알아봅니다. 베이즈 정리의 경우, 베이지안 뉴럴 네트워크까지 있을 정도로 학계에서는 중요하게 다뤄지는 개념입니다. 베이즈 정리를 살펴보기 위한 조건부 확률과 전 확률의 정리를 미리 알아보고, 베이즈 정리의 개념과 예제를 다뤄봅니다. [ Contents ]  1. 조건부 확률 (Conditional Probability)어떤 사건(B)이 일어난다는 조건에서 다른 사건(A)이 일어날 확률  조건부 확률의 분모와 분자를 잘 살펴보면 그 의미를 알 수 있습니다. 분모는 B가 일어날 확률으로, 그 중에서 A와 B 사건이 같이 일어날 확률이 분자로 들어갑니다. 즉, B 사건이 일어나는 확률 중에서, A 사건도 일어날 확률을 뜻합니다.    2. .. 2025. 4. 2.
[AI/ML] K-평균 클러스터링 알고리즘 개념 및 동작 방식 알아보기 [feat. 실루엣 계수] K-평균 클러스터링은 비지도학습의 대표적인 예시로, 간단하면서도 준수한 성능을 가졌습니다. 이러한 K-평균 클러스터링의 개념 및 동작 방식을 알아봅니다. [ Contents ]  1. K-평균 클러스터링중심점을 갱신하며 K개의 군집으로 분류하는 비지도 학습  K-평균 클러스터링은 K개의 중심점을 갖는 분류 알고리즘입니다. 임의의 중심점 K개를 지정하고, 중심점을 기준으로 가까운 데이터들을 해당 클래스로 할당합니다. 그리고 새롭게 형성된 군집에서 새로운 중심점을 갱신하고, 갱신된 중심점을 기준으로 또 다시 가까운 데이터들을 할당하는 과정을 반복합니다. 그렇게 몇 번 반복하면 중심점의 변화가 거의 없는 군집이 만들어지죠. 앞선 설명은 다소 이해가 어려울 수 있습니다. 아래에서 차근차근 살펴보겠습니다.  2... 2025. 4. 1.
[AI/ML] SVM, 서포트 벡터 머신 개념과 원리, 특징과 구성요소 알아보기 지도학습을 통한 분류 모델에 많이 사용되는 SVM의 개념과 특징, 구성요소를 알아봅니다. [ Contents ]  1. SVM (Support Vector Machine, 서포트 벡터 머신)지도학습을 통한 분류 알고리즘으로, 마진이 가장 큰 데이터를 분리하는 초평면(Hyperplane)을 찾아 분류하는 방식  분류학습의 핵심은 결정경계(decision boundary)를 구하는 것에 있습니다. 그 경계를 통해서 데이터가 어느 클래스에 분류되는지 결정합니다.  SVM은 그 결정경계를 '마진이 가장 큰 초평면(Hyperplane)'으로 정합니다. 두 클래스 사이의 경계를 최대한 넓게 잡아 분류하므로, 정확성이 뛰어나며 최대 적합(overfitting)의 가능성도 낮습니다. 따라서 사물인식, 패턴인식, 손 글.. 2025. 3. 31.
[AI/DL] 활성화 함수의 개념과 종류 (시그모이드, ReLU, 계단, 부호, tanh 함수) 딥러닝에서 학습을 위해 사용하는 활성화 함수의 개념과 종류에 대해서 알아봅니다. 대표적인 활성화 함수에는 ReLU, 시그모이드 함수가 있으며 이외에도 다양한 함수 종류를 살펴봅니다. [ Contents ]  1. 활성화 함수(Activation Function)비선형성을 위해 추가한 변환 함수  딥러닝은 인간의 뇌처럼 수많은 뉴런들을 층층이 쌓아서 연결한 형태입니다. 이 뉴런들은 입력값에 가중치(weight)를 곱하고 편향(bias)를 더해서 출력값을 산출해서 다음 뉴런으로 넘깁니다. 출력 = (입력 * 가중치) + 편향 하지만 위와 같이 단순히 선형적인 형태는 여러 번 반복해도 선형적인 형태를 벗어나지 못합니다. 마치 연립 일차방정식을 푸는 과정과 비슷합니다. 아무리 많아도 푸는 과정은 일차방정식을 벗.. 2025. 3. 31.
[AI/ML] 지니 지수 구하는 방법, 분류함수 불순도 척도 계산하기 지니 지수의 개념과 정의에 대해서 알아보고, 이를 계산하여 분류함수의 불순도 척도를 구해봅니다. [ Contents ]  1. 지니 지수 (Gini Index, 지니 계수)  본래 지니 지수는 경제학에서 소득 불평등 정도를 나타내는 소득분배지표로 사용했었습니다. 지니 지수는 0과 1 사이의 값을 가지며, 1에 가까울수록 소득이 불평등합니다. 즉, 소득이 제각각 다르다는 뜻이죠. 지니 지수는 기계학습의 분류 함수 불순도 측정에도 사용됩니다. 불순도(impurity)는 하나의 노드 안에 얼마나 여러 클래스가 섞여 있는지를 나타내는 지표입니다. 지니 지수가 1에 가까울수록 불순도가 높고, 이질적이라고 볼 수 있죠.  2. 지니 지수 계산예시: A B C A A A A  위와 같은 클래스를 갖는 노드가 있다고 .. 2025. 3. 31.

티스토리툴바