본문 바로가기

ML10

[AI/DL] 매개변수 최적화 기법 종류: 확률적 경사 하강법(SGD), 모멘텀, AdaGrad, Adam 매개변수 최적화 기법의 개념에 대해서 알아보고, 그 종류를 살펴봅니다. (확률적 경사 하강법(SGD), 모멘텀, Adam) [ Contents ]  1. 매개변수 최적화 (Parameter Optimization)딥러닝에서 모델의 성능을 높이기 위해 파라미터(가중치, 편향)를 조정하는 과정  딥러닝에서는 학습을 통해 각 뉴런의 가중치와 편향을 조정합니다. 대량의 데이터 학습은 '입력에 따라 올바른 출력값을 도출하기 위한 매개변수(가중치, 편향) 조정 과정'으로, 효율적인 학습을 위해서는 매개변수 최적화가 필요하죠. 아래에서는 이러한 매개변수 최적화 방법에 대해서 알아보겠습니다.  2. 매개변수 최적화 기법1) 확률적 경사 하강법(Stochastic Gradient Descent, SGD)무작위 샘플 또는.. 2025. 4. 4.
[AI/DL] 혼동 행렬 평가지표: 정확도, 정밀도, 재현율, 특이도, 조화 평균(F1 Score) 혼동 행렬(Confusion Matrix)는 분류모델의 평가 지표로 많이 쓰이며, 그 지표에는 정확도, 정밀도, 재현율, 특이도, 조화평균이 있습니다. 아래에서는 각 평가지표를 구하는 방법과 쓰이는 예시를 살펴보겠습니다. [ Contents ]  1. 혼동 행렬 (Confusion Matrix)TP (True Positive): 실제도 양성이고, 예측도 양성 → 정답TN (True Negative): 실제도 음성이고, 예측도 음성 → 정답FP (False Positive): 실제는 음성인데, 예측은 양성 → 오답 (오탐지)FN (False Negative): 실제는 양성인데, 예측은 음성 → 오답 (미탐지)  분류 모델에서 나올 수 있는 결과값을 행렬 형태로 정리한 걸 '혼동 행렬 (Confusion M.. 2025. 4. 3.
[AI/ML] K-평균 클러스터링 알고리즘 개념 및 동작 방식 알아보기 [feat. 실루엣 계수] K-평균 클러스터링은 비지도학습의 대표적인 예시로, 간단하면서도 준수한 성능을 가졌습니다. 이러한 K-평균 클러스터링의 개념 및 동작 방식을 알아봅니다. [ Contents ]  1. K-평균 클러스터링중심점을 갱신하며 K개의 군집으로 분류하는 비지도 학습  K-평균 클러스터링은 K개의 중심점을 갖는 분류 알고리즘입니다. 임의의 중심점 K개를 지정하고, 중심점을 기준으로 가까운 데이터들을 해당 클래스로 할당합니다. 그리고 새롭게 형성된 군집에서 새로운 중심점을 갱신하고, 갱신된 중심점을 기준으로 또 다시 가까운 데이터들을 할당하는 과정을 반복합니다. 그렇게 몇 번 반복하면 중심점의 변화가 거의 없는 군집이 만들어지죠. 앞선 설명은 다소 이해가 어려울 수 있습니다. 아래에서 차근차근 살펴보겠습니다.  2... 2025. 4. 1.
[AI/ML] SVM, 서포트 벡터 머신 개념과 원리, 특징과 구성요소 알아보기 지도학습을 통한 분류 모델에 많이 사용되는 SVM의 개념과 특징, 구성요소를 알아봅니다. [ Contents ]  1. SVM (Support Vector Machine, 서포트 벡터 머신)지도학습을 통한 분류 알고리즘으로, 마진이 가장 큰 데이터를 분리하는 초평면(Hyperplane)을 찾아 분류하는 방식  분류학습의 핵심은 결정경계(decision boundary)를 구하는 것에 있습니다. 그 경계를 통해서 데이터가 어느 클래스에 분류되는지 결정합니다.  SVM은 그 결정경계를 '마진이 가장 큰 초평면(Hyperplane)'으로 정합니다. 두 클래스 사이의 경계를 최대한 넓게 잡아 분류하므로, 정확성이 뛰어나며 최대 적합(overfitting)의 가능성도 낮습니다. 따라서 사물인식, 패턴인식, 손 글.. 2025. 3. 31.
[AI/DL] 활성화 함수의 개념과 종류 (시그모이드, ReLU, 계단, 부호, tanh 함수) 딥러닝에서 학습을 위해 사용하는 활성화 함수의 개념과 종류에 대해서 알아봅니다. 대표적인 활성화 함수에는 ReLU, 시그모이드 함수가 있으며 이외에도 다양한 함수 종류를 살펴봅니다. [ Contents ]  1. 활성화 함수(Activation Function)비선형성을 위해 추가한 변환 함수  딥러닝은 인간의 뇌처럼 수많은 뉴런들을 층층이 쌓아서 연결한 형태입니다. 이 뉴런들은 입력값에 가중치(weight)를 곱하고 편향(bias)를 더해서 출력값을 산출해서 다음 뉴런으로 넘깁니다. 출력 = (입력 * 가중치) + 편향 하지만 위와 같이 단순히 선형적인 형태는 여러 번 반복해도 선형적인 형태를 벗어나지 못합니다. 마치 연립 일차방정식을 푸는 과정과 비슷합니다. 아무리 많아도 푸는 과정은 일차방정식을 벗.. 2025. 3. 31.
[AI/ML] 지니 지수 구하는 방법, 분류함수 불순도 척도 계산하기 지니 지수의 개념과 정의에 대해서 알아보고, 이를 계산하여 분류함수의 불순도 척도를 구해봅니다. [ Contents ]  1. 지니 지수 (Gini Index, 지니 계수)  본래 지니 지수는 경제학에서 소득 불평등 정도를 나타내는 소득분배지표로 사용했었습니다. 지니 지수는 0과 1 사이의 값을 가지며, 1에 가까울수록 소득이 불평등합니다. 즉, 소득이 제각각 다르다는 뜻이죠. 지니 지수는 기계학습의 분류 함수 불순도 측정에도 사용됩니다. 불순도(impurity)는 하나의 노드 안에 얼마나 여러 클래스가 섞여 있는지를 나타내는 지표입니다. 지니 지수가 1에 가까울수록 불순도가 높고, 이질적이라고 볼 수 있죠.  2. 지니 지수 계산예시: A B C A A A A  위와 같은 클래스를 갖는 노드가 있다고 .. 2025. 3. 31.
[AI/ML] 회귀 분석 검정, 결정계수(R-squared)의 개념과 구하는 법 알아보기 회귀 분석 검정에서 사용하는 결정계수 R^2에 대해서 알아봅니다. 결정계수의 개념에 대해서 먼저 살펴보고, 이를 구해서 검정하는 방법도 알아보겠습니다. [ Contents ]  1. 결정계수 R-squared1 - (SSE 오차제곱합) / (SST 전체제곱합) = (SSR 회귀 제곱합) / (SST 전체제곱합)  결정계수는 회귀모형이 전체 데이터를 얼마나 잘 설명하고 있는지를 보여주는 지표로, 많이 사용하는 평가 지표입니다. 회귀모형이 종속변수(Y)의 변동을 얼마나 잘 설명하고 있는지를 나타내주죠. 결정계수는 0에서 1사이의 값을 가지며, 1에 가까울수록 회귀모형이 잘 설명하고 있다고 판단합니다. 아래에서는 결정계수 계산에 필요한 SSE, SST, SSR에 대해서 알아보겠습니다.  1) SSE (Erro.. 2025. 3. 30.
[AI/ML] 최소제곱법을 이용한 회귀계수 추정, 오차 제곱합(SSE) 개념과 정의 회귀계수를 추정하는 방법은 다양하지만, 대표적으로는 최소제곱법을 사용합니다. 최소제곱법을 이용하여 회귀계수를 추정하는 방법을 알아봅니다. [ Contents ]  1.  최소제곱법 (OLS)각 오차의 제곱합을 최소로 하는 회귀 계수를 추정하는 방법  회귀분석은 지도학습으로, 정답값(label)이 있는 데이터로 답을 예측하는 함수를 찾아냅니다. 정답값이 있으므로 예측값과 얼마나 차이나는지 알 수 있죠. 그 오차를 측정해서 제곱합으로 나타냅니다. 오차를 바로 더하지 않고 제곱하는 이유는 오차끼리 상쇄되지 않도록 하기 위해서입니다. 예를 들어 오차가 각각 -1, 2, -1이 났다면 더하면 0이 되버리죠. 이런 걸 방지하기 위해 제곱합을 사용해서 1 + 4 + 1 = 6으로 나타냅니다. 2025.03.30 - .. 2025. 3. 30.
[AI/ML] 회귀 분석의 개념과 유형, 그리고 회귀 모형의 가정 [선형성, 독립성, 등분산성] 기계학습에서 가장 기본적이고도 중요한 분야인 '회귀 분석(Regression Analysis)'에 대해서 알아봅니다. 또 회귀분석의 유형과 그 분석의 토대가 되는 회귀 모형의 가정도 살펴보겠습니다. [ Contents ]  1. 회귀 분석(Regression Analysis)연속성 있는 실수 값을 예측하는 문제로, 답을 예측하는 함수를 찾아냅니다.  회귀분석은 지도학습 중 하나로, 정답값(label)이 있는 데이터로 답을 예측하는 함수를 찾아냅니다. 일련의 데이터 추세를 파악해서 특정 값을 예측하는 분석 모형입니다. 2022.04.09 - [AI (Artificial Intelligence)/ML (Machine Learning)] - [AI/ML] 머신러닝(Machine Learning)이란? 지도학습.. 2025. 3. 30.

티스토리툴바