AI-ML/Math
-
[Math] 다변량 확률 분포 ( Vector 의 확률 분포 )AI-ML/Math 2025. 1. 17. 20:10
- 목차 들어가며.일반적인 확률 분포는 하나의 변수를 취급하며 스칼라 타입의 값을 다룹니다. 나이브 베이즈 (Naive Bayes) 와 같은 분류 모델의 경우에는 각 Feature 마다의 Distribution 을 가정하고, 최대 우도를 만족하는 Distribution 을 찾죠. 즉, 일반적으로 확률 분포는 2-dimension 으로 표현 가능한 x-y 의 좌표에서 표현됩니다. 하지만 다변량 확률 분포는 그렇지 않습니다. 2개의 이상의 여러 변수 또는 벡터를 기반으로 확률 분포를 표현하고, 시각화가 어려울 수 있습니다. 특히 이러한 확률 분포를 위해서 각 feature 마다의 평균과 공분산이 사용되는데요. 이어지는 내용에서 다변량 확률 분포의 설명과 여러 예시를 함께 알아봅니다. 2차원의 Vector ..
-
[Math] 우도 추정 ( Likelihood Estimation ) 알아보기AI-ML/Math 2025. 1. 2. 21:37
- 목차 Likelihood 란 ? x 라는 feature 와 y 라는 label 이 존재한다고 가정합니다. x 는 사람의 키와 같은 수치형 변수이고, label 은 성별에 해당하는 분류형 데이터라고 가정하겠습니다. 이 상황에서 x 와 y 의 확률 분포는 대개 아래와 같이 표현됩니다. P(x) 는 수치형 데이터인 사람의 키에 대한 확률 분포로 정규 분포의 모습을 취합니다. P(y) 에 해당하는 성별 정보는 이항 분포를 취하게 됩니다. 베이즈 정리의 관점에서 위와 같은 Feature 와 Label 에 대한 사전 확률 분포를 구할 수가 있습니다. 이제 우도(Likelihood) 가 나올 차례인데요. 베이즈 정리는 아래와 같은 형식을 취합니다. $$P(y \mid x) = \frac{P(x \mid y) \..
-
[Math] Vector 와 Gradient 알아보기AI-ML/Math 2024. 12. 25. 10:20
- 목차 다변수 스칼라 함수를 Vector 로 미분.다변수 스칼라 함수는 Vector 를 입력으로 받고 Scalar Value 를 출력으로 반환하는 함수를 의미합니다. 아래의 관계과 같이 n 차원 또는 n 개의 feature 를 가지는 Vector 가 입력으로 사용되고, 하나의 실수값이 반환되게 됩니다. $$f: \mathbb{R}^n \to \mathbb{R}$$즉, 입력 x 는 아래와 같은 열벡터로 표현되고, 출력은 하나의 수치값인 함수입니다. $$x = [x_1, x_2, \ldots, x_n]^\top$$간단한 예시로써 아래와 같이 표현될 수 있습니다. f(x, y) = x + 5yf(x, y, z) = sin(x) + 4y + log(z)그리고 이 여러개의 변수들을 하나의 Vector 로 표현하..
-
[Math] 선형 모델의 학습은 왜 Convex 최적화가 될까 ?AI-ML/Math 2024. 12. 23. 06:39
- 목차 들어가며.머신러닝의 선형 모델은 가장 기초적이면서 널리 활용되는 모델입니다. 선형 모델은 $w^\top x$ 와 같은 Coefficient Vector 와 Data sample 로 구성되는 두 벡터 사이의 내적을 기반으로 결과를 예측합니다.이러한 선형 모델은 학습시킬 때에 일반적으로 손실 함수를 최소화하는 방향으로 최적화 문제를 해결하는데요. 이때, 우리는 MSE 손실함수를 최소화시켜야하는 상황을 마주합니다. Convex 최적화는 Global Minimum 을 효율적으로 탐색할 수 있는 장점을 가지며, 선형 모델들은 대체로 이러한 Convex 최적화를 통해서 Global Mimimum 에 도달할 수 있습니다. 이어지는 내용에서 관련된 수학적인 이론과 배경을 알아봅니다. Hessian 과 Co..
-
[Math] RBF Kernel 과 Kernel Trick 알아보기 ( Radial Basis Function )AI-ML/Math 2024. 12. 23. 05:54
- 목차 kernel 이란 ? 머신러닝에서의 커널은 운영체제에서 말하는 커널과는 완전히 다른 개념입니다.여기서 커널은 두 벡터 사이의 유사도를 측정하는 수학적인 함수를 의미합니다. 이는 종류에 따라서 단순한 내적일 수도 있고, 복잡한 거리 기반의 함수일 수 있습니다. 가장 기본적인 커널은 선형 커널 (Linear Kernel) 로 이는 단순히 두 벡터의 Inner Product 를 의미합니다. 하지만 비선형적인 데이터 구조를 다루기 위해서는 Kernel Trick 이라는 기법이 활용됩니다. 아래의 예시는 비선형적인 관계를 가지는 데이터 분포의 예시입니다. (Moons shared Dataset)서로 다른 클러스터의 데이터들이 선형적인 관점에서 본다면 높은 유사도를 가질 수 있는 구조입니다. 커널 트릭..
-
[AI-ML] KKT (Karush-Kuhn-Tucker) 조건 알아보기 ( Lagrangian Multiplier )AI-ML/Math 2024. 12. 16. 21:19
- 목차 들어가며.https://westlife0615.tistory.com/1126 [AI-ML] Lagrange Multiplier ( 라그랑주 승수법 ) 알아보기- 목차 들어가며.라그랑주 승수법은 제약 조건이 있는 최적화 문제를 푸는 대표적인 수학적인 기법입니다. 일반적인 머신러닝 문제는 거의 대부분 최적화 문제를 해결해야 합니다. 이러한 최적westlife0615.tistory.com 대부분의 머신러닝 알고리즘이 해결하는 최적화 문제는 목적함수의 최소값을 구하는 방식을 사용합니다. 그리고 이러한 최소값은 수 많은 Local Minimum 중에서 Optimum Minimum 을 찾기 위해서 경사하강법과 같은 방식으로 Gradient 가 0 이 되는 여러 포인트들을 탐색하게 됩니다. 라그랑주 승수법과..
-
[AI-ML] Lagrange Multiplier ( 라그랑주 승수법 ) 알아보기AI-ML/Math 2024. 12. 16. 07:07
- 목차 들어가며.라그랑주 승수법은 제약 조건이 있는 최적화 문제를 푸는 대표적인 수학적인 기법입니다. 일반적인 머신러닝 문제는 거의 대부분 최적화 문제를 해결해야 합니다. 이러한 최적화 문제들 중에서 라그랑주 승수법은 제약 조건이 있는 최적화 문제를 그 대상으로 합니다. 우리가 목적 함수 $f(x)$ 를 최소화하거나 최대화하는 문제들이 보통 최적화 문제라고 합니다. 그리고 이러한 문제에선 제약 조건이 따르지 않습니다. 하지만 Support Vector Machine 과 같은 문제를 해결해야할 때에는 이러한 제약 조건이 따르게 되고, 라그랑주 승수법을 적용합니다. 라그랑주 승수법은 제약 조건을 만족하는 해들 중에서 목적 함수 $f(x)$ 를 최적화하는 지점 또는 해를 찾기 위해서 새로운 함수 $$ L(..