20150426

Artificial Intelligence and Machine Learning
– Lecture 12, Stanford Machine Learning, https://www.youtube.com/watch?v=ZZGTuAkF-Hw
– 이번 강의에서는 unsupervised learning에 대해 공부할 것.
-> Clustering algorithm
-> Mixture of Gaussians
-> Jensen’s inequality
-> EM (Expectation-Maximization)
– Supervised learning에서는 데이터에 레이블이 달려있다. Unsupervised learning은 데이터가 어디에 속하는지 알려주지 않는다. 이 데이터를 분류해야 한다.
– 첫번째로 클러스터링 알고리즘에 대해 공부할 것이다. 클러스터링 알고리즘은 데이터를 특성에 따라 그룹을 짓는데 사용한다. K-means algorithm은 데이터를 k개의 클러스터로 구분한다.
1) K개의 centroid를 생성한다.
2) 각 centroid에 가까운 데이터로 클러스터를 생성한다.
3) centroid를 각 클러스터의 중심으로 이동시킨다.
4) 수렴할 때까지 2)~3)을 반복한다.
– K-means는 수렴을 보장한다. Outlier를 확인하기 위해, density estimation을 사용할 수 있다.
– EM algorithm은 E-step과 M-step을 수렴할 때까지 반복한다. EM algorithm을 조금 더 일반화해서 이해하려면 Jensen’s inequality 알아야 함. f가 convex function, X가 확률변수라 하자. f(E[X]) 0) 일 때, E[f(X) = f(E[X])이면 X=E[X]이다. f가 concave function이면 위 식의 부등호가 모두 반대가 된다.

Advertisements
Posted in 1) Memo

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

누적 방문자 수
  • 88,680 hits
%d bloggers like this: