20160726

Neural network에 대한 재미있는 문서
TensorFlow에 대해 찾아보다가 이 문서를 찾았다(http://cs231n.github.io/neural-networks-1/). 설명이 꽤 잘 되어있었고, 잘 모르는 내게는 모든 내용이 신선했다. Neuron에서 사용하는 activation function의 종류와 장단점, 그리고 hidden layer와 neuron의 수에 관련된 내용이 재미있었다. Activation function은 지금까지 sigmoid만 있는 줄 알았는데, 알고보니 tanh, ReLU, softmax 등이 있었다. 그리고 hidden layer의 수와 neuron의 수를 어떻게 결정해야 하는가 늘 고민이 있었는데, hidden layer와 neuron은 많을수록 표현력이 좋아진다고 한다. 이 때 overfit 문제가 발생할 수 있는데, 이들은 regularization을 사용해서 해결해야 한다고 한다.
아래 영상은 sigmoid의 단점과 ReLU의 장점에 대한 영상이다.


그런데 다음 영상에서는 hidden layer가 많아질수록 오히려 성능이 떨어진다고 한다 (16분 45초).

TensorFlow에 대한 예제 코드: http://openmachin.es/blog/tensorflow-mnist
Neural network 연구의 흐름에 대한 이해: http://sanghyukchun.github.io/75/

Advertisements
Tagged with: , , , , , , , , , , ,
Posted in 1) Memo

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

누적 방문자 수
  • 88,681 hits
%d bloggers like this: