본문 바로가기

[프로그래밍]/모두를 위한 딥러닝

(10)
[모두를위한딥러닝]ML 실용과 몇가지 팁 lenrning rate은 경사하강법에서 각각의 step을 얼마의 크기로 주고 할지를 정하는 수치라고 표현했었다. 만약, lenrning rate가 너무 클 시 제대로 측정이 되지 않을수 있다. 그럼 만약 너무 작은 값을 주게 될 시에는? 최적의 값을 찾지도 못하고 종료해버릴 수도 있다. 즉, 여러 개의 값을 주어지고 테스트를 해보는 것이 가장 좋은 방법이다. 데이터의 값(X)에 차이가 엄청 클 경우 normalization을 통해서 데이터의 중심을 0으로 옮겨주는 작업을 수행한다. 그리고 이것을 표현해주는 파이썬 식은 다음과 같다. x_std[:,0]=(x[:,0]-x[:,0].mean())/x[:,0].std() overfitting은 학습데이터에만 너무 잘맞는 모델을 바탕으로 학습된 결과를 도출하는..
[모두를위한딥러닝] 소프트맥스 회귀 하나의 벡터를 주어지고 X와 연산을 하게된다면 각각의 계산된 값은 독립된 바이너리 예측 값을 획득할 수 있으며 이것을 Multinomial Logistic Regression의 개념이다. 그렇다면 시그모이드란 함수는 뭣인가? 시그모이드는 위 Multinomial Logistic Regression 를 적용했을 때 나오는 각각의 결과 값에 대해서 0~1 사이의 값을 내놓도록 하는 역할을 한다. 위와 같이 2.0을 ->0.7로 1.0을 0.2로 바꿔주는 역할이 바로 소프트 맥스이다. 그렇다면 위와 같이 logitrs에서 A가 나올 확률이 0.7 B가 나올 확률이 0.2 C가 나올 확률이 0.1이라고 가정할 때 이것을 Binary(0,1)로 선택해서 보여달라는 것을 one hot encoding 즉, 그 값이..