인공 신경망의 학습 : 네트워크 상에 존재하는 모든 연결의 가중치 값을 결정하는것

• 인공신경망의 학습 방법들은 총 예측 오차를 최소화 할수있도록 은닉노드 들의 가중치를 조절함.

backpropagation : 역전파 출력층부터 뒤로 돌아가며 오류를 수정하는 알고리즘

• Input -> Hidden -> Output -> Error -> Hidden(feedback) 더 나은 값 나올때 까지 Loop
• 역전파 알고리즘은 아직 인식하지 못한 데이터(새데이터) 보다는 학습 데이터에 과학습할 가능성이 높음
• Gradient vanishing : 경사 소멸 이 발생할 가능성 존재 = overfitting시 새 입력 데이터가 들어오면 정답률 감소할 경우 존재.
• Gradient exploding : 경사 발산
• 은닉층의 수가 많아지면 역전파 과정이 오래 걸리므로 학습시간이 오래 걸림.

Linear classifier : 선형분류 X와Y가 같이 상승하는 분류 모형 Ex) 키가 커지면 몸무게도 증가한다.

Perceptron leaning rule : 무작위로 결정된 가중치로 시작하여 학습데이터에 퍼셉트론을 적용해

잘못분류된 사례가 발생시 가중치를 개선함

• 퍼셉트론이 모든 학스데이터를 정확하게 분류할때 까지 오랜 시간이 반복됨.
• 모든 학습데이터를 정확히 분류시키는것이 원칙이므로 사용하는 학습데이터가 선형적으로 분리될수 있을때 적합
• And, Or, Not은 분류가 가능하나 XOR 같은 비선형문제는 분류가 불가능하여 MLP(Multi layer Perceptron)를 사용하어야한다.

MLP : 여러 퍼셉트론의 조합으로 이루어진 network

• Neural network는 Feedforward/Backpropagation 모두 행렬로 연산됨
• 활성함수(Input * Weight) = Hidden