23-05-24

pso 알고리즘을 구현하는데 bp 를 완전히 배제하는 방법으로 구현
model 디렉토리를 자동으로 생성하게 수정

readme.md

@@ -24,11 +24,14 @@ pso 알고리즘을 사용하여 새로운 학습 방법을 찾는중 입니다
 ## 1. PSO 알고리즘 구현
 
 ```plain text
-pso.py  # PSO 알고리즘 구현
+pso_meta.py  # PSO 알고리즘 구현
 pso_tf.py # tensorflow 모델을 이용가능한 PSO 알고리즘 구현
+pso_bp.py # 오차역전파 함수를 최적화하는 PSO 알고리즘 구현 - 성능이 99% 이상으로 나오나 목적과 다름
+pso_tuning.py # pso 알고리즘의 하이퍼 파라미터를 자동으로 튜닝하는 파일
 
 xor.ipynb # xor 문제를 pso 알고리즘으로 풀이
 mnist.ipynb # mnist 문제를 pso 알고리즘으로 풀이
+mnist.py # mnist 문제를 pso 알고리즘으로 풀이 - shell 실행용
 ```
 
 ## 2. PSO 알고리즘을 이용한 최적화 문제 풀이
@@ -44,10 +47,17 @@ pso 알고리즘을 이용하여 오차역전파 함수를 최적화 하는 방
 
    2-2. 지역 최적값을 찾았다면, 전역 최적값을 찾을 때까지 1~2 과정을 반복합니다
 
-3. 전역 최적값이 특정 임계치에서 변화율이 적다면 학습을 종료합니다
+3. 전역 최적값이 특정 임계치에서 변화율이 적다면 학습을 종료합니다 - 현재 결과가 정확도가 높지 않아서 이 기능은 추후에 추가할 예정입니다
+
+### 현재 문제
+
+> 딥러닝 알고리즘 특성상 weights는 처음 컴파일시 무작위하게 생성된다. weights의 각 지점의 중요도는 매번 무작위로 정해지기에 전역 최적값으로 찾아갈 때 값이 높은 loss를 향해서 상승하는 현상이 나타난다.
+> <br>
+> 따라서 weights의 이동 방법을 더 탐구하거나, weights를 초기화 할때 random 중요도를 좀더 노이즈가 적게 생성하는 방향을 모색해야할 것 같다.
 
 ### 개인적인 생각
 
 > 머신러닝 분류 방식에 존재하는 random forest 방식을 이용하여, 오차역전파 함수를 최적화 하는 방법이 있을것 같습니다
+> <br>
 >
 > > pso 와 random forest 방식이 매우 유사하다고 생각하여 학습할 때 뿐만 아니라 예측 할 때도 이러한 방식으로 사용할 수 있을 것 같습니다