mirror of
https://github.com/jung-geun/PSO.git
synced 2025-12-19 20:44:39 +09:00
딥러닝 알고리즘 개선***
***딥러닝 알고리즘 개선에 대한 변경 사항입니다
This commit is contained in:
10
README.md
10
README.md
@@ -138,6 +138,7 @@ best_score = pso_xor.fit(
|
|||||||
```
|
```
|
||||||
|
|
||||||
위의 파라미터 기준 10 세대 근처부터 정확도가 100%가 나오는 것을 확인하였습니다
|
위의 파라미터 기준 10 세대 근처부터 정확도가 100%가 나오는 것을 확인하였습니다
|
||||||
|
|
||||||

|

|
||||||
|
|
||||||
## 2. iris 문제
|
## 2. iris 문제
|
||||||
@@ -173,6 +174,7 @@ best_score = pso_iris.fit(
|
|||||||
```
|
```
|
||||||
|
|
||||||
위의 파라미터 기준 7 세대에 97%, 35 세대에 99.16%의 정확도를 보였습니다
|
위의 파라미터 기준 7 세대에 97%, 35 세대에 99.16%의 정확도를 보였습니다
|
||||||
|
|
||||||

|

|
||||||
|
|
||||||
위의 그래프를 보면 epochs 이 늘어나도 정확도와 loss 가 수렴하지 않는것을 보면 파라미터의 이동 속도가 너무 빠르다고 생각합니다
|
위의 그래프를 보면 epochs 이 늘어나도 정확도와 loss 가 수렴하지 않는것을 보면 파라미터의 이동 속도가 너무 빠르다고 생각합니다
|
||||||
@@ -210,16 +212,20 @@ best_score = pso_mnist.fit(
|
|||||||
```
|
```
|
||||||
|
|
||||||
위의 파라미터 기준 현재 정확도 63.84%를 보이고 있습니다
|
위의 파라미터 기준 현재 정확도 63.84%를 보이고 있습니다
|
||||||
|
|
||||||

|

|
||||||
|
|
||||||

|

|
||||||
|
|
||||||
63%의 정확도가 나타나는 것으로 보아 최적화가 되어가고 있다고 볼 수 있을 것 같습니다.
|
63%의 정확도가 나타나는 것으로 보아 최적화가 되어가고 있다고 볼 수 있을 것 같습니다.
|
||||||
|
|
||||||
하지만 정확도가 더 이상 올라가지 않고 정체되는 것으로 보아 조기 수렴하는 문제가 발생하고 있다고 생각합니다.
|
하지만 정확도가 더 이상 올라가지 않고 정체되는 것으로 보아 조기 수렴하는 문제가 발생하고 있다고 생각합니다.
|
||||||
|
|
||||||
## Trouble Shooting
|
## Trouble Shooting
|
||||||
|
|
||||||
> 1. 딥러닝 알고리즘 특성상 weights는 처음 컴파일시 무작위하게 생성된다. weights의 각 지점의 중요도는 매번 무작위로 정해지기에 전역 최적값으로 찾아갈 때 값이 높은 loss를 향해서 상승하는 현상이 나타난다.</br>
|
> 1. 딥러닝 알고리즘 특성상 weights는 처음 컴파일시 무작위하게 생성된다. weights의 각 지점의 중요도는 매번 무작위로 정해지기에 전역 최적값으로 찾아갈 때 값이 높은 loss를 향해서 상승하는 현상이 나타난다.
|
||||||
> 따라서 weights의 이동 방법을 더 탐구하거나, weights를 초기화 할때 random 중요도를 좀더 노이즈가 적게 생성하는 방향을 모색해야할 것 같다.
|
>
|
||||||
|
> > 따라서 weights의 이동 방법을 더 탐구하거나, weights를 초기화 할때 random 중요도를 좀더 노이즈가 적게 생성하는 방향을 모색해야할 것 같다.
|
||||||
|
|
||||||
-> 고르게 초기화 하기 위해 np.random.uniform 함수를 사용하였습니다
|
-> 고르게 초기화 하기 위해 np.random.uniform 함수를 사용하였습니다
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user