23-07-11

mnist one hot 인코딩 적용후 손실 함수 mse 로 변경

.gitignore

@@ -11,6 +11,6 @@ result/
 # 논문 관련 파일
 *.pdf
 *.pptx
-*.png
+
 관련 논문/
 발표 자료/

mnist.py

@@ -84,12 +84,12 @@ if __name__ == "__main__":
     try:
         pso_mnist = Optimizer(
             model,
-            loss=loss[1],
+            loss=loss[0],
             n_particles=75,
             c0=0.25,
             c1=0.4,
-            w_min=0.3,
-            w_max=0.7,
+            w_min=0.2,
+            w_max=0.55,
             negative_swarm=0.1,
             mutation_swarm=0.2,
         )

mnist_tf.py

@@ -62,11 +62,11 @@ x_train, y_train, x_test, y_test = get_data()
 y_train = tf.one_hot(y_train, 10)
 y_test = tf.one_hot(y_test, 10)
 
-model.compile(
-    optimizer="adam", loss="categorical_crossentropy", metrics=["accuracy"]
-)
+# model.compile(
+    # optimizer="adam", loss="categorical_crossentropy", metrics=["accuracy"]
+# )
 
-# model.compile(optimizer="adam", loss="mse", metrics=["accuracy"])
+model.compile(optimizer="adam", loss="mse", metrics=["accuracy"])
 
 print("Training model...")
 model.fit(x_train, y_train, epochs=100, batch_size=128, verbose=1)

readme.md

@@ -148,17 +148,17 @@ best_score = pso_iris.fit(
 3. mnist 문제
 
 ```python
-loss = 'sparse_categorical_crossentropy'
+loss = 'mse'
 
 pso_mnist = Optimizer(
     model,
     loss=loss,
     n_particles=75,
-    c0=0.35,
-    c1=0.7,
-    w_min=0.45,
-    w_max=0.9,
-    negative_swarm=0.2,
+    c0=0.25,
+    c1=0.4,
+    w_min=0.2,
+    w_max=0.6,
+    negative_swarm=0.1,
     mutation_swarm=0.2,
 )
 
@@ -175,8 +175,8 @@ best_score = pso_mnist.fit(
     )
 ```
 
-위의 파라미터 기준 현재 정확도 46%를 보이고 있습니다
-![mnist](./history_plt/mnist_46.57.png)
+위의 파라미터 기준 현재 정확도 43.38%를 보이고 있습니다
+![mnist](./history_plt/mnist_mse_43.38.png)
 
 ### Trouble Shooting