Commit Graph

41 Commits

Author SHA1 Message Date
jung-geun
940580b7a6 모델과 파티클 클래스에 타입 힌트 추가 2024-03-08 20:15:54 +09:00
jung-geun
fa9af45a95 pso2keras 버전을 1.0.5에서 1.0.5.1로 업데이트하고, TensorFlow GPU 메모리 성장을 설정하고, TF_CPP_MIN_LOG_LEVEL을 2로 설정했습니다. 2024-03-08 19:35:44 +09:00
jung-geun
4cd563190f 빌드 단계 추가 및 코드 정리 2024-03-08 17:49:44 +09:00
jung-geun
0062b1850b 코드 변경 내용: digits.py, iris.py, mnist.py, bean.py
Keras 모듈을 사용하여 코드를 업데이트했습니다.
2024-02-25 08:09:20 +09:00
jung-geun
c45ee5873e 23-11-05
Update PSO and neural network parameters
best score 초기화 를 무작위 값에서 계산 후 설정으로 변경
2023-11-05 17:14:07 +09:00
jung-geun
80695f304d 23-11-01
tensorboard 선택 시 자동으로 프로세스 실행
비어있는 포트를 자동으로 탐색하여 오픈
이전 최적해와 비교하여 관성치를 높게 주는 방법을 일시 폐기
digits 테스트 추가
tensorboard 자동 설치 추가
2023-11-01 23:40:31 +09:00
jung-geun
389027409d 23-10-25
version 1.0.3
최고 점수 클래스 변수로 변경
log 저장 위치 고정
bean, seeds 데이터셋 추가 실험
2023-10-25 12:53:23 +09:00
jung-geun
c8741dcd6d 23-10-21
version 1.0.2
back propagation 설정 가능
=> 초기에 한해서 역전파 1회 실행 가능
2023-10-21 02:29:44 +09:00
jung-geun
dd56ab1a60 23-10-21
loss + mse 로 조기 수렴 시 초기화 적용
파티클의 초기화를 opeimizer 에서 particle 객체로 변경
메모리의 점진적인 누수 #6 현재 누수가 다시 조금씩 증가하는것이 보임
2023-10-21 02:19:45 +09:00
jung-geun
6e838ddfd5 23-10-20
조기 수렴 시 파티클 리셋 적용
모델의 초기화 수정 => 랜덤값은 문제가 많음
미니배치 초기화 시 자동 shuffle 적용
negative 파티클 특정 수치마다 초기화
2023-10-20 05:47:25 +09:00
jung-geun
6c6aa221f8 23-10-18
모델 save 시 score 확인 추가
배치 사이즈 오류 수정
2023-10-18 16:40:52 +09:00
jung-geun
dfc0df7d48 23-10-18
batch size 적용 -> 속도 개선
역전파 1회 적용 -> 조기 수렴을 일부 방지
2023-10-18 14:42:59 +09:00
jung-geun
727ae8c604 23-09-04
#5 - 메모리의 점진적인 누수
파티클의 갯수 4000개 epochs 100회 기준 최종적으로 150GB 의 메모리 사용량을 보인다
하지만 초기의 메모리는 26GB 로 점진적으로 메모리의 사용량이 증가하는것으로 볼 수 있다
2023-09-04 14:07:22 +09:00
jung-geun
8d558d0f26 23-08-06
메모리 누수 다소 해결
Fixes #2
EBPSO 의 구현 부분의 문제가 있어 수정중
2023-08-06 19:14:44 +09:00
jung-geun
64a16ed61a 23-07-27
순간 가중치 변화량 조정 0.6 > 0.75
+ evaluate multiproessing false
2023-07-27 14:45:42 +09:00
jung-geun
ab937ac71c 23-07-26
파티클의 전역 최적값이 이전 회차와 동일할 때 점진적으로 가중치의 감소, 다를 때 순간적으로 두배의 관성치를 주는 방식을 추가
2023-07-26 23:26:39 +09:00
jung-geun
f692ff7b4a 23-07-23
메모리 누수 해결 - 완전한 해결은 아니라 대량의 메모리가 필요
mnist 최적값을 찾는 파티클 개수 찾아야 함
2023-07-23 18:37:20 +09:00
jung-geun
99b1de3f82 23-07-21
pypi 0.1.4 업데이트
keras 의 메모리 누수를 어느정도 해결했으나 아직 완벽히 해결이 되지 않음
입력 데이터를 tensor 형태로 변환해주어 넣는 방식으로 전환
2023-07-21 15:20:24 +09:00
jung-geun
32f4b8e6ed 23-07-18
requirements 파일 수정
2023-07-18 10:44:41 +09:00
jung-geun
fbecda4b89 23-07-17
tensorboard 적용된 pypi
log 저장 디렉토리 지정해야 tensorboard 사용 가능
pypi 소스파일 제거
tqdm 자동으로 변경
2023-07-17 11:50:45 +09:00
jung-geun
768d3ccee7 23-07-13
mnist 파티클 개수 75 -> 150 으로 조정
tensorboard 로 log 분석할 수 있게 수정
pypi 패키지 파일 제거
conda env 파일 tensorflow 2.12 -> 2.11
2023-07-13 21:39:40 +09:00
jung-geun
7d22ededc7 23-07-12
xor iris 수치 교정
파티클의 분포 조정 가능하게 수정
random 시드 추출
2023-07-12 05:03:18 +09:00
jung-geun
46aa52d81f 23-07-10
mnist 46% 달성
2023-07-10 17:05:59 +09:00
jung-geun
f18932d6d2 23-07-09
dev container 조정
2023-07-09 00:36:02 +09:00
jung-geun
7410ed9e04 23-07-07
dev container 설정 - tqdm + tensorflow 자동 설치 env name = pso 로 자동 생성
2023-07-07 18:30:08 +09:00
jung-geun
c163de6cb6 23-07-06
dev container 실행 코드 추가
2023-07-06 22:04:42 +09:00
jung-geun
4170100bd1 23-07-06
code space용 설정 파일 추가
mutation 설정 - 특정 확률로 파티클의 위치를 랜덤하게 방향 조정
2023-07-06 20:46:38 +09:00
jung-geun
e49d99a12d 23-06-05
env 파일 이름 변경
돌연변이 설정 수정
2023-07-05 18:42:28 +09:00
jung-geun
174d68d518 23-06-30
seed 조정 추가
2023-06-30 22:56:25 +09:00
jung-geun
97abf75149 23-06-29
momentum (관성) -> momentun (돌연변이)로 수정
2023-06-29 22:22:03 +09:00
jung-geun
544a818940 23-06-28
단순 업데이트
2023-06-28 23:29:27 +09:00
jung-geun
983913f2d2 23-06-24
패키지 호출 단순 수정
2023-06-24 03:31:40 +00:00
jung-geun
2a28b7fa04 23-06-23
readme 파일 수정 - env 파일 및 설명 추가 , 참고 자료 수정
iris_tf.py 모델의 성능 교차 검증을 위해 추가
2023-06-23 06:37:01 +00:00
jung-geun
953cd44396 23-06-22
np random seed 고정
각 함수의 설명 추가
2023-06-23 04:00:59 +00:00
jung-geun
1662d58f05 23-06-09
자동 튜닝을 위한 스크립트 추가
메모리 관리를 위해 소멸자 추가
2023-06-09 09:38:44 +00:00
jung-geun
0d99329a43 23-06-03
tensorflow gpu 의 메모리 용량 제한을 추가
readme에 분류 문제별 해결 현황 추가
2023-06-03 17:25:30 +09:00
jung-geun
4ffc6cc6e5 23-06-01
함수 실행마다 사용안하는 변수 delete 및 gc.collect() 를 실행하여 메모리 문제 해결을 위해 변경
2023-06-01 18:10:57 +09:00
jung-geun
89449048c4 23-05-31
지역해에 조기수렴하는 문제를 줄이기 위해 일정 비율을 전역해에서 반대 방향의 1/2 만큼 속도를 가지도록 조정
2023-05-31 19:57:55 +09:00
jung-geun
8012cf3557 23-05-31
전체 파티클 중 일부를 현재 속도의 음수 방향으로 진행하도록 하여 지역해에 갇혀 조기수렴하는 문제의 방안으로 사용
2023-05-31 02:52:32 +09:00
jung-geun
c5731c6870 23-05-29 | 2
처음 초기화를 균일 분포로 랜덤하게 시작함
iris 기준 11 세대만에 99.16 % 에 도달
성능이 매우 높게 나타남
2023-05-29 04:54:20 +09:00
jung-geun
91c6ec965b 23-05-29
EBPSO 알고리즘 구현 - 선택지로 추가
random 으로 분산시키는 방법 구현 - 선택지로 추가
iris 기준 98퍼센트로 나오나 정확한 결과를 지켜봐야 할것으로 보임
2023-05-29 04:01:48 +09:00