2등 : 큰 모델 돌리고 앙상블

resnet 돌리다가 성능이 너무 안나와서 모델 추천 받음 → 앙상블

사이트: timm github 허깅페이스에 이미지모델스라는 레포지토리 있음

https://github.com/huggingface/pytorch-image-models/blob/main/results/results-sketch.csv : 여기서 모델 골랐음

큰 모델 학습 돌리는사람 서버 하나씩

전처리, augmentation 담당하셨음

스케줄러, 배치사이즈 건드림

mixed precision 사용함

할만한 기법들 적용 다 하고 학습 계속 돌림

첫 학습에 로스가 너무 높으면 바로 끄고 다시 돌렸다고 함

증강 담당: wandb에 스윕이라는 기능 → 하이퍼파라미터 최적화를 알아서 해줌

데이터 증강, 전처리, 데이터 분석, 결과 보고 이미지 까보면서 뭘 못했는지 확인하는 작업

증강: 처음엔 GAN 써볼까 했는데 멘토님이 모델을 먼저 돌려보고 생각해보라고 하셔서 결국 안하게 됨

오토 aug 돌렸다.

증강 2명

한 명은 대비 높여주는거, 밝기 이런거 추가했고

모델이 크다보니까 학습 하루종일 걸림 → 증강하고 돌리고 증강하고 돌리고

증강: 오토 aug 쓴 것도 있고

다 때려박았다..

데이터를 따로 건드리진 않았다

선글라스 분류를 못하더라 → 앙상블 랜덤으로

제일 분류 못한 클래스 확인해봤는데 개 같은거 종 분류를 잘 못했다.

가중치 안얼림

resnet은 얼렸었음

앙상블이 치트키

1조: 끝나기 며칠 전에 큰모델 돌려보자 해서

앙상블: hard voting

라벨 스무딩이 괜찮은 효과를 냈다.

0.1을 했는데 80 중반에서 89까지 떴다

0.1로 하다가 0.3으로 했는데 엄청 잘 나왔다.

오토인코더로 클래스 분류? 해봤다

큰모델: 가중치 학습 얼려야 됨 분류기만 돌려

데이터 분석을 위한 모델 태우기 방법 : 가중치 얼리고 분류기만 학습 - 파인튜닝 x인 전이학습