• 15주차 November 25, 2024 → December 1, 2024:Semantic Seg

멘토링

• AI news

  • samurai: SAM 사용해서 제로샷 트래킹 성능 올림
    • extream한 상황에서도 잘 잡아낸다는걸 보여줌
    • 사무라이보단 University of Washington을 소개해주고싶으셨다!
    • UW(유떱)라고 부름
  • DINO-X 출현
    • IDEA research team을 소개
  • Fashion-VDM: virtual try-on
    • 사람, 옷을 넣으면 옷을 입은 사람이 output
    • 엄청 어려운 기술
    • UW 페이퍼
  • LLaVA: LLaMA + vision
    • o1이 나옴 - GPT-o1의 성능을 낸다?
    • Peking univ: 잘하는 중국대학
  • ICLR에서 리뷰 rating을 포함하여 모든 정보(리뷰 프로세스 같은거)가 공개됨
    • 오른쪽이 평균점수 높은거
    • 특징: 모든걸 공개함
    • illumination, harmonization: photo realistic ~~ 퀄리티 엄청 좋다~

  프젝

  • shape보단 texture를 중요시한다.
    • 고양이 shape에 코끼리 texture를 주었을 때 코끼리에 confidence score를 엄청 높게 잡음
    • copy & paste가 학습하던 주변 정보, 패턴에 대한 반례를 만들어서 방해할 수 있다고 생각됨
    • train dataset과 test dataset의 region 패턴이 거의 같기 때문에 region augmentation이 오히려 test set의 추론을 방해할 수 있다.
    • input size는 train할 때와 같이 하는게 좋을 것이다.
  • super resolution 사용한거 긍정적으로 생각
  • 클래스별 threshold 이야기
    • 전반적인 하이퍼파라미터를 찾는게
  • 스케줄러: 건드리고 싶으면 sgd 사용하고 마지막쯤에 전체 에폭의 1/10 정도동안 lr 확 줄이고 학습하는 기법을 사용한다.
    • 스케줄러는 예술의 영역이다.
    • AdamW, lion 이상의 강력한 옵티마이저를 사용할 때 메뉴얼한 하이퍼파라미터 조정은 의미없다.
  • segmentation에서의 sliding window: instance segmentation과 semantic segmentation은 비슷해보이지만 task definition 자체가 다르다..!
    • sliding window 긍정적
    • hymba: attension을 최적화하기위한 sliding window architecture? cnn과 attension을 합체! 완전 최신 페이퍼
    • attension을 최적화하는 시도가 굉장히 많이 이루어지고있다.
  • TTA: 기본적인거 이외에 spatial augmentation 말고 데이터별로 노이즈, 대비조정 등을 고려해보라