본문 바로가기

분류 전체보기

(39)
Not All Out-of-Distribution Data Are Harmfulto Open-Set Active Learning 논문 공부 ◻ 이 논문은 NeurIPS'24에 publish된 논문으로 2024.04.11 기준 2회의 citation을 보유하고 있다. ◻ 이 논문은 기존의 Open-set AL이 과도하게 OOD samples을 걸러내는 것을 지적한다. ◽ OOD detector를 학습시키려면 어느정도 OOD samples도 필요하다는 주장을 한다. ◻ 이 논문은 https://proceedings.neurips.cc/paper_files/paper/2023/hash/2c8d9636f74d0207ff4f65956010f450-Abstract-Conference.html에서, 코드는 https://github.com/njustkmg/PAL.에서 찾아볼 수 있다. 😉 Introduction ◻ 대체적으로 abstract에서 했던말을..
Budget aware Few-shot learning via Graph Convolutional Network 논문 공부 ◻ 이 논문은 Arxiv'22에 upload된 논문으로 2024.04.09 기준 3회의 citation을 보유하고 있다. ◻ 이 논문은 budget-aware few-shot learning이라는 새로운 문제를 제안한다. 기존의 few-shot learning은 random 하게 선택된 소수의 support samples이 주어지고, 여기에 모델을 빠르게 적응시켜야했다. budget-aware few-shot learning은 많은 unlabeled data 중에서 active하게 소수의 annotate가 필요한 support samples 후보를 직접 선택한다. ◻ 이 논문은 graph convolutional network(GCN) 기반의 selection policy와 few-shot classif..
Meta-Query-Net: Resolving Purity-InformativenessDilemma in Open-set Active Learning 논문 공부 이 논문은 NeurIPS'22에 publish된 논문으로 2024.04.09 기준 11회의 citation을 보유하고 있다. 이 논문은 Open-set Active Learning (unlabeled data에 unseen class가 존재) 를 위해 Meta-learning을 적용한 알고리즘으로, open-set AL에서 중요한 두 개념인 purity와 informativeness사이 balance를 맞출 수 있도록 Meta-Query-Net(MQNet)을 제안한다. MQNet은 각 sample에 대해 dynamic하게 최적의 balancing factor를 찾아준다고 한다. 추가적으로, 기존의 Meta-learning literature가 validation set을 query set을 사용하여 me..
Meta-DMoE: Adapting to Domain Shift byMeta-Distillation from Mixture-of-Experts 논문 공부 알고리즘 소개 이 논문은 Meta-learning을 사용해서 TTA를 해결한 논문이다. Meta-learning은 다른말로 learning-to-learn 이라고도 부르는데 실질적인 main task이외에 (main task의 성능을 향상시킬 수 있는) auxiliary meta task 동시에 학습한다. 이 논문에서 meta task는 neural network을 transformer를 사용하여 new domain에 적응시키는 작업이다. 이 경우 meta task를 수행하는 transformer가 meta model이 되며 이 transformer를 학습하는 과정이 meta-update, main task를 수행하는 model을 학습하는 과정이 그냥 update가 되겠다. 이 학습과정은 주로 bi-le..
DARTH 코드 분석하기 (3) Test 코드 분석 및 DARTH 성능 reproduce DARTH 깃헙 홈페이지 https://github.com/mattiasegu/darth 에서 (1) TTA가 완료된 모델과 (2) 이를 test 하기 위해 필요한 config 파일을 다운받을 수 있다. 이번 포스팅에서는 MOT에서 학습된 모델을 DanceTrack으로 adapt 시켰을때의 성능을 확인하려한다.. ◾ 이와 별개로, MOT에서 학습된 Source model을 TTA없이 그냥 DanceTrack에 inference 했을때의 성능도 측정해보자..! TTA가 완료된 모델의 성능 측정은 tools/run/test.py 로 가능하고,, 깃헙에서 다운받은 모델, config를 전달하면 된다. 😬 DanceTrack의 경우 tset를 진행하는데에 22분정도가 걸린다. (25508 batches, 각 1..
DARTH 코드 분석하기 (2) DARTHQDTrack 모델, EpochBasedRunner 분석 우선 상속관계는 다음과 같다. (보라색이 custom model), 순서대로 분석해보자. DARTHQDTrack > KDQDTrack > TeacherQDTrack > QDTrack > BaseMultiObjectTracker > BaseMultiObjectTracker > BaseModule > nn.Module... 이중 DARTHQDTrack, KDQTrack은 darth/models/adapters/base 폴더 안에 들어있다. 0. DARTH 복습하기 DARTH는 여러 view 사이에 contrastive learning을 수행한다. 👉 좀더 자세한 설명은 이전 포스팅 참고 (링크) 구조적으로는 Faster-RCNN 기반의 QDTrack을 base model로 사용하고 3개의 view (teac..
DARTH 코드 분석하기 (1) Train/test.py, config 분석 생각해보니 내가 train.py 를 깊게 이해할 필요는 없다. TTA를 하는 이상 어짜피 source model에서 pretrain된 모델을 쓸텐데,, 굳이 train.py로 내가 뭘 학습할 필요가 있나? (checkpoints도 다 공유되어 있는데? ㅎㅎ) test.py만 보면 될듯하다. QDTrack의 test.py는 진짜 test만 하는 파일이고,,, DARTH의 test.py는 TTA 까지하는 파일이다. 먼저 QDTrack의 test.py를 분석한 이후 github에 있는 checkpoint의 성능을 확인하고,,, DARTH의 TTA로 넘어가면 될 것 같다. 1 Train/test.py 코드 분석하기 DARTH 깃헙 페이지에 올라와있는 MOT 17 checkpoint 파일을 다운받고, 단순히 te..
[디버깅] DARTH : CostumOptimizerHook is not in the hook registry 다시 DARTH 코드를 좀 돌려보려 했더니,, 무슨 이름도 이상한 "CostomOptimizerHook"이 없다는 에러가 나왔다. 그나마 다행이라면,, DARTH가 QDTrack을 기반으로 해서,, 대부분은 QDTrack을 보면 해결이 된다는 것...? 흠.. 찜찜하지만,, QDTrack 을 참고해서 FP16으로 빠지도록 조취해아할 것 같다.. 이걸 FP32로 돌리면 너무 무거울 것 같고,, 정황상 DARTH도 FP16으로 돌린듯 하다.. (흠 근데,, QDTrack 코드은 또 FP32로 돌린것 같고,,, 나중에 해야지!) 그냥 FP16 관련 내용 전부 comment out 해버림.. 흠.. 나도 FP16 하고 싶은데.. 호오.. 마지막으로 hook 까지 수정하니까 어찌어찌 코드가 돌아가기는 하는데,,,..