[디버깅] DARTH : CostumOptimizerHook is not in the hook registry

다시 DARTH 코드를 좀 돌려보려 했더니,, 무슨 이름도 이상한 "CostomOptimizerHook"이 없다는 에러가 나왔다.

darth/apis/train.py

 

그나마 다행이라면,, DARTH가 QDTrack을 기반으로 해서,, 대부분은 QDTrack을 보면 해결이 된다는 것...?

apis/train.py

흠.. 찜찜하지만,, QDTrack 을 참고해서 FP16으로 빠지도록 조취해아할 것 같다.. 이걸 FP32로 돌리면 너무 무거울 것 같고,, 정황상 DARTH도 FP16으로 돌린듯 하다.. (흠 근데,, QDTrack 코드은 또 FP32로 돌린것 같고,,, 나중에 해야지!)

그냥 FP16 관련 내용 전부 comment out 해버림.. 흠.. 나도 FP16 하고 싶은데..

 

호오.. 마지막으로 hook 까지 수정하니까 어찌어찌 코드가 돌아가기는 하는데,,, Loss 가 너무 이상하게 올라간다..

아이고 두야.. 일단 여기까지 했으니 train_model 함수 분석을 해봐야할 것 같고,,,

source model에서 훈련된 QDTrack weight 다운받아서 github에 report 된 성능이 reproduce 되는지를 봐야할 것 같다.

 

이상 끝! 

 

💪😉🤜