[용어 정리]모델 경량화, ViT, Transformer, GPT, BERT
[딥러닝 용어 정리]딥러닝 모델 경량화, 학생모델, ViT, Transformer, GPT, BERT 모델 경량화 가중치 개수가 많은 교사 모델의 출력과, 가중치 개수가 적은 학생 모델의 출력이 비슷해지도록 학습하는 것을 말합니다. 인공 신경망이 비슷한 성능을 갖되, 더 적은 가중치를 갖도록 하는 기법을 의미합니다. 지식증류 알고리즘 가중치가 많은 교사 모델을 이용해 가중치가 적은 학생 모델을 학습하는 알고리즘입니다. 1. 먼저 교사 모델과 학생 모델은 같은 입력값을 갖게 됩니다. 2. 이때 두 모델은 서로 다른 예측값을 출력합니다. ( 예측값의 차이를 '소프트라벨'이라고 합니다. ) 3. 정답 데이터와 학생 모델의 예측값의 차이는 '하드 라벨'이라고 부릅니다. 하드 라벨은 학생모델의 학습이 올바른 방향..
2024. 1. 26.
