인공지능 AI 딥러닝 모델 망각 증상 (Atastrophic Forgetting)

딥러닝 모델의 파인튜닝을 하면서 만나게 되는 난제, 망각증상 (catastrophic forgetting) 에 대해 다뤄보려고 합니다.  인공지능 망각증상이란?모델을 학습하다보면 이전에 학습한 내용을 까먹는 현상이 문제가 됩니다. 이는 단순히 모델의 용량을 넘는 너무 많은 정보를 넣어서 발생하는 것이 아니라, 학습의 순서에 따라 최근에 학습한 내용을 중심으로 기억하고 이전에 학습한 것은 까먹게 되는 경향이 있는 것입니다. 예를 들어, 다국어 모델에서 한국어를 가르치면 영어를 까먹고, 영어를 가르치면 한국어를 까먹는 현상이 나타납니다. 이렇게 갑작스럽게 이전의 학습 내용을 잊어버리는 현상을 '파국적 망각'이라고 부릅니다. 인공지능 딥러닝 망각증상 해결 방법하나의 방법은 모델의 레이어를 추가하고 나머지 레이..