파인튜닝은 LLM을 다양한 다운스트림 과제에 적응시키는 널리 쓰이는 방법이지만, 이것이 내부 메커니즘을 어떻게 재편하는지는 잘 알려져 있지 않다. 연구팀은 파인튜닝이 어텐션 패턴과 레이어별 활성화를 포함한 내부 표현을 어떻게 바꾸는지 조사하고, 이런 변화가 EAP(엣지 어트리뷰션 패칭)로 식별된 과제 관련 구성요소(예: 어텐션 헤드, 로짓 수준 활성화)와 연관되는지 살폈다. 그 결과 EAP로 식별된 구성요소가 특정 레이어에 집중돼 있어 모델이 과제별 행동을 내재화하는 데 일정한 기능적 국지화가 있음을 확인했다. 주목할 점은, 이런 구성요소의 레이어별 분포가 파인튜닝 중 가장 크게 표현이 변하는 레이어와는 대체로 무관하다는 것이다. 또한 과제 간 EAP 식별 구성요소의 중첩이 분류 대 생성처럼 성격이 다른 과제 간의 교차 과제 성능 전이로 이어지지는 않았으며, 오히려 두 과제의 EAP 구성요소가 크게 겹칠 경우 한 과제에 대한 파인튜닝이 다른 과제 성능을 저하시킬 수 있음을 관찰했다.

• •파인튜닝이 EAP로 식별된 과제 관련 구성요소(어텐션 헤드 등)에 미치는 영향을 조사했다
• •EAP 식별 구성요소는 특정 레이어에 집중돼 기능적 국지화가 있음을 확인했다
• •이 구성요소의 레이어 분포는 파인튜닝 중 표현이 가장 크게 변하는 레이어와는 대체로 무관했다
• •성격이 다른 과제 간 EAP 구성요소 중첩이 클 경우 한 과제 파인튜닝이 다른 과제 성능을 저하시킬 수 있다