비정형 금융 보고서·뉴스를 구조화된 지식 그래프로 바꾸는 금융 개체명 인식(NER)에서, 범용 LLM이 금융 개체를 자주 오분류하는 문제를 다룬 연구다. 저자들은 오픈소스 모델 DeepSeek-R1-8B에 LoRA와 노이즈 임베딩 미세조정(NEFTune)을 결합했다. 1,693개 주석 문장을 명령어-입력-출력 삼중항으로 변환하고, Transformer 층에 경량 LoRA 행렬을 삽입했으며 학습 중 임베딩에 균일 노이즈를 더해 일반화를 높였다. 실험 결과 LoRA 적용 모델은 7개 개체 유형에서 micro-F1 0.901을 기록했고, NEFTune을 더하자 0.912로 상승해 Llama3-8B·Qwen3-8B·Baichuan2-7B·T5·BERT-Base 베이스라인을 모두 앞섰다. 경량 미세조정만으로 도메인 특화 금융 NER 성능을 끌어올릴 수 있음을 보여준다.
- •범용 LLM이 금융 개체를 오분류하는 문제를 DeepSeek-R1-8B + LoRA + NEFTune으로 해결
- •1,693개 주석 문장을 명령어-입력-출력 삼중항으로 변환해 학습
- •LoRA 적용 모델이 7개 개체 유형에서 micro-F1 0.901 달성
- •NEFTune 추가 시 micro-F1 0.912로 상승
- •Llama3-8B·Qwen3-8B·Baichuan2-7B·T5·BERT-Base 베이스라인을 모두 능가
Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune
- 1.DeepSeek-R1-8B에 LoRA+NEFTune 적용해 금융 NER micro-F1 0.912 달성
- 2.회사·날짜·금액 등 7개 개체유형서 Llama3·Qwen3·Baichuan2·T5·BERT 모두 능가
- 3.NEFTune 임베딩 노이즈 추가로 micro-F1이 0.901에서 0.912로 향상
- 4.주석 문장 1693개를 instruction-input-output 삼중쌍으로 변환해 학습
왜 중요한가?
범용 LLM이 금융 개체를 오분류하는 문제를 8B 오픈모델과 경량 LoRA만으로 동급 모델 대비 최고 정확도로 해결해, 비정형 금융 보고서를 지식그래프로 변환하는 작업에 바로 적용 가능함을 보였다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2606.10392v1 Announce Type: new Abstract: Financial named-entity recognition (NER) is essential for translating unstructured financial reports and news into structured knowledge graphs. However, general-purpose large language models (LLMs) often misclassify financial entities or ignore domain-specific patterns. This paper investigates the use of DeepSeek-R1-8B, a recent open-source large language model, combined with Low-Rank Adaptation (LoRA) and Noisy Embedding Fine-Tuning (NEFTune) for
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
