비정형 금융 보고서·뉴스를 구조화된 지식 그래프로 바꾸는 금융 개체명 인식(NER)에서, 범용 LLM이 금융 개체를 자주 오분류하는 문제를 다룬 연구다. 저자들은 오픈소스 모델 DeepSeek-R1-8B에 LoRA와 노이즈 임베딩 미세조정(NEFTune)을 결합했다. 1,693개 주석 문장을 명령어-입력-출력 삼중항으로 변환하고, Transformer 층에 경량 LoRA 행렬을 삽입했으며 학습 중 임베딩에 균일 노이즈를 더해 일반화를 높였다. 실험 결과 LoRA 적용 모델은 7개 개체 유형에서 micro-F1 0.901을 기록했고, NEFTune을 더하자 0.912로 상승해 Llama3-8B·Qwen3-8B·Baichuan2-7B·T5·BERT-Base 베이스라인을 모두 앞섰다. 경량 미세조정만으로 도메인 특화 금융 NER 성능을 끌어올릴 수 있음을 보여준다.
- •범용 LLM이 금융 개체를 오분류하는 문제를 DeepSeek-R1-8B + LoRA + NEFTune으로 해결
- •1,693개 주석 문장을 명령어-입력-출력 삼중항으로 변환해 학습
- •LoRA 적용 모델이 7개 개체 유형에서 micro-F1 0.901 달성
- •NEFTune 추가 시 micro-F1 0.912로 상승
- •Llama3-8B·Qwen3-8B·Baichuan2-7B·T5·BERT-Base 베이스라인을 모두 능가
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune
- 1.DeepSeek-R1-8B에 LoRA+NEFTune 적용해 금융 NER micro-F1 0.912 달성
- 2.회사·날짜·금액 등 7개 개체유형서 Llama3·Qwen3·Baichuan2·T5·BERT 모두 능가
- 3.NEFTune 임베딩 노이즈 추가로 micro-F1이 0.901에서 0.912로 향상
- 4.주석 문장 1693개를 instruction-input-output 삼중쌍으로 변환해 학습
왜 중요한가?
범용 LLM이 금융 개체를 오분류하는 문제를 8B 오픈모델과 경량 LoRA만으로 동급 모델 대비 최고 정확도로 해결해, 비정형 금융 보고서를 지식그래프로 변환하는 작업에 바로 적용 가능함을 보였다.
금융 분야의 비정형 데이터를 구조화된 지식 그래프로 전환하는 것은 국내 금융 시장에서 매우 중요합니다. LoRA와 NEFTune을 활용한 딥러닝 모델의 미세 조정 기술은 한국의 은행, 증권사 및 핀테크 기업들이 금융 보고서 분석과 규제 준수를 위해 LLM을 더 효과적으로 활용할 수 있는 길을 제시합니다.
본문 미리보기
arXiv:2606.10392v1 Announce Type: new Abstract: Financial named-entity recognition (NER) is essential for translating unstructured financial reports and news into structured knowledge graphs. However, general-purpose large language models (LLMs) often misclassify financial entities or ignore domain-specific patterns. This paper investigates the use of DeepSeek-R1-8B, a recent open-source large language model, combined with Low-Rank Adaptation (LoRA) and Noisy Embedding Fine-Tuning (NEFTune) for
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
