울산과학기술원(UNIST) 공태식 교수 연구팀이 사용자와 밀접한 정보만 선별해 저장하는 온디바이스 검색증강생성(RAG) 기술 '에픽(EPIC)'을 개발했다. 에픽은 의미 유사도로 관련 없는 자료를 빠르게 걸러낸 뒤 언어모델이 재확인해 실제 필요한 정보와 활용 지침만 저장함으로써 검색 저장공간과 시간을 크게 줄인다. 프리프위키 벤치마크에서 검색용 저장공간이 648.96MB에서 0.27MB로, 평균 검색 시간은 96.5밀리초에서 3밀리초로 단축됐으며, 라마 3.1 8B 모델 기준 취향 반영 정확도는 기존 최고 기술보다 평균 18.79%포인트 높았다. 젯슨 오린 나노 등 실제 기기에서도 1MB 미만 메모리로 작동이 검증됐다.
- •사용자 관련 정보만 선별 저장하는 온디바이스 RAG 기술 EPIC 개발
- •프리프위키 벤치마크에서 검색 저장공간을 648.96MB→0.27MB로, 검색 시간을 96.5ms→3ms로 단축
- •라마 3.1 8B 기준 취향 반영 정확도가 기존 최고 기술보다 평균 18.79%포인트 향상
- •젯슨 오린 나노, 맥북 프로 M4, 갤럭시 Z 플립6에서 1MB 미만 메모리로 실동작 검증
- •지난 7월 ICML에서 발표, 코드는 깃허브에 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
“AI 메모리 다이어트 돌입!”…필요한 것만 기억하는 개인화 AI 개발
- 1.UNIST 공태식 교수팀, 사용자 선호 정보만 선별 저장하는 온디바이스 RAG 'EPIC' 개발
- 2.PrefWiki 벤치마크서 검색 저장공간 648.96MB→0.27MB로 약 2,404분의 1 축소
- 3.평균 검색시간 96.5ms→3ms 단축, 라마3.1-8B 활용시 정확도 기존 대비 18.79%p 향상
- 4.젯슨 오린 나노·맥북 프로 M4·갤럭시Z플립6에서 1MB 미만 메모리로 5~29ms 응답 검증
왜 중요한가?
개인정보를 기기 밖으로 보내지 않으면서도 메모리 사용량 문제를 해결해, 스마트폰 등 온디바이스 환경에서 장기간 축적되는 개인화 정보를 실용적으로 활용할 수 있는 경로를 제시한다.
본문 미리보기
알레르기와 같은 사용자의 특성까지 고려해 인공지능(AI)이 보다 정확한 맞춤형 답변을 내놓을 수 있도록 하는 개인화 AI 기술이 개발됐다.울산과학기술원(UNIST) 컴퓨터공학과 공태식 교수팀은 사용자와 밀접한 정보만 선별해 저장하고 이를 바탕으로 맞춤형 답변을 빠르게 제공하는 온디바이스 검색증강생성(RAG) 기술 ‘에픽(EPIC)’을 개발했다고 10일 밝혔다.온디바이스 검색증강생성은 챗GPT와 같은 언어모델이 사용자의 기기 안에 저장된 웹페이지나 이전 대화 내용 등을 먼저 검색한 뒤, 여기서 찾은 정보를 답변에 반영하는 기술이다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:11AI 초안
