SLP(Sampled Layerwise Proofs)는 외주 LLM 추론을 검증하기 위해 각 청크의 경계 활성값을 커밋한 뒤 검증자가 선택한 일부 청크만 증명하는 프로토콜이다. TinyLlama-1.1B 트레이스에서 47개 청크 중 7개만 증명하면 전체 증명 대비 시간은 22.0%, 증명 크기는 6.8%로 줄어들며, 12개 요청을 하나의 트레이스에 묶어 증명하면 개별 증명 대비 6.5배 빠른 181.9초에 처리된다. 2TB CPU 서버에서 Llama-2-70B 163개 청크 중 5개를 증명해 4.34MiB 증명을 1,259초에 생성하고 46.3초 만에 검증했으며, WikiText-2 33만4705개 테스트 위치에서 부동소수점 기준과 84.8~84.9% 일치하는 정수 고정소수점 모델을 사용했다. 다만 증명은 선택된 청크에만 적용되고 70B 설정에서 고정된 결함 청크가 커버될 확률은 3/161에 불과해 감사 범위의 한계도 명확하다. 대규모 모델의 추론 결과를 저비용으로 감사할 수 있는 실용적 경로를 제시했다는 점에서 의미가 크다.
- •SLP는 청크 경계 활성값을 커밋한 뒤 검증자가 선택한 일부만 증명하는 감사 프로토콜이다.
- •TinyLlama-1.1B에서 47개 중 7개 청크만 증명해도 시간 22.0%, 증명 크기 6.8%로 충분하다.
- •12개 요청을 한 트레이스로 묶어 증명하면 개별 증명 대비 6.5배 빠른 181.9초에 처리된다.
- •2TB CPU 서버에서 Llama-2-70B 163개 청크 중 5개를 증명, 4.34MiB 증명을 1,259초에 생성·46.3초에 검증했다.
- •정수 고정소수점 모델은 WikiText-2에서 부동소수점 대비 84.8~84.9% argmax 일치율을 보였다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Seal, Then Sample: Sampled Layerwise Proofs for Verifiable LLM Inference from GPT-2 to 70B
- 1.외주 LLM 추론 검증 프로토콜 SLP(Sampled Layerwise Proofs) 공개
- 2.감사 범위를 런타임 파라미터화, TinyLlama-1.1B에서 청크 7/47만 증명해도 시간 22%·용량 6.8%
- 3.Llama-2-70B를 2TB CPU 서버에서 163개 청크 중 5개만 증명, 46.3초 만에 검증
- 4.부동소수점 대비 84.8~84.9% argmax 일치율, 위변조 답변은 실제로 탐지·거부
왜 중요한가?
외주 LLM 추론의 신뢰성을 검증 가능하게 하면서도 감사 비용을 서비스가 감당할 수준으로 조절 가능하게 해, 대규모 모델을 저비용 인프라에 위탁하면서도 결과를 검증할 수 있는 실용적 경로를 제시한다.
언급 프로젝트
LLM 추론의 검증 가능성을 비용 효율적으로 구현하는 이 연구는 인공지능 서비스의 신뢰성과 투명성 확보에 기여할 잠재력을 보여줍니다. 국내 기업들이 LLM 기반 서비스를 도입할 때 모델의 '블랙박스' 문제 해결 및 AI 윤리 지침 준수에 대한 중요한 해법을 제시할 수 있습니다.
본문 미리보기
arXiv:2609.27367v1 Announce Type: new Abstract: Verifying outsourced language-model inference requires a precisely identified computation and an audit whose cost a service can afford. We present Sampled Layerwise Proofs (SLP), a protocol and prototype that commits the boundary activations of every chunk of an inference trace, absorbs all commitments before any challenge is drawn, and then proves a verifier-selected subset of chunks together with the chunks that bind the prompt and the answer. A
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:24AI 초안
