프로토타입 단계의 엔터프라이즈 LLM 앱을 감사 가능하고 추적 가능한 에이전트 아키텍처로 전환하는 '하네스 엔지니어링' 접근을 제시한 연구다. 결정론적 동작을 코드·매니페스트·스키마·검증 아티팩트로 옮겨 교체 가능한 조합 경계 주위에 배치하고, 출처 기반 주장만 런타임 답변의 권위로 삼는다. 한국 5개 기업집단(상장사 25곳) 공개 데이터로 구현해 세 가지 질문을 평가했다. 하네스는 고정 검증 시나리오에서 출처 근거·엔터티 라우팅·추적·출력 위생·추천 표현 계약을 유지했고, 세 호스팅 모델의 270회 실행 전부에서 검사를 통과했으며 실패는 모델 조합 측에 국한돼 포착·기록됐다. 프롬프트만으로는 추천 표현·내부 추적 유출 위반이 독자에게 도달했으나 하네스가 완전히 차단했다. 외부 가드레일은 과잉 거부로 효용을 88/120로 떨어뜨린 반면 하네스는 120/120 효용을 유지해, 코드 소유 강제만이 안전과 효용을 동시에 지킴을 보였다.
- •결정론적 동작을 코드·스키마·검증 아티팩트로 이전해 감사 가능한 에이전트 아키텍처로 전환하는 하네스 엔지니어링
- •한국 5개 기업집단 상장사 25곳 공개 데이터로 구현·검증
- •세 호스팅 모델의 270회 조합 경계 실행 전부에서 계약 검사 통과, 실패는 모델 측에 국한되어 포착
- •프롬프트만으로는 위반이 독자에게 도달했으나 코드 소유 강제(하네스)가 완전 차단
- •외부 가드레일은 과잉 거부로 효용 88/120, 하네스는 120/120 효용 유지로 안전·효용 동시 확보
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents
- 1.프롬프트 기반 프로토타입을 감사 가능한 LLM 에이전트로 바꾸는 '하니스 엔지니어링' 패턴 제시
- 2.결정적 동작을 코드·매니페스트·스키마로 이전, 한국 5개 기업집단(상장 25사) 데이터로 검증
- 3.3개 호스티드 모델 270회 실행에서 계약 검증 전부 통과, 프롬프트만으론 위반 차단 실패
- 4.외부 가드레일은 과잉 거부로 유틸리티 88/120, 하니스는 120/120 유지하며 안전성 확보
왜 중요한가?
프롬프트 지시만으로는 추천 문구·내부 트레이스 유출 위반을 막지 못한다는 절제 실험 결과로, 엔터프라이즈 LLM 제품화에 코드 소유 강제 계층이 필수임을 보여준다. 한국 상장기업 공개 데이터 기반 사례라 국내 적용 참고 가치도 있다.
LLM 기반 엔터프라이즈 애플리케이션이 프로토타입을 넘어 상용화되면서, 명확한 '답변 계약(answer contracts)'과 재현 가능한 추적 가능성(reproducible traces)의 중요성이 부각됩니다. 이는 국내 기업들이 AI를 비즈니스 핵심 프로세스에 통합할 때, 투명성과 책임성을 확보하고 잠재적인 규제 준수 문제를 해결하는 데 필수적인 요소가 될 것입니다. 기업용 LLM의 안정적인 운영을 위한 가이드라인 마련에 기여할 수 있습니다.
본문 미리보기
arXiv:2607.08028v1 Announce Type: new Abstract: Enterprise large language model (LLM) applications often begin as prototypes whose behavior is carried by prompts and retrieval context. Productization adds requirements for source boundaries, entity routing, answer contracts, and reproducible traces. We present a harness-engineering approach that reconstructs this pattern into a traceable, auditable LLM-agent architecture: deterministic behavior moves into code, manifests, schemas, and validation
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안
