VirtueMap은 아리스토텔레스 덕 윤리 관점에서 LLM의 윤리적 우선순위 패턴을 프로파일링하는 프레임워크다. 단일 정답을 묻는 대신, 비정치적·비종교적·비치명적 일반 윤리 딜레마 7개에 대해 각 5개 응답을 실천적 지혜, 정의, 진실성, 용기, 절제의 5개 덕목별로 순위 매기게 한다. 기준 순서는 딜레마·덕목별로 100명 이상의 응답자 평가를 수집해 95% 이상 동의한 것만 채택했고, 정규화된 Borda 정렬로 점수화한다. 9개 LLM 패밀리를 반복 평가한 결과 평균 순위 일관성은 90.3%로 높았으며, 모델 간 차이는 용기·절제·정의에서 가장 크게 나타났다. 브라우저에서 로컬로 프로필을 계산해 사용자와 LLM 프로필을 비교할 수 있는 인터랙티브 웹사이트도 공개했다. 옳고 그름 채점을 넘어 모델이 어떤 가치를 우선하는지 드러내는 평가 방식을 제시한다.
- •아리스토텔레스 5덕목(실천적 지혜·정의·진실성·용기·절제) 기반 LLM 윤리 프로파일링
- •딜레마당 응답 5개 순위화, 95% 이상 합의된 기준 순서만 정답으로 채택
- •9개 LLM 패밀리 평가에서 평균 순위 일관성 90.3%, 차이는 용기·절제·정의에서 최대
- •브라우저 로컬 계산으로 사용자-LLM 프로필 비교 가능한 웹사이트 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas
- 1.VirtueMap, 아리스토텔레스 덕윤리 관점으로 LLM의 윤리적 우선순위 성향을 프로파일링하는 프레임워크 제안
- 2.정답 대신 7개 딜레마의 5개 응답을 순위화, 응답자 95% 이상 동의한 기준 순서만 채택
- 3.실천지·정의·진실성·용기·절제 5개 덕목 프로파일을 정규화 Borda 정렬로 채점
- 4.9개 LLM 계열 반복 평가서 순위 일관성 90.3%, 용기·절제·정의에서 가장 큰 차이 발견
왜 중요한가?
LLM 윤리 평가를 단일 정답 맞히기가 아니라 서로 다른 가치 우선순위의 표현으로 재구성함으로써, 모델별 도덕적 성향 차이를 정량 비교할 수 있는 방법론을 제시했다. 브라우저에서 로컬로 프로파일을 계산하는 공개 웹사이트도 함께 제공해 재현·비교가 용이하다.
언급 프로젝트
본문 미리보기
arXiv:2606.28683v1 Announce Type: new Abstract: Large Language Models (LLMs) often face ethical tradeoffs in which several responses may be defensible but express different priorities, such as fairness, honesty, courage, or restraint. We introduce VirtueMap, a framework for describing these patterns through an Aristotelian virtue-ethics lens. Instead of asking for a single correct answer, VirtueMap asks humans or LLMs to rank all five responses to each of seven general, non-lethal, non-politica
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안
