LLM이 과학 질의응답·문헌 분석부터 실험 계획·자율 발견까지 AI4Science 워크플로에 점점 깊이 들어오면서, 과학적 역량뿐 아니라 고위험 과학 맥락에서 위험을 인식·회피하는지를 평가하는 안전 벤치마크가 시급해졌다. 기존 AI4Science 안전 데이터셋은 여러 분야와 과제 형식을 다루지만 근본적인 위험 차원을 명세하지 못한 채 남겨두었다. SciRisk-Bench는 명시적 위험 차원과 과학 분야라는 두 상보적 관점에서 안전을 평가하도록 설계된 벤치마크로, 7개 분야·31개 세부분야·10개 위험 차원을 포괄한다. 실험에서는 주류 LLM과 과학 특화 LLM을 위험 차원·분야·세부분야별로 평가해 과학 모델이 어디서 여전히 안전하지 않은지를 세밀하게 진단한다.
- •AI4Science 안전을 명시적 위험 차원과 과학 분야 두 관점에서 평가
- •7개 분야·31개 세부분야·10개 위험 차원을 포괄
- •주류 LLM과 과학 특화 LLM을 함께 평가해 미심한 안전 공백을 진단
- •기존 데이터셋이 남겨둔 근본 위험 차원 미명세 문제를 보완
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
SciRisk-Bench: A Risk-Dimension-Aware Benchmark for AI4Science Safety
- 1.SciRisk-Bench: AI4Science 안전성을 위험 차원과 과학 분야 양쪽으로 평가하는 벤치마크
- 2.7개 분야, 31개 세부분야, 10개 위험 차원을 포괄해 세밀 진단 가능
- 3.과학적 역량뿐 아니라 고위험 맥락의 위험 인식·회피 여부를 함께 평가
- 4.주류 LLM과 과학 특화 LLM을 차원·분야별로 평가해 미흡점을 식별
왜 중요한가?
LLM이 과학 질의응답·실험 계획·자율 발견에 깊이 들어오면서, 능력만이 아니라 고위험 맥락의 위험을 인식·회피하는지를 위험 차원 단위로 진단할 안전 벤치마크 필요성에 답한다.
언급 프로젝트
AI를 과학 연구(AI4Science)에 접목하려는 한국의 광범위한 투자와 노력이 계속되는 가운데, AI 안전성 확보는 필수적인 과제입니다. 본 연구의 위험 인지형 벤치마크는 국내 과학 및 기술 분야에서 AI의 윤리적이고 안전한 활용을 위한 중요한 지침이 될 수 있습니다.
본문 미리보기
arXiv:2606.18936v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly embedded in AI for Science (AI4Science) workflows, from scientific question answering and literature analysis to laboratory planning and autonomous discovery. This progress creates an urgent need for safety benchmarks that evaluate not only scientific competence, but also whether models recognize and avoid risks in high-stakes scientific contexts. Existing AI4Science safety datasets cover several disci
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:23AI 초안
