ComfyUI 같은 모듈형 시각 창작 시스템의 워크플로 생성을 '지식 중심' 문제로 재정의한 프레임워크가 제안됐다. 실제 워크플로 대량 수집본에서 의사코드·스켈레톤·고수준 전략까지 계층적 지식을 역추출(knowledge inversion)한 뒤, 지도 미세조정으로 작업 설명→전략→실행 구조 순으로 추론하도록 모델에 주입한다. 추론 단계에서는 가역적 추론과 자기 개선(self-refinement)으로 구조적 일관성을 보강해 실행 가능한 워크플로를 합성한다. 기존 텍스트→JSON 직접 생성 방식 대비 노드 다양성, 구조 일관성, 실행 성공률 모두 우수해, 전문가 수준 워크플로 자동화의 실용적 기반을 제시한다.
- •기존 LLM의 텍스트→JSON 직접 생성 방식은 구조적 취약성과 설계 경험 지식 부재가 한계
- •실제 워크플로에서 의사코드·스켈레톤·전략의 계층적 지식을 역추출하는 knowledge inversion 수행
- •지도 미세조정으로 작업 설명→전략→실행 구조의 단계적 추론 능력을 주입
- •추론 시 가역적 추론과 self-refinement로 구조 일관성 확보
- •노드 다양성·구조 일관성·실행 성공률에서 기존 시스템 대비 우위 입증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Knowledge-Centric Agents for Workflow Generation
- 1.ComfyUI 워크플로 생성을 지식 중심 문제로 재정의, 지식 역전·주입·추론 3단계 프레임워크 제안
- 2.실제 워크플로 대량 수집본에서 의사코드·스켈레톤·전략 등 계층적 지식을 증류해 SFT로 주입
- 3.추론 시 가역적 추론과 자기 정제(self-refinement)로 실행 가능한 워크플로 합성
- 4.기존 텍스트→JSON 직접 생성 대비 노드 다양성·구조 일관성·실행 성공률 모두 향상
왜 중요한가?
LLM이 JSON을 직접 생성하는 기존 방식의 구조적 취약성을 지식 계층 모델링으로 우회한 접근으로, ComfyUI 같은 노드 기반 창작 도구의 워크플로 자동화 에이전트 설계에 바로 참고할 수 있는 설계 패턴을 제시한다.
언급 프로젝트
작업 흐름 생성에 지식 중심 에이전트를 활용하는 연구는 국내 산업 현장의 자동화 및 효율성 증대에 크게 기여할 잠재력이 있습니다. 특히 컴피유아이(ComfyUI)와 같은 시각적 창작 시스템에서 전문가 수준의 추론 능력을 갖춘 LLM 에이전트의 등장은 국내 디자인, 미디어, 제조 등 다양한 분야의 생산성 혁신을 가속화할 수 있습니다. 이는 복잡한 업무 프로세스 최적화를 고민하는 한국 기업들에게 중요한 기술적 시사점을 제공합니다.
본문 미리보기
arXiv:2607.15845v1 Announce Type: new Abstract: Workflow generation in visual creation systems such as ComfyUI demands not only syntactic accuracy but also expert-level reasoning over modular compositions. Existing large language model (LLM) approaches often treat this as a direct text-to-JSON generation task, struggling with structural brittleness and lacking the experiential knowledge required for effective design. We argue that successful workflow generation requires modeling knowledge itsel
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

