ComfyUI 같은 모듈형 시각 창작 시스템의 워크플로 생성을 '지식 중심' 문제로 재정의한 프레임워크가 제안됐다. 실제 워크플로 대량 수집본에서 의사코드·스켈레톤·고수준 전략까지 계층적 지식을 역추출(knowledge inversion)한 뒤, 지도 미세조정으로 작업 설명→전략→실행 구조 순으로 추론하도록 모델에 주입한다. 추론 단계에서는 가역적 추론과 자기 개선(self-refinement)으로 구조적 일관성을 보강해 실행 가능한 워크플로를 합성한다. 기존 텍스트→JSON 직접 생성 방식 대비 노드 다양성, 구조 일관성, 실행 성공률 모두 우수해, 전문가 수준 워크플로 자동화의 실용적 기반을 제시한다.
- •기존 LLM의 텍스트→JSON 직접 생성 방식은 구조적 취약성과 설계 경험 지식 부재가 한계
- •실제 워크플로에서 의사코드·스켈레톤·전략의 계층적 지식을 역추출하는 knowledge inversion 수행
- •지도 미세조정으로 작업 설명→전략→실행 구조의 단계적 추론 능력을 주입
- •추론 시 가역적 추론과 self-refinement로 구조 일관성 확보
- •노드 다양성·구조 일관성·실행 성공률에서 기존 시스템 대비 우위 입증
Knowledge-Centric Agents for Workflow Generation
- 1.ComfyUI 워크플로 생성을 지식 중심 문제로 재정의, 지식 역전·주입·추론 3단계 프레임워크 제안
- 2.실제 워크플로 대량 수집본에서 의사코드·스켈레톤·전략 등 계층적 지식을 증류해 SFT로 주입
- 3.추론 시 가역적 추론과 자기 정제(self-refinement)로 실행 가능한 워크플로 합성
- 4.기존 텍스트→JSON 직접 생성 대비 노드 다양성·구조 일관성·실행 성공률 모두 향상
왜 중요한가?
LLM이 JSON을 직접 생성하는 기존 방식의 구조적 취약성을 지식 계층 모델링으로 우회한 접근으로, ComfyUI 같은 노드 기반 창작 도구의 워크플로 자동화 에이전트 설계에 바로 참고할 수 있는 설계 패턴을 제시한다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.15845v1 Announce Type: new Abstract: Workflow generation in visual creation systems such as ComfyUI demands not only syntactic accuracy but also expert-level reasoning over modular compositions. Existing large language model (LLM) approaches often treat this as a direct text-to-JSON generation task, struggling with structural brittleness and lacking the experiential knowledge required for effective design. We argue that successful workflow generation requires modeling knowledge itsel
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
