Jitendra Devabhakthuni의 ML 파이프라인 테스트 철학 — 프로덕션 ML 실패의 주된 원인은 모델 코드가 아닌 '피처 엔지니어링 SQL JOIN 버그'라는 주장. 저자가 은행 CLV 모델에서 겪은 실패 사례: 'avg_transaction_amount_last_90_days'라는 피처가 테스트 DB(모든 계정 60일)에서는 60일 평균을 몰래 계산, 프로덕션(30일~12년) 가면 모델이 본 적 없는 분포 만남. 해법: 다테이블 관계형 합성 DB를 세 가지 속성(가변 cardinality 분포·계정 나이 분포·null 주입·드문 관계 패턴)으로 설계. 파이썬 Faker 사례: 고객 5% 무계정, 계정 8% 무거래, Poisson·negative binomial 분포 사용. SQLite로 실제 피처 SQL 그대로 테스트 → TSTR(Train-Synthetic-Test-Real) AUC 0.75+로 검증. 체크리스트 8항목 + 한계(분포 드리프트·스키마 진화).
- •ML 실패 주원인은 모델 코드가 아닌 피처 엔지니어링 JOIN 버그 — 아무도 SQL을 의심 안 함.
- •3대 JOIN 버그: fan-out inflation·silent null propagation·temporal window edge case.
- •합성 관계형 DB 4속성: 가변 cardinality·나이 분포·null 주입·드문 관계 패턴.
- •실제 피처 SQL을 합성 DB에 그대로 실행 → TSTR AUC 0.75+ 검증 필수.
- •한계: 분포 드리프트와 스키마 진화 — 합성 생성기도 지속 유지보수 필요.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Multi-Table Feature Engineering on Synthetic Databases: How to Test Your ML Pipeline Before It Sees…
- 1.ML 프로덕션 실패의 주원인은 모델 코드가 아닌 피처 엔지니어링 JOIN 버그.
- 2.3대 JOIN 버그: fan-out inflation·null propagation·temporal edge.
- 3.합성 관계형 DB로 실제 SQL 그대로 돌려 검증 — TSTR AUC 0.75+ 기준.
- 4.Faker + Poisson/negative binomial 분포로 cardinality 다양성 확보.
- 5.스키마 진화마다 합성 생성기 업데이트 필요 — 유지보수 규율.
왜 중요한가?
한국 금융·리테일·제조 AI 팀이 실제 배포 전 피처 테스트 인프라를 갖출 때 실무 레시피. 특히 CLV·리스크·사기 탐지 모델처럼 다테이블 JOIN 기반 피처가 많은 경우 '합성 DB 먼저, 모델 나중'이 기본 규율이 되어야 함. 한국 데이터 엔지니어링 관례(단위 테스트만 있고 관계형 테스트 부재)에 구조적 개선 방향 제시.
언급 프로젝트
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:44AI 초안
