이 아이디어에서 확인할 수 있는 출처 링크가 없습니다. 신호 메모와 점수는 별도 검증이 필요합니다.
LLM을 프로덕션 서비스에 탑재하는 기업이 늘면서, 동일 프롬프트에 대한 출력 일관성(결정론적 동작)이 핵심 품질 지표가 되었다. 그러나 LLM 출력의 일관성을 체계적으로 테스트하려면 프롬프트 변형 100-1000건을 반복 실행하고 결과를 비교해야 하며, 이를 수동으로 하면 엔지니어 1인당 주 8-15시간이 소요된다. 모델 업데이트 때마다 재검증이 필요하므로 비용이 누적된다.
프롬프트와 기대 출력 스키마를 등록하면, 자동으로 N회 반복 실행·출력 편차 분석·일관성 스코어를 산출하는 테스트 벤치. 모델별(GPT-4o/Claude/Gemini) 교차 비교, 온도·시스템 프롬프트 변수별 A/B 테스트, CI/CD 파이프라인 연동(GitHub Actions/GitLab CI) 기능을 제공한다.
| N Novelty | 1-5 | 시장 내 유사 서비스 부재 정도. 경쟁사 0개 = 5, 10+개 = 1 |
| U Urgency | 1-5 | 사용자가 지금 당장 필요로 하는 긴급성. 트렌드 부합 + 시급성 |
| M Market | 1-5 | 타겟 시장의 크기와 성장 가능성. 프록시 지표 기반 (LLM 추정 X) |
| R Realizability | 1-5 | 1-2인이 실현 가능한 정도. 기술 난이도 + 데이터 확보 용이성 |
| V Validation | 1-5 | 시장 검증 통과 여부. 경쟁사 분석 + 수요 프록시 + 타이밍 |
| 기술 복잡도 | / 40 | 핵심 기술 스택의 난이도. low=40, medium=24, high=10 |
| 데이터 접근성 | / 25 | 필요 데이터의 확보 용이성. user_generated=25 → proprietary=4 |
| MVP 일정 | / 20 | 최소 기능 제품 구축 소요 기간. 2주=20, 1개월=12, 3개월=8 |
| API 보너스 | / 15 | 공공 API 활용 가능 시 보너스. 매칭 API가 있으면 가산 |
| 경쟁 분석 | / 20 | 경쟁사 검색 결과 기반. 적절한 경쟁 존재 = 시장 검증 |
| 시장 수요 | / 20 | 검색량, 뉴스 언급 등 프록시 지표. 실제 수요의 간접 증거 |
| 타이밍 | / 20 | 현재 트렌드와의 부합도. 규제/기술 변화 시점 적합성 |
| 수익 참조 | / 15 | 유사 비즈니스 모델의 수익 사례. 실제 과금 레퍼런스 존재 여부 |
| 곡괭이 적합 | / 15 | 곡괭이 전략 부합도. 도구/인프라 제공 관점 적합성 |
| 1인 구축 | / 10 | 혼자서 MVP 구축 가능 여부. 외부 의존성 최소화 정도 |