시도교육청이 민원 챗봇을 도입·고도화하고 있지만, 챗봇 응답 정확도·민원 해결률·사용자 만족도를 체계적으로 측정하는 도구가 없어 '챗봇이 실제로 효과가 있는지' 증빙하지 못한다. 부산시교육청 등은 챗봇 고도화에 수억 원을 투입하면서도 효과 검증은 담당자 1명이 엑셀로 수작업 집계하여 분기당 1-2주가 소요된다.
교육청 챗봇 로그를 자동 수집하여 응답 정확도, 미해결 전환율(챗봇→전화상담), 민원 유형별 해결 시간을 실시간 대시보드로 시각화한다. LLM 기반 응답 품질 자동 채점, 미해결 민원 유형 클러스터링, 의회·감사 보고용 성과 리포트 자동 생성 기능을 제공한다.
| N Novelty | 1-5 | 시장 내 유사 서비스 부재 정도. 경쟁사 0개 = 5, 10+개 = 1 |
| U Urgency | 1-5 | 사용자가 지금 당장 필요로 하는 긴급성. 트렌드 부합 + 시급성 |
| M Market | 1-5 | 타겟 시장의 크기와 성장 가능성. 프록시 지표 기반 (LLM 추정 X) |
| R Realizability | 1-5 | 1-2인이 실현 가능한 정도. 기술 난이도 + 데이터 확보 용이성 |
| V Validation | 1-5 | 시장 검증 통과 여부. 경쟁사 분석 + 수요 프록시 + 타이밍 |
| 기술 복잡도 | / 40 | 핵심 기술 스택의 난이도. low=40, medium=24, high=10 |
| 데이터 접근성 | / 25 | 필요 데이터의 확보 용이성. user_generated=25 → proprietary=4 |
| MVP 일정 | / 20 | 최소 기능 제품 구축 소요 기간. 2주=20, 1개월=12, 3개월=8 |
| API 보너스 | / 15 | 공공 API 활용 가능 시 보너스. 매칭 API가 있으면 가산 |
| 경쟁 분석 | / 20 | 경쟁사 검색 결과 기반. 적절한 경쟁 존재 = 시장 검증 |
| 시장 수요 | / 20 | 검색량, 뉴스 언급 등 프록시 지표. 실제 수요의 간접 증거 |
| 타이밍 | / 20 | 현재 트렌드와의 부합도. 규제/기술 변화 시점 적합성 |
| 수익 참조 | / 15 | 유사 비즈니스 모델의 수익 사례. 실제 과금 레퍼런스 존재 여부 |
| 곡괭이 적합 | / 15 | 곡괭이 전략 부합도. 도구/인프라 제공 관점 적합성 |
| 1인 구축 | / 10 | 혼자서 MVP 구축 가능 여부. 외부 의존성 최소화 정도 |