A
AI챗봇 안전필터 벤치마커
4.05
파생 체인
단계 1
AI 악용 범죄 사례(ChatGPT 살인 수법 질의)
→
단계 2
AI 서비스의 안전 필터 강화 필요
→
단계 3
AI 서비스 운영사를 위한 안전 필터 품질 벤치마크·테스트 SaaS
문제
AI 챗봇·LLM 서비스를 운영하는 스타트업이 자사 안전 필터(유해 질의 차단, 위험 정보 생성 방지)의 실효성을 체계적으로 테스트할 방법이 없다. 최근 AI를 이용한 범죄 사례가 보도되면서 규제 압력이 높아지고 있으나, 안전 필터 테스트를 수작업으로 진행하며 신규 우회 기법에 대한 대응이 평균 2-3주 지연된다.
솔루션
업계 표준 유해 프롬프트 테스트셋(한국어 특화)으로 AI 서비스의 안전 필터를 자동 벤치마크한다. 카테고리별(폭력·약물·금융사기·개인정보) 차단율 리포트, 우회 기법 탐지, 경쟁사 대비 안전 수준 비교를 제공한다.
NUMR-V Scores
NUMR-V Scoring System
| N Novelty | 1-5 | 시장 내 유사 서비스 부재 정도. 경쟁사 0개 = 5, 10+개 = 1 |
| U Urgency | 1-5 | 사용자가 지금 당장 필요로 하는 긴급성. 트렌드 부합 + 시급성 |
| M Market | 1-5 | 타겟 시장의 크기와 성장 가능성. 프록시 지표 기반 (LLM 추정 X) |
| R Realizability | 1-5 | 1-2인이 실현 가능한 정도. 기술 난이도 + 데이터 확보 용이성 |
| V Validation | 1-5 | 시장 검증 통과 여부. 경쟁사 분석 + 수요 프록시 + 타이밍 |
SaaS N=.15 U=.20 M=.15 R=.30 V=.20
Senior N=.25 U=.25 M=.05 R=.30 V=.15
실현성 (73%)
실현성 분석
| 기술 복잡도 | / 40 | 핵심 기술 스택의 난이도. low=40, medium=24, high=10 |
| 데이터 접근성 | / 25 | 필요 데이터의 확보 용이성. user_generated=25 → proprietary=4 |
| MVP 일정 | / 20 | 최소 기능 제품 구축 소요 기간. 2주=20, 1개월=12, 3개월=8 |
| API 보너스 | / 15 | 공공 API 활용 가능 시 보너스. 매칭 API가 있으면 가산 |
시장 검증 (65/100)
검증 분석
| 경쟁 분석 | / 20 | 경쟁사 검색 결과 기반. 적절한 경쟁 존재 = 시장 검증 |
| 시장 수요 | / 20 | 검색량, 뉴스 언급 등 프록시 지표. 실제 수요의 간접 증거 |
| 타이밍 | / 20 | 현재 트렌드와의 부합도. 규제/기술 변화 시점 적합성 |
| 수익 참조 | / 15 | 유사 비즈니스 모델의 수익 사례. 실제 과금 레퍼런스 존재 여부 |
| 곡괭이 적합 | / 15 | 곡괭이 전략 부합도. 도구/인프라 제공 관점 적합성 |
| 1인 구축 | / 10 | 혼자서 MVP 구축 가능 여부. 외부 의존성 최소화 정도 |
기술 요구사항
백엔드 [medium]
데이터 파이프라인 [medium]
프론트엔드 [low]