B
컴퓨터액션모델 테스트 벤치
3.30
파생 체인
단계 1
범용 컴퓨터 액션 모델(FDM) 등장
→
단계 2
AI 에이전트 RPA 시장 확대
→
단계 3
에이전트 행동 정확도 벤치마크 테스트 SaaS
문제
AI 에이전트/RPA 솔루션을 개발하는 국내 SaaS 스타트업(직원 5-20인)이 자사 에이전트의 UI 조작 정확도를 측정할 때, 테스트 시나리오를 수동으로 설계·실행하며 1개 앱당 2-3일이 소요된다. 표준화된 벤치마크가 없어 고객사에게 정확도를 객관적으로 증명하기 어렵고, 경쟁사 대비 성능 비교도 불가능하다.
솔루션
한국어 웹/데스크톱 앱 환경에서의 표준 UI 조작 시나리오(로그인, 폼입력, 결제, 관공서 민원 등) 벤치마크 셋을 제공하고, 사용자의 에이전트를 API로 연결하면 자동으로 정확도·속도·에러율을 측정. 경쟁 모델 익명 비교 리더보드와 성능 리포트 자동 생성.
NUMR-V Scores
NUMR-V Scoring System
| N Novelty | 1-5 | 시장 내 유사 서비스 부재 정도. 경쟁사 0개 = 5, 10+개 = 1 |
| U Urgency | 1-5 | 사용자가 지금 당장 필요로 하는 긴급성. 트렌드 부합 + 시급성 |
| M Market | 1-5 | 타겟 시장의 크기와 성장 가능성. 프록시 지표 기반 (LLM 추정 X) |
| R Realizability | 1-5 | 1-2인이 실현 가능한 정도. 기술 난이도 + 데이터 확보 용이성 |
| V Validation | 1-5 | 시장 검증 통과 여부. 경쟁사 분석 + 수요 프록시 + 타이밍 |
SaaS N=.15 U=.20 M=.15 R=.30 V=.20
Senior N=.25 U=.25 M=.05 R=.30 V=.15
실현성 (74%)
실현성 분석
| 기술 복잡도 | / 40 | 핵심 기술 스택의 난이도. low=40, medium=24, high=10 |
| 데이터 접근성 | / 25 | 필요 데이터의 확보 용이성. user_generated=25 → proprietary=4 |
| MVP 일정 | / 20 | 최소 기능 제품 구축 소요 기간. 2주=20, 1개월=12, 3개월=8 |
| API 보너스 | / 15 | 공공 API 활용 가능 시 보너스. 매칭 API가 있으면 가산 |
시장 검증 (55/100)
검증 분석
| 경쟁 분석 | / 20 | 경쟁사 검색 결과 기반. 적절한 경쟁 존재 = 시장 검증 |
| 시장 수요 | / 20 | 검색량, 뉴스 언급 등 프록시 지표. 실제 수요의 간접 증거 |
| 타이밍 | / 20 | 현재 트렌드와의 부합도. 규제/기술 변화 시점 적합성 |
| 수익 참조 | / 15 | 유사 비즈니스 모델의 수익 사례. 실제 과금 레퍼런스 존재 여부 |
| 곡괭이 적합 | / 15 | 곡괭이 전략 부합도. 도구/인프라 제공 관점 적합성 |
| 1인 구축 | / 10 | 혼자서 MVP 구축 가능 여부. 외부 의존성 최소화 정도 |
기술 요구사항
인프라 [medium]
백엔드 [medium]
프론트엔드 [low]