AI 신뢰성 평가 전문 기업 셀렉트스타(대표 김세엽)가 인공지능(AI)의 빠르고 정확한 의사결정을 지원하는 판단 특화 AI 모델 ‘다비(DAVI)’를 공개했다. 최근 주어진 선택지 중 최적의 답을 판별하는 ‘디시전 AI(Decision AI)’가 주요 기술 흐름으로 부상하는 가운데, 셀렉트스타가 선보인 다비는 질문 난이도에 따른 AI 모델 선택, 답변 적절성 평가, AI 에이전트 작업 성공 가능성 예측 등 복합적인 의사결정 작업을 지원한다.
성능 검증을 위해 진행된 글로벌 판단 AI 모델 ‘제브(Jev)’와의 비교 평가에서도 우위를 나타냈다. 다비는 판단 능력 평가 도구인 ‘JevBench’ 231개 문항에서 89.2%의 정확도를 기록해 제브(86.6%)를 2.6%포인트 앞섰으며, 고난도 문제에서는 77.5%로 제브(73.0%) 대비 4.5%포인트 높은 성능을 보였다. 한국어 피드백 평가(Ko-Feedback Bench)에서도 72.5%의 정확도를 기록해 제브(66.8%)를 5.7%포인트 웃돌았으며, 에이전트 작업 성공 예측 평가에서도 일부 조건에서 제브를 앞섰다.
실제 AI 서비스 운영 비용과 성능을 최적화하는 ‘모델 라우팅’ 실험에서도 효율성을 입증했다. 한국어 고난도 질의응답 174문항을 5차례 반복한 총 870건의 실험에서 다비가 앤트로픽의 하이쿠(Haiku), 소넷(Sonnet), 오푸스(Opus) 모델 중 최적 모델을 선택하도록 한 결과, 정답률 71.1%(619건)를 기록했다. 이는 최고 성능 모델인 오푸스 단독 사용 시 정답률인 70.3%(612건)보다 0.8%포인트 높은 수치이며, 모델 실행 비용은 단독 사용 대비 약 28% 절감했다.
셀렉트스타는 이번 성과를 바탕으로 자체 AI 신뢰성 평가 플랫폼 ‘다투모 이밸(Datumo Eval)’에 오는 11월 중 다비를 적용해 AI 품질 평가 및 운영 최적화 기능을 확장할 계획이다. 아울러 다비를 활용한 AI 모델 라우팅 플러그인을 상업적 이용과 재배포가 가능한 ‘아파치 라이선스 2.0’ 기반 오픈소스로 깃허브에 공개해 개발자 및 연구자들과 성과를 공유하고 생태계 활성화를 지원할 방침이다.
이미지 제공: 셀렉트스타
