세무 환급 플랫폼 ‘삼쩜삼’을 운영하는 자비스앤빌런즈(대표 김범섭)가 사내에 개별 분산돼 있던 AI 에이전트를 일원화 관리하는 자체 플랫폼 ‘카터(Carter)’를 구축하고, AI 운영 비용을 최대 45% 절감했다. 카터는 사내 AI 에이전트 개발 및 운영에 필요한 비용을 모니터링하고 공통 보안과 개인정보 보호 기능을 지원하는 통합 인프라다. 에이전트별로 인프라를 개별 구현할 필요 없이 표준화된 라이브러리를 공유해 중복 개발을 차단한 것이 특징으로, 현재 대고객 서비스 ‘삼쩜삼Q’와 앱 내 AI 에이전트를 포함해 총 8개의 사내외 에이전트가 카터 기반으로 운영되고 있다.
운영비 절감 효과는 모델 구조 최적화와 캐싱 기술 도입을 통해 달성했다. 답변 생성에는 고성능 모델을 유지하되 의도 분류나 안전 판정 등 보조 연산은 경량 모델로 넘기는 ‘모델 티어링(Model Tiering)’ 방식을 적용, 전체 호출의 약 50%를 경량화해 LLM(거대언어모델) 호출 비용을 45%가량 낮췄다. 아울러 빈번히 반복되는 질의를 저장해 재활용하는 ‘프롬프트 캐싱(Prompt Caching)’을 표준화함으로써 캐시 재사용 구간의 호출 비용을 43% 추가로 절감했다.
인프라 안정성과 보안성도 동시에 끌어올렸다. 불필요한 검색 로직을 줄이고 클라우드 간 자동 장애 전환(Failover) 시스템을 적용해 다운타임을 최소화했다. 카터를 거치는 모든 AI 호출은 중앙 시스템에서 실시간 관측되며, 개인정보 자동 비식별화와 프롬프트 인젝션 공격 차단 기술이 공통 프레임워크 형태로 일괄 적용된다. 회사는 이에 더해 사내 분산된 지식 자산을 단일 창구에서 질의·검색할 수 있는 ‘지식 오케스트레이터(Knowledge Orchestrator)’와 답변 품질을 정량 측정하는 평가 체계를 추가 구축해 서비스 정확도를 높여갈 방침이다.
강병규 자비스앤빌런즈 최고기술책임자(CTO)는 “사내 AI 에이전트와 지식 자산을 카터 중심으로 통합해 운영 효율화와 안전성 확보를 동시에 이뤄냈다”며 “단순한 비용 절감 단계를 넘어 답변 품질까지 정량 측정하고 체계적으로 관리함으로써 임직원 누구나 안전하게 AI 에이전트를 제작·운용할 수 있는 환경을 완성해 나가겠다”고 설명했다.
이미지 제공: 자비스앤빌런즈
