AI 경량화 및 최적화 전문 스타트업 스퀴즈비츠가 대형 언어 모델 서빙(LLM Serving)을 위한 맞춤형 솔루션 ‘핏츠 온 칩스(Fits on Chips)’를 출시했다고 3일 밝혔다. 핏츠 온 칩스는 LLM 서빙 전 과정을 단순화하고 최적의 설정을 찾을 수 있도록 돕는 솔루션이다. 모델 선택 단계부터 서빙 옵션 조정, 장치 및 프레임워크 설정, 성능 평가, 배포까지 LLM 서빙에 필요한 모든 단계를 원스톱으로 지원한다. 허깅페이스 등 오픈소스 라이브러리와 연동해 다양한 LLM 모델을 손쉽게 통합하고 성능을 비교 평가해 최적의…

기업들의 생성 AI 도입이 가속화되고 있다. 챗지피티와 같은 생성 AI 서비스의 인기가 높아지며, 유료 고객을 대상으로 고객 데이터 학습을 지원하는 서비스도 활발히 제공되고 있다. 그러나 최근 기업들은 클로즈드 모델 대신 오픈소스 모델을 파인튜닝해 각자 기업 목표에 최적화한 맞춤형 서비스를 구축하는 방식으로 전환하고 있다. 파인튜닝은 라마(Llama), 미스트럴(Mistral), 퀜(Qwen)과 같은 오픈소스 모델을 특정 데이터로 재학습하여, 기업 내부 데이터나 특정 업무 관련 정보를 반영한 AI 서비스를 구축하는 기술이다. 이 기술의 강점은 투명성과 소유권에 있다. 기업은…