AI 경량화 및 최적화 전문 스타트업 스퀴즈비츠가 대형 언어 모델 서빙(LLM Serving)을 위한 맞춤형 솔루션 ‘핏츠 온 칩스(Fits on Chips)’를 출시했다고 3일 밝혔다. 핏츠 온 칩스는 LLM 서빙 전 과정을 단순화하고 최적의 설정을 찾을 수 있도록 돕는 솔루션이다. 모델 선택 단계부터 서빙 옵션 조정, 장치 및 프레임워크 설정, 성능 평가, 배포까지 LLM 서빙에 필요한 모든 단계를 원스톱으로 지원한다. 허깅페이스 등 오픈소스 라이브러리와 연동해 다양한 LLM 모델을 손쉽게 통합하고 성능을 비교 평가해 최적의…

기업들의 생성 AI 도입이 가속화되고 있다. 챗지피티와 같은 생성 AI 서비스의 인기가 높아지며, 유료 고객을 대상으로 고객 데이터 학습을 지원하는 서비스도 활발히 제공되고 있다. 그러나 최근 기업들은 클로즈드 모델 대신 오픈소스 모델을 파인튜닝해 각자 기업 목표에 최적화한 맞춤형 서비스를 구축하는 방식으로 전환하고 있다. 파인튜닝은 라마(Llama), 미스트럴(Mistral), 퀜(Qwen)과 같은 오픈소스 모델을 특정 데이터로 재학습하여, 기업 내부 데이터나 특정 업무 관련 정보를 반영한 AI 서비스를 구축하는 기술이다. 이 기술의 강점은 투명성과 소유권에 있다. 기업은…

리벨리온(대표 박성현)이 세계적인 하드웨어 제조 및 디자인 기업(이하 DMS, Design and Manufacturing Service) 페가트론(PEGATRON)과 전략적 파트너십을 맺고 리벨리온의 차세대 AI반도체 ‘리벨(REBEL)’을 탑재한 고성능 모듈 제품 개발을 위해 협력한다. 양사는 이번 협업으로 대규모 AI연산에 필요한 인프라 분야에서 기술 협력을 진행한다. PICe 카드 등 리벨리온의 ‘리벨’의 성능을 극대화할 수 있는 전용 모듈 시스템을 공동 개발하고 제작함으로써, 전기적(electrical)·기계적(mechanical)·열(thermal) 측면에서 최적화된 솔루션을 제공할 계획이다. 이로써 리벨 기반의 제품을 적시에 출시하고 안정적인 제품 양산 체제를 갖출 수…