[모델]Fastino, CPU 구동 가능한 340M 오픈 모델 공개

무슨 일이야

Fastino Labs가 소형 오픈 가중치 모델인 GLiNER2.5-Decide를 발표했습니다. 파라미터 크기는 340M 수준으로, 무거운 GPU 없이 CPU 환경에서도 구동할 수 있도록 설계되었습니다.

이 모델은 텍스트와 함께 타입이 지정된 질문 스키마를 받아 정형화된 응답을 반환합니다. 답변마다 확률 분포와 신뢰도 점수, 제약 조건 충족 여부 등의 메타데이터를 함께 제공하는 구조입니다.

주요 목표는 AI 에이전트 시스템에서 반복적으로 일어나는 판단 과정입니다. 라우팅, 요청 분류, 도구 선택, 안전 가드레일 등의 단계에 특화되어 설계되었습니다.

왜 중요해

에이전트 파이프라인 내부의 단순 라우팅이나 도구 선택 작업에 매번 거대 LLM을 호출하는 것은 비용과 지연 시간 면에서 부담이 큽니다. 340M 크기의 초경량 모델이 CPU에서도 안정적으로 판단을 내려준다면 운영 비용을 크게 낮출 수 있을 것으로 보입니다.

참고: MarkTechPost