[업계]LegalOn, 개발 속도 유지하며 Codex 비용 65% 절감

무슨 일이야

LegalOn이 일일 Codex 예상 비용을 65% 절감하는 데 성공했습니다. 비용을 크게 줄이면서도 기존의 개발 속도는 그대로 유지했다고 밝혔습니다.

비결은 모델별 작업 분배와 전략적인 예산 관리입니다. LegalOn은 모든 작업에 동일한 모델을 쓰는 대신, Astra, Sol, Luna를 각 태스크의 성격에 맞게 매칭해 사용하는 방식을 택했습니다.

왜 중요해

LLM을 실제 개발 파이프라인에 대규모로 도입할 때 가장 큰 걸림돌 중 하나는 비용 문제입니다. 고성능 단일 모델에 의존하기보다, 작업 난이도에 맞춰 여러 모델을 조합하는 라우팅 전략이 실질적인 비용 절감으로 이어질 수 있음을 보여줍니다.

짚고 넘어갈 점

원문에는 각 모델(Astra, Sol, Luna)이 구체적으로 어떤 작업을 전담했는지, 전체 비용의 절대적인 규모가 어느 정도였는지는 상세히 공개되지 않았습니다.

참고: OpenAI