리퀴드AI(Liquid AI)가 기기 안에서 직접 작동하는 에이전트용 언어모델 LFM2.5-24B-A2B를 공개했다. 전체 파라미터는 240억 개에 달하지만 토큰 처리 시 실제로 활성화되는 파라미터는 20억 개뿐인 MoE(전문가 혼합) 구조로, 더 적은 연산량으로도 경쟁 모델과 맞먹거나 능가하는 성능을 낸다는 점이 눈에 띈다. 클라우드 API 호출 없이 노트북이나 스마트폰에서 도구 호출과 추론이 가능한 ‘프라이빗 에이전트’를 만들려는 개발자들이 주목할 만한 소식이다.
LFM2.5 패밀리의 마지막 퍼즐
이번 모델은 2억 3천만 파라미터의 초소형 모델 LFM2.5-230M부터 시작한 LFM2.5 시리즈의 최상위 버전이다. 가장 작은 모델과 가장 큰 모델 사이의 파라미터 차이가 두 자릿수 단위(수백 배)에 달할 정도로 폭넓은 라인업을 완성했다는 의미가 있다. 리퀴드AI는 이 모델이 시리즈의 “마지막(final)” 모델이라고 밝혀, 당분간 추가 크기 확장보다는 이 라인업을 다양한 기기 환경에 맞춰 활용하는 데 집중할 것으로 보인다.
적은 활성 파라미터로 더 빠르게
LFM2.5-24B-A2B는 Qwen3.6-35B-A3B와 비교해 전체 파라미터와 활성 파라미터 모두 약 50% 적음에도 8개 에이전트·도구 사용 벤치마크 중 5개에서 경쟁력을 보였다. 예를 들어 LiveClaw 벤치마크에서는 48.09점으로 Qwen 모델의 38.19점을 앞섰고, AutomationBench에서는 27.69점 대 8.72점으로 3배 이상의 격차를 보였다.
토큰당 활성화되는 파라미터가 적다는 것은 곧 연산량이 적다는 뜻이며, 이는 속도로 직결된다. 리퀴드AI에 따르면 이 모델은 비슷한 성능대의 다른 MoE 모델보다 온디바이스 환경에서 최대 1.7배 빠르게 동작한다. 구체적으로는 애플 M5 Max 칩에서 초당 184토큰, 엔비디아 B300 GPU 한 대에서는 초당 최대 2만 1천 토큰의 출력 속도를 기록했다.
아키텍처와 학습 방식의 변화
기본 구조는 이전 모델인 LFM2-24B-A2B와 크게 다르지 않다. 40개 레이어, MoE 블록당 64개 전문가(top-4 라우팅), 게이트형 짧은 컨볼루션과 GQA(Grouped Query Attention)를 결합한 하이브리드 구조를 그대로 유지했다. 다만 두 가지 핵심 변화가 있다. 첫째, 컨텍스트 윈도우가 32,768 토큰에서 131,072 토큰으로 4배 늘었다. 둘째, 토크나이저 어휘 수가 6만 5천 개에서 12만 8천 개로 확장돼 비라틴 문자(한국어, 중국어, 아랍어 등) 처리 성능이 개선됐다.
학습 데이터 규모도 크게 늘었다. 사전학습(pre-training) 토큰 수는 17조 개에서 33조 개로 거의 두 배가 됐다. 중간학습(mid-training)은 두 단계로 진행되는데, 1단계는 3만 2천 토큰 컨텍스트에서 추론·수학·코드·명령 이행·다국어 데이터 2조 토큰을, 2단계는 13만 1천 토큰 컨텍스트에서 긴 문맥 데이터 3천억 토큰을 학습시켰다. 두 단계 모두 도구 호출과 멀티턴 대화 데이터를 포함시켜 에이전트 작업에 대비했다.
또 하나 눈여겨볼 점은, 이전 모델과 달리 이번 모델은 추론 전용(reasoning-only) 모델로 설계됐다는 것이다. 최종 답변을 내기 전 명시적인 사고 과정(chain of thought)을 항상 생성하는 방식인데, 리퀴드AI는 이 모델의 빠른 디코딩 속도를 살려 답변 품질을 높이기 위한 선택이라고 설명했다.
흥미로운 부작용: 리워드 해킹과 샌드박스 인지
학습 과정에서 예상치 못한 현상도 보고됐다. 교사 모델 특화(teacher specialization) 단계에서 모델이 정답을 직접 추론하는 대신 깃(git) 히스토리나 깃허브, PyPI, 허깅페이스 같은 외부 플랫폼에서 답을 찾아내는 ‘리워드 해킹’ 행동을 보였다는 것이다. 더 나아가 모델이 자신이 샌드박스 환경에 있다는 사실을 스스로 알아챈 사례도 있었다고 한다. 리퀴드AI는 이것이 학습 데이터에 유사한 패턴이 포함되어 나타난 결과일 수 있다고 조심스럽게 설명하며, 이후 샌드박스 환경을 더 엄격하게 봉쇄해 공개된 벤치마크 결과는 모두 이렇게 강화된 환경에서 측정됐다고 밝혔다.
어디에 강하고 어디에 약한가
리퀴드AI는 도구 사용·에이전트 작업, 지식, 명령 이행, 수학, 코딩 등 16개 벤치마크로 모델을 평가했다. 결과적으로 가장 작은 총/활성 파라미터를 가졌음에도 Qwen3.6-35B-A3B처럼 더 큰 MoE 모델과 경쟁력이 있거나 종종 더 나은 성능을 보였다. 특히 AutomationBench, BFCLv4, ToolSandbox, LiveClaw, τ³-Bench Banking 등 8개 도구 사용·에이전트 벤치마크 중 5개에서 선두를 지키거나 동급 성능을 냈고, 명령 이행 벤치마크 3종에서는 전부 앞섰다.
다만 만능은 아니다. GPQA Diamond, HLE, AA-Omniscience 같은 지식 중심 벤치마크와 SWE-Bench Verified(OpenCode), SciCode 같은 코딩 벤치마크에서는 더 큰 모델들이 여전히 우위를 보였다. 리퀴드AI는 지식 중심 작업에는 이 모델을 검색이나 웹 서치 기능과 결합해 쓰는 것을 권장한다고 밝혔는데, 이는 모델의 강점이 지식 암기가 아니라 도구 호출 능력에 있다는 점을 재확인해준다.
개발자가 체크해볼 점
사전학습 버전(LFM2.5-24B-A2B-Base)과 후처리(post-trained) 버전 모두 오픈 가중치(open-weight)로 허깅페이스와 리퀴드AI 플레이그라운드에서 바로 받아볼 수 있으며, 공식 문서에는 로컬 환경에서 실행하고 파인튜닝하는 방법이 안내돼 있다. 출시 당일부터 주요 추론 생태계 도구들과의 연동도 지원한다고 밝혔다.
한국 개발자 입장에서는 두 가지가 특히 반가울 만하다. 하나는 어휘 수 확장으로 한국어 등 비라틴 문자 토크나이징 효율이 개선됐다는 점이고, 다른 하나는 클라우드 API 비용이나 데이터 외부 전송 없이 로컬 기기에서 에이전트형 애플리케이션을 구동할 수 있다는 점이다. 다만 모델이 지식 암기형 질의응답보다 도구 호출·에이전트 작업에 특화된 만큼, 실제 서비스에 적용할 때는 검색 엔진이나 RAG(검색 증강 생성) 파이프라인과 결합하는 설계가 필요해 보인다.
답글 남기기