LFM2.5-24B-A2B, 기기 안에서 추론하고 도구를 쓰는 AI 모델

기기 안에서 실행하는 AI 모델을 개발하는 Liquid AI가 10월 13일 LFM2.5-24B-A2B를 공개했다. 질문을 읽고 추론한 뒤 필요한 도구를 골라 쓰는 텍스트 모델이다. 모델 파일을 내려받아 노트북이나 사내 컴퓨터에서 실행하고, 검색·업무 시스템과 연결해 에이전트를 만드는 용도로 설계했다. 공식 발표 · 공식 모델 카드

도구 실행은 연결된 프로그램이 맡고 모델은 반환된 결과를 읽어 답한다. 필요한 도구를 고르고 결과에 따라 작업을 이어가는 구조다.

로컬 모델에 어떤 일을 맡길 수 있나?

LFM2.5-24B-A2B는 업무 앱 안에서 판단과 답변 생성을 맡는 모델이다. 개발자가 도구의 이름, 역할, 입력 항목을 알려주면 모델이 적절한 호출을 출력한다. 도구 호출 방식

예를 들어 사내 문의를 처리하는 앱이라면, 문의 내용에서 필요한 정보를 찾고 내부 검색 도구로 관련 지침을 가져온 뒤 답변 초안을 만들게 할 수 있다. 답이 부족하면 다른 문서를 찾아보는 단계도 연결할 수 있다. 이 흐름은 검색 결과를 한 번 요약하는 것보다 여러 번의 판단과 도구 사용을 요구한다.

같은 회사의 Liquid d1이 정해진 선택지의 분류·점수 계산에 초점을 맞췄다면, 이번 모델은 추론과 글 생성, 도구 호출을 이어가는 역할이다. 따라서 문의의 담당 부서만 고르는 작업과 자료를 찾아 답변을 완성하는 작업에서 필요한 모델 구성이 다르다.

로컬 실행은 입력을 외부 모델 서버에 보내는 일을 줄인다. 웹 검색처럼 외부에 연결하는 도구의 전송 범위, 사내 검색과 답변 전송의 권한은 연결한 앱에서 따로 관리해야 한다.

큰 모델에서 필요한 부분만 계산한다

내부에는 MoE라는 구조를 쓴다. 여러 처리 부분을 두고 입력에 맞는 일부를 선택해 계산하는 방식이다. 전체 규모는 240억 개의 파라미터지만, 토큰 하나를 처리할 때 활성화되는 수는 모델 카드 기준 약 24.5억 개다. 파라미터는 학습한 정보를 담은 수치이며, 토큰은 글을 처리하기 위해 나눈 단위다. 구조와 모델 크기

이 방식은 매번 계산하는 양을 줄이지만, 저장해야 하는 모델 전체가 작은 모델로 바뀌는 것은 아니다. 실행 환경을 고를 때는 활성 파라미터 수만 보지 말고 내려받을 파일 크기, 사용 가능한 메모리와 대화 길이를 함께 봐야 한다. 긴 대화에서 유지하는 정보도 메모리를 차지한다.

이전 LFM2-24B-A2B와 달리 이번 모델은 답변 전에 추론 내용을 생성하도록 설계됐다. 회사는 빠른 토큰 생성을 활용해 여러 단계를 생각하는 작업을 개선하려 했다고 설명한다. 짧은 답만 필요한 요청에서도 추론 과정이 붙으므로, 토큰 생성 속도가 높다는 이유만으로 모든 질문의 대기 시간이 짧다고 볼 수는 없다. 추론 모델의 출력 방식

문맥은 최대 131,072토큰으로 늘었다. 질문과 문서, 도구 설명과 결과가 이 범위를 함께 사용한다. 한국어를 포함한 16개 언어를 지원하며 입력은 텍스트다. 이미지나 음성을 읽는 용도에는 별도 모델이 필요하다. 문맥과 지원 입력

비서 작업과 웹 작업의 결과는 달랐다

Liquid AI는 다른 MoE 모델과 비교한 자체 평가를 공개했다. LiveClaw는 여러 단계의 비서 작업을, WebArena Verified는 웹사이트에서 주어진 목표를 수행하는 능력을 살펴보는 평가다. 아래 결과는 회사가 공개한 수치로, 독립 재현 결과와는 구분해야 한다. LiveClaw의 평가 범위 · WebArena Verified

LFM2.5는 LiveClaw에서 Qwen보다 높은 점수를 받았지만 WebArena Verified에서는 낮았다. 여러 도구를 쓰는 비서 작업의 개선이 웹사이트 조작 능력의 우위로 그대로 이어지지는 않는다. 이 두 점수는 같은 시험의 항목이 아니므로 평균을 내 모델 전체의 순위로 읽을 수도 없다.

각 평가에는 출력 길이와 행동 횟수 제한도 있다. 실서비스에서는 사용 도구와 작업 종료 기준까지 결과를 바꾸므로, 적용하려는 업무와 가까운 평가를 확인해야 한다. 평가 조건

회사 측정에서는 Apple M5 Max에서 초당 184토큰을 생성했다. llama.cpp, Q4_K_M 양자화와 4천 토큰 입력 조건이다. 양자화는 수치를 적은 비트로 저장해 부담을 줄이는 방법이다. 이 생성 속도에 검색·파일 조회 시간까지 포함되지는 않는다. 기기와 속도 측정 조건

지금 실행하려면 무엇이 필요한가?

현재 Hugging Face에서 사전 학습을 마친 기본 모델과 업무용으로 추가 학습한 모델의 가중치를 받을 수 있다. 가중치는 실제 실행에 필요한 모델 파일이다. 일반 사용에는 추가 학습된 버전을 고르고, 자신의 자료로 학습하려는 개발자는 기본 모델도 검토할 수 있다. 기본 모델 · 추가 학습 모델

로컬 실행에는 GGUF 형식과 llama.cpp를, Apple Silicon Mac에는 MLX 형식을 사용할 수 있다. GGUF는 모델 파일 형식이며 MLX는 애플 기기에서 실행을 돕는 도구다. 모델을 자신의 컴퓨터에서 서비스로 띄운 뒤 에이전트 프로그램이 그 주소로 요청을 보내도록 연결한다. 내려받은 파일만으로 검색이나 업무 도구가 자동 연결되지는 않는다. llama.cpp 안내 · Mac 실행 안내

회사는 지식이 많이 필요한 작업에 검색을 함께 연결하도록 권장한다. 내부 지침을 답하는 앱이라면 최신 문서의 근거를 확인하고, 한국어 사내 약어와 업무 규칙도 실제 문의로 시험해야 한다.

가중치는 LFM Open License v1.0으로 제공되며 상업적 이용에는 연매출 1,000만 달러 기준의 제한이 있다. 기업에서 도입할 때는 해당 라이선스의 상업적 이용 조건을 확인해야 한다. 모델 파일 공개와 이용 허용 범위는 별개다. 라이선스 원문