메타가 10월 15일 Muse Spark Open의 가중치를 공개했다. 글·이미지·음성·영상을 입력받아 글을 생성하며, 코드 작성과 여러 단계의 작업 수행에 초점을 맞춘 AI 모델이다. 개발자는 모델을 직접 내려받아 실행하거나 외부 제공사의 API로 연결할 수 있다. 가중치는 학습 결과를 담은 수치 데이터로, 이를 공개하면 자체 서버에서 모델을 운영하고 추가 학습하는 길이 열린다. 공식 발표
Muse 앱과 어떤 관계인가?
메타는 Facebook·Instagram과 함께 Muse 계열의 AI 모델과 서비스를 만드는 회사다. 앞서 소개한 Muse 앱이 사용자에게 일을 맡기는 화면과 실행 환경을 제공한다면, Spark Open은 개발자가 자신의 도구에 붙이는 모델이다. 설치만으로 메일·브라우저·파일 권한이 모두 연결되는 완성형 비서는 아니다. 메타는 기존 Muse Spark를 바탕으로, 외부 시스템의 보호 장치 없이 배포되는 상황을 고려한 안전성 추가 학습을 적용했다고 설명한다. 모델의 역할과 공개 방식
예를 들어 앱 개발자는 오류가 나타난 화면과 관련 코드를 함께 보내 수정을 요청할 수 있다. 모델이 수정안을 만들면 연결된 코딩 도구가 파일을 바꾸고 빌드나 테스트를 실행한다. 실패한 결과를 다시 입력하면 다음 수정을 이어가는 방식이다. 실제 파일 변경과 명령 실행은 모델을 사용하는 프로그램이 맡으므로, 어떤 자료와 도구를 허용할지도 그 프로그램에서 정해야 한다. 개발 작업과 도구 연결
결과 화면을 다시 보면서 코드를 고친다
Hugging Face는 Pi 코딩 도구와 모델을 연결해 3D 물체를 만드는 예제를 공개했다. 원하는 물체를 설명하면 Three.js 코드를 작성하고, 브라우저에서 결과를 그린 뒤 여러 각도의 화면을 캡처한다. 그 이미지를 같은 모델에 다시 보내 형태를 검토하고 코드를 고친다. 글로 코드를 만드는 능력과 결과 이미지를 읽는 능력을 하나의 수정 과정에 사용하는 사례다. 구현 설명과 예제
이 예제는 2비트로 줄인 모델을 llama.cpp에서 실행하며, 작성자는 양자화한 모델에 좀 더 구체적인 지시가 필요했다고 밝혔다. 양자화는 가중치를 더 적은 비트로 저장해 메모리 부담을 줄이는 방법이다. 공개 예제는 이런 작업 구성이 가능하다는 근거지만, 모든 요청이 원하는 품질로 완성되거나 원본 모델과 같은 정확도를 유지한다는 비교 결과는 아니다.
큰 모델에서 필요한 부분만 계산한다
Spark Open의 전체 매개변수는 약 8,160억 개이며, 토큰 하나를 처리할 때 약 420억 개를 활성화한다. 토큰은 문장이나 입력 자료를 모델이 처리하도록 나눈 단위다. 내부에는 여러 전문가 부분을 두고 일부를 고르는 MoE 구조가 있다. Hugging Face의 구현 설명에서는 각 MoE 층의 전문가 256개 중 토큰마다 8개를 선택한다. 큰 모델 전체를 매번 계산하는 부담을 줄이려는 설계다. 구조 설명
계산에 쓰는 부분이 작아도 전체 가중치를 저장할 공간은 필요하다. 따라서 ‘420억 개 활성화’를 작은 모델과 같은 메모리에서 실행된다는 뜻으로 읽으면 안 된다. 메타 문서는 BF16 가중치를 약 1.65TB, 일부 층을 높은 정밀도로 남긴 NVFP4 가중치를 약 537GB로 안내한다. 여기에 대화 기록을 처리하는 캐시와 실행 프로그램의 메모리가 추가된다. 가중치 형식과 하드웨어 조건
이미지와 영상 프레임은 시각 인코더가, 음성은 음성 인코더가 모델이 읽을 수 있는 정보로 바꾼다. 최대 문맥은 1,048,576토큰으로 글과 시청각 입력이 이 범위를 함께 사용한다. 긴 코드와 화면 기록을 같이 참고할 수 있지만, 실행 도구의 설정이 더 짧으면 실제 사용 범위도 줄어든다. Hugging Face의 vLLM 예제는 128K 문맥으로 설정돼 있다. 입력 처리와 실행 예제
내 컴퓨터에서 실행하려면?
메타는 MLX를 이용해 각각 최대 512GB 통합 메모리를 갖춘 M5 Ultra Mac Studio 두 대에서 실행하는 구성을 소개했다. 통합 메모리는 CPU와 GPU가 함께 사용하는 메모리다. ‘데스크톱에서 실행’한다는 발표는 이처럼 큰 메모리를 갖춘 구성을 가리키며, 일반적인 노트북에서 바로 실행할 수 있다는 의미는 아니다. Apple Silicon 실행 조건
별도로 Hugging Face는 512GB M3 Ultra에서 약 344GB를 차지하는 3비트 oQ3e 모델을 시험했다. 입력 1,024토큰·생성 128토큰 조건에서 입력 처리 약 225토큰/초, 생성 약 21토큰/초를 보고했다. 앞의 메타 구성과는 하드웨어·가중치 형식이 다르므로 직접적인 속도 비교는 어렵다. 이 수치는 해당 실행 조건의 처리 속도이며 코딩 정답률이나 작업 완료율을 뜻하지 않는다. MLX 측정 조건
직접 운영하지 않으려면 Baseten·Fireworks AI·OpenRouter·Together AI 등 발표된 제공 경로에서 API로 호출할 수 있다. API는 앱이 모델에 요청을 보내고 결과를 받는 연결 방식이다. 자체 장비 부담은 줄지만 처리 위치와 요금은 제공사 조건을 따르며, 이미지·음성·영상 지원 범위도 사용하는 실행 도구에서 확인해야 한다. 제공 경로와 지원 입력
가중치는 Muse Model License로 배포하며 이용 정책도 적용된다. 메타는 많은 개발자가 무료로 사용할 수 있는 제한적 상업 이용 조건이라고 설명한다. 파일 공개를 모든 용도의 무조건적인 사용 허가로 해석해서는 안 되며, 서비스에 넣을 때는 해당 라이선스와 제공사의 요금을 구분해 확인해야 한다. 배포 라이선스 안내
답글 남기기
댓글을 달기 위해서는 로그인해야합니다.