[Startup 분석] Baseten – AI 추론 비용을 줄이는 모델 운영 인프라

AI 앱 시장에서 이제 병목은 모델을 고르는 일이 아니라, 그 모델을 안정적으로 싸게 돌리는 일로 옮겨가고 있다. ChatGPT 같은 소비자 서비스는 모델 회사가 직접 책임지지만, 기업이 자체 에이전트, 음성 AI, 코딩 도구, 영상·이미지 생성 기능을 만들 때는 이야기가 달라진다. GPU를 예약하고, 모델을 최적화하고, 지연시간을 낮추고, 비용 폭탄을 막는 인프라가 필요하다. Baseten이 지금 주목받는 이유는 바로 이 층, 즉 AI 추론 인프라를 개발자와 기업이 직접 다루기 쉬운 플랫폼으로 만들고 있기 때문이다.

왜 지금 Baseten인가?

Baseten은 2026년 6월 22일 공식 발표에서 15억 달러 Series F를 조달했다고 밝혔다. 회사가 공개한 수치는 더 공격적이다. 이번 라운드 이후 Baseten의 기업가치는 130억 달러에 도달했다. 2025년 Series D, Series E를 거쳐 2026년 Series F까지 빠르게 이어진 흐름이다.

이 투자가 중요한 이유는 단순히 금액이 커서가 아니다. AI 시장의 돈이 점점 “모델을 만드는 회사”에서 “모델을 실제 서비스에 올려 돈을 벌게 만드는 회사”로 이동하고 있다는 신호이기 때문이다. OpenAI, Anthropic, Google, xAI가 프론티어 모델 경쟁을 한다면, Baseten은 기업들이 Llama, Qwen, DeepSeek, 자체 모델, 이미지·음성 모델을 실제 제품 속에서 돌릴 수 있게 해주는 실행 계층에 가깝다.

국내 스타트업 우선 원칙을 고려하면 Baseten은 예외 케이스다. 다만 한국 AI 회사들도 결국 같은 문제를 만난다. 좋은 모델을 만들었는가보다 더 중요한 질문은 “그 모델을 고객 서비스 안에서 얼마나 싸고 빠르게 운영할 수 있는가”다. Baseten은 이 질문을 정면으로 파고드는 회사다.

Baseten은 무엇을 파는 회사인가?

Baseten은 2019년 샌프란시스코에서 시작한 AI 인프라 스타트업이다. 공식 사이트 기준 핵심 제품은 모델 추론 플랫폼이다. 개발자는 Baseten 위에서 오픈웨이트 모델, 파인튜닝 모델, 자체 모델을 배포하고, API로 호출하고, GPU 리소스와 성능을 관리한다.

제품을 단순화하면 세 가지로 볼 수 있다.

모델 배포: Llama, Qwen, DeepSeek, Whisper, Stable Diffusion 계열 같은 모델을 프로덕션 API로 올린다.
추론 최적화: 지연시간, 처리량, GPU 사용률, 스케일링, 콜드스타트, 배치 처리 문제를 관리한다.
엔터프라이즈 운영: 전용 배포, VPC, 보안, 관측, SLA, 비용 관리 같은 기업 요구를 묶는다.

즉 Baseten은 “모델을 만들어주는 회사”라기보다 모델을 제품으로 운영하게 해주는 회사다. AI 앱이 많아질수록 이 층의 중요도는 올라간다.

투자 유치: 130억 달러 밸류에이션이 붙은 이유

Baseten의 2026년 6월 Series F는 Altimeter Capital, Conviction Partners, Spark Capital이 리드했고, Sands Capital과 Wellington Management가 공동 리드했다. Battery Ventures, Blackbird, D.E. Shaw Ventures, Durable Capital Partners, Greylock, IVP, Verified Capital, 01A도 참여한 것으로 회사가 밝혔다. 회사 발표 기준 15억 달러 조달, 130억 달러 valuation이다.

이 숫자는 전통적인 SaaS 관점에서는 매우 비싸 보일 수 있다. 하지만 투자 논리는 명확하다. AI 앱의 사용량이 늘수록 추론 비용은 반복적으로 발생한다. 학습은 한 번 큰돈이 들어가는 성격이 강하지만, 추론은 고객이 매번 앱을 쓸 때마다 비용이 발생한다. 이 비용을 10%, 30%, 50% 줄이거나 같은 GPU로 더 많은 요청을 처리하게 만들면, 기업 입장에서는 바로 손익계산서에 반영된다.

Baseten이 노리는 시장은 “GPU 클라우드”만도 아니고 “MLOps”만도 아니다. 더 정확히는 오픈웨이트 모델 시대의 추론 운영체제다. 모델은 계속 바뀌고, 고객은 더 낮은 비용과 더 빠른 응답을 원하며, 기업은 특정 모델 회사에 완전히 묶이고 싶어 하지 않는다. Baseten의 valuation은 이 흐름에 붙은 가격이다.

왜 AI 추론 인프라가 큰 시장이 되는가?

AI 인프라를 볼 때 많은 사람이 학습용 GPU부터 떠올린다. 하지만 애플리케이션 관점에서 더 오래 돈이 나가는 곳은 추론이다. 고객이 챗봇을 열고, 에이전트가 도구를 호출하고, 음성 모델이 실시간으로 응답하고, 이미지 모델이 결과물을 만들 때마다 추론 비용이 발생한다.

문제는 추론이 생각보다 어렵다는 점이다. 모델마다 메모리 요구량이 다르고, 요청 패턴도 다르며, 긴 컨텍스트와 짧은 응답, 배치 요청과 실시간 요청이 섞인다. GPU는 비싸고, 놀리면 손해다. 반대로 과도하게 몰리면 지연시간이 튀고 서비스 품질이 망가진다.

이 시장에서 고객이 원하는 것은 단순 서버가 아니다. 고객은 다음을 원한다.

모델을 빠르게 바꿔도 API와 운영 구조가 흔들리지 않을 것
트래픽이 갑자기 늘어도 응답 지연이 관리될 것
GPU 비용을 모델·고객·기능 단위로 볼 수 있을 것
보안과 데이터 통제가 기업 기준을 만족할 것
오픈소스 모델과 자체 모델을 프론티어 모델 API처럼 쓸 수 있을 것

Baseten은 이 요구를 하나의 플랫폼으로 묶으려 한다.

돈은 어디서 버는가?

Baseten의 수익 모델은 공개 가격표와 제품 구조를 보면 비교적 분명하다. 핵심은 추론 사용량 기반 과금과 기업용 인프라 계약이다.

GPU 사용량 과금: 고객이 모델을 배포하고 추론을 돌리는 만큼 컴퓨트 비용을 낸다.
전용 배포와 엔터프라이즈 계약: 대형 고객은 전용 클러스터, 보안, 네트워크, 지원, SLA를 요구한다.
최적화 가치: 같은 모델을 더 낮은 비용으로 돌리거나 더 높은 처리량을 내게 해주면 고객 예산을 가져올 명분이 생긴다.
모델 운영 레이어: 배포, 관측, 롤백, 스케일링, 버전 관리 같은 운영 기능이 락인 포인트가 된다.

Baseten의 매력은 고객의 AI 사용량이 늘수록 매출도 같이 늘 수 있다는 점이다. 다만 이 구조는 양날의 검이다. GPU 원가와 클라우드 비용을 잘 관리하지 못하면 매출은 커져도 마진이 얇아질 수 있다. AI 인프라 회사는 성장률만큼이나 단위 경제성이 중요하다.

경쟁 구도: 클라우드와 모델 회사 사이의 좁은 길

Baseten의 경쟁자는 넓다. 가장 직접적으로는 Together AI, Fireworks AI, Replicate, Modal, RunPod, Anyscale, Hugging Face Inference, OctoAI 계열의 시장과 겹친다. 더 크게 보면 AWS Bedrock, Google Vertex AI, Microsoft Azure AI Foundry, Databricks, Snowflake, CoreWeave 같은 클라우드·데이터 인프라 회사도 경쟁자다.

이 시장이 어려운 이유는 양쪽에서 압력이 오기 때문이다. 위에서는 OpenAI, Anthropic, Google 같은 모델 회사가 자체 API와 엔터프라이즈 기능을 강화한다. 아래에서는 AWS, Azure, Google Cloud, CoreWeave 같은 인프라 회사가 GPU와 플랫폼을 함께 판다. Baseten은 이 사이에서 “모델 독립적이고, 개발자 경험이 좋고, 추론 최적화에 특화된 레이어”라는 포지션을 지켜야 한다.

반대로 기회도 바로 여기에 있다. 기업은 하나의 모델 회사에 모든 AI 제품을 맡기고 싶어 하지 않는다. 비용, 성능, 보안, 규제, 벤더 리스크 때문에 여러 모델을 섞어 쓰게 된다. 오픈웨이트 모델이 계속 좋아지면, Baseten 같은 독립 추론 플랫폼의 필요성은 더 커질 수 있다.

이 밸류에이션은 말이 되는가?

130억 달러 valuation은 상당히 공격적이다. 이 가격이 정당화되려면 Baseten은 단순 배포 도구가 아니라 AI 앱의 핵심 트래픽을 장기적으로 붙잡는 인프라가 되어야 한다. 고객이 한두 개 실험 모델을 올리는 수준이라면 비싸다. 반대로 고객의 주요 AI 기능이 Baseten API 위에서 매일 대규모로 돌아간다면 이야기가 달라진다.

밸류에이션을 정당화하는 논리는 세 가지다.

추론 지출은 반복 매출이 된다. AI 앱 사용량이 늘수록 비용과 매출이 같이 증가한다.
모델 다양화는 독립 플랫폼에 유리하다. OpenAI 하나만 쓰던 시장이 오픈웨이트·전문 모델 조합으로 이동하면 운영 계층이 필요하다.
최적화는 직접적인 ROI를 만든다. GPU 비용 절감은 기업 구매자가 이해하기 쉬운 가치다.

하지만 아직 공개 자료만으로 Baseten의 ARR, 총마진, 고객별 사용량, 순매출유지율을 확인하기는 어렵다. 따라서 이 valuation은 이미 완전히 검증된 현금흐름보다 AI 추론 지출이 폭발할 것이라는 시장의 선반영에 가깝다.

가장 큰 리스크는 commoditization이다

Baseten의 가장 큰 리스크는 기능이 빠르게 범용화될 수 있다는 점이다. 모델 배포, autoscaling, monitoring, batch inference, GPU scheduling은 시간이 지나면 클라우드 기본 기능으로 흡수될 수 있다. AWS, Google, Microsoft는 이미 고객 계정, 데이터, 보안, 구매 계약을 쥐고 있다. 이들이 추론 최적화 기능을 공격적으로 번들링하면 독립 플랫폼의 가격 결정력은 약해진다.

두 번째 리스크는 GPU 공급과 원가다. AI 인프라 회사는 고객에게 성능을 약속하려면 충분한 컴퓨트 접근성이 필요하다. 하지만 GPU를 직접 많이 확보하면 자본 부담이 커지고, 클라우드에 의존하면 마진이 압박받는다. CoreWeave 같은 GPU 클라우드 회사와 달리 Baseten이 얼마나 자산을 가볍게 유지하면서도 안정적 용량을 확보할 수 있는지가 중요하다.

세 번째 리스크는 모델 회사의 수직통합이다. OpenAI, Anthropic, Google이 가격을 낮추고 엔터프라이즈 배포 옵션을 강화하면, 일부 고객은 굳이 중간 플랫폼을 쓰지 않을 수 있다. Baseten은 단순히 “모델 API를 더 쉽게 호출하게 해준다”가 아니라, 여러 모델을 비교·운영·최적화하는 데서 확실한 차이를 만들어야 한다.

개인적 판단: Baseten은 AI 시대의 Heroku가 아니라 추론 비용 통제 계층에 가깝다

Baseten을 “AI 모델 배포용 Heroku”라고 부르면 이해는 쉽지만, 나는 그 표현만으로는 부족하다고 본다. Heroku식 개발자 경험도 중요하지만, Baseten의 진짜 가치는 추론 비용과 성능을 통제하는 운영 계층에 있다. AI 앱이 커질수록 개발자는 “모델이 답을 하는가”보다 “이 응답을 얼마에, 몇 ms 안에, 어떤 신뢰도로 제공하는가”를 더 많이 보게 된다.

이 관점에서 Baseten은 꽤 중요한 회사다. AI 앱이 늘어날수록 추론 지출은 SaaS의 클라우드 비용처럼 핵심 비용 항목이 된다. 비용을 줄이고, 모델을 바꾸고, 트래픽을 흡수하고, 운영 상태를 보는 계층은 반드시 필요하다. 다만 이 시장은 매우 경쟁적이고, 클라우드와 모델 회사가 동시에 내려오는 시장이다.

내 판단은 이렇다. Baseten은 지금 AI 인프라에서 가장 큰 문제 중 하나를 정확히 잡고 있다. 하지만 130억 달러 valuation을 정당화하려면 “좋은 개발자 도구”를 넘어, 대형 고객의 AI 추론 예산을 장기적으로 붙잡는 표준 플랫폼이 되어야 한다. 성공하면 AI 앱 시대의 핵심 인프라 회사가 될 수 있고, 실패하면 클라우드 번들 기능 사이에 끼인 고급 배포 도구로 남을 수 있다.

핵심 요약

Baseten은 오픈웨이트·자체 모델을 프로덕션 API로 운영하게 해주는 AI 추론 인프라 스타트업이다.
2026년 6월 공식 발표 기준 15억 달러 Series F를 조달했고, 기업가치는 130억 달러로 제시됐다.
수익 모델은 GPU 사용량, 전용 배포, 엔터프라이즈 지원, 추론 최적화 가치에 붙어 있다.
핵심 경쟁자는 Together AI, Fireworks AI, Replicate, Modal, 클라우드 AI 플랫폼, 모델 회사의 자체 API다.
가장 큰 리스크는 추론 플랫폼 기능이 클라우드와 모델 회사에 흡수되는 commoditization이다.

참고 자료

불확실성 메모: 15억 달러 Series F와 130억 달러 valuation은 Baseten의 2026년 6월 22일 공식 발표와 주요 매체 보도 기준이다. ARR, 총마진, 고객별 사용량, 순매출유지율은 공개 자료에서 확인되지 않아 단정하지 않았다. 제품 기능과 가격은 공식 사이트·문서 기준이며, 실제 엔터프라이즈 계약 조건은 고객별로 달라질 수 있다.