[태그:] AI inference
-
[Startup 분석] Fractile – 긴 AI 추론을 빠르게 만드는 칩 스타트업
AI 인프라 시장에서 지금 가장 큰 병목은 더 이상 학습만이 아니다. 모델이 길게 생각하고, 에이전트가 수십 단계의 작업을 이어가고, 코딩·리서치·신약개발 같은 업무가 긴 추론 체인으로 바뀌면서 추론 속도와 추론 비용이 새로운 전쟁터가 됐다. Fractile을 지금 봐야 하는 이유가 여기에 있다. 이 회사는 “GPU를 조금 더 싸게 빌려주는 회사”가 아니라, 프런티어 모델 추론을 위해 메모리와 연산…
-
[Startup 분석] Baseten – AI 추론 비용을 줄이는 모델 운영 인프라
AI 앱 시장에서 이제 병목은 모델을 고르는 일이 아니라, 그 모델을 안정적으로 싸게 돌리는 일로 옮겨가고 있다. ChatGPT 같은 소비자 서비스는 모델 회사가 직접 책임지지만, 기업이 자체 에이전트, 음성 AI, 코딩 도구, 영상·이미지 생성 기능을 만들 때는 이야기가 달라진다. GPU를 예약하고, 모델을 최적화하고, 지연시간을 낮추고, 비용 폭탄을 막는 인프라가 필요하다. Baseten이 지금 주목받는 이유는 바로…