[태그:] AI inference
-
Azure Maia 300, AI 추론을 위한 마이크로소프트의 새 시스템
Microsoft가 AI 추론용 Azure Maia 300을 공개했다. 데이터 이동과 서버 연결을 개선하는 원리, 최대 7배 처리량의 비교 조건, 2027년 배치 계획을 살펴본다.
-
[Startup 분석] FriendliAI – 한국형 AI 추론 인프라의 운영 레이어
한국 AI 스타트업을 볼 때 지금 중요한 질문은 “누가 모델을 더 잘 만들었나”에서 “누가 모델을 실제 서비스로 싸고 안정적으로 돌리게 해주나”로 옮겨가고 있다. GPU는 비싸고, 오픈웨이트 모델은 빨리 바뀌며, 기업 고객은 실험용 데모가 아니라 SLA가 있는 추론 API를 원한다. FriendliAI는 이 지점에 서 있는 회사다. 한국에서 출발했지만, 제품 언어는 명확히 글로벌 AI inference cloud에 가깝다.…