- 중국 문샷AI의 키미 K3는 2.8조 파라미터 규모로, 오픈웨이트 모델 중 최대 규모임
- 기존 독점(proprietary) 프론티어 모델들보다 압도적으로 저렴한 비용(캐시 히트 입력 100만 토큰당 0.3달러)과 높은 성능을 제공함
- 전체 가중치는 7월 27일 공개예정
- 독보적인 성능을 구현하기 위해 Kimi K3는 세 가지 아키텍처 수단을 활용함
- Kimi 델타 어텐션(KDA), 어텐션 레지듀얼, Stable LatentMoE 등의 3가지 혁신 아키텍처임
- 이를 도입하여 저비용으로 100만 토큰의 컨텍스트 윈도우를 유지하고 스케일링 효율을 이전 모델(K2) 대비 2.5배 높였음
- 언론 및 공식 보고서에 따르면, Kimi K3는 벤치마크에서 경쟁 모델들을 능가하며, 딥시크(DeepSeek)와 유사한 증류(distillation) 기법을 활용하는 것으로 보임
- Kimi K3는 강한 훈련 효율성을 갖춘 것으로 보이지만, 추론 효율성은 다른 프론티어 모델들과 비슷한 수준일 것이며, 커지는 KV 캐시 풋프린트로 인해 오히려 뒤처질 수 있음
- 따라서 Kimi K3가 널리 활용되더라도 서버 DDR5와 eSSD를 포함한 범용(commodity) 메모리 수요는 오히려 더 증가할 것으로 예상함
- 나아가 Kimi K3가 오픈 소스(웨이트) 모델이라는 점을 감안할 때, 향후 이 모델을 활용하는 다수의 AI 에이전트가 출시될 것으로 전망함
- 이렇게 등장하는 AI 에이전트들이 점점 더 많은 토큰을 생성하고, 따라서 더 많은 메모리를 필요로 할 것
- 그러므로 메모리 공급업체에 대해 건설적인 시각을 유지함
