https://n.news.naver.com/mnews/article/055/0001374067?sid=104

 

키미 K3는 매개변수가 2조 8천억 개로 중국에서 나온 모델 가운데 가장 큽니다.

컴퓨팅(연산 처리) 효율성을 나타내는 지표인 '희소 비율'(Sparsity Ratio)도 사상 최고 수준으로 높습니다.

이 비율이 높을수록 모델의 전체 규모에 비해 각 작업에 활성화되는 매개변수의 수가 적습니다.

하지만 이 모델이 구동되려면 2조 8천억 개의 매개변수가 모두 메모리에 저장돼야 합니다.

저정밀도 데이터 형식으로 모델을 압축하더라도 1.4테라바이트의 메모리가 필요하다는 의미입니다.

따라서 이 모델을 직접 구동해서 쓰려면 엔비디아의 '블랙웰 GB300' 시스템 규모의 AI 랙 시스템이 필요하다고 블룸버그는 설명했습니다.

블룸버그는 "2조8천억 개의 매개변수와 100만 토큰의 '컨텍스트 창'(Context Window)을 갖춘 K3는 이전 세대보다 훨씬 더 많은 메모리 용량을 요구한다"며 "이는 SK하이닉스와 삼성전자 등 소수가 시장을 지배하는 분야에서 지속적인 수요를 시사한다"고 평가했습니다.