오늘 Kimi K3에 대한 내용을 좀 썼는데요

이건 그냥 핑계일 뿐이라고 생각합니다

일단 얘네가 공개한 대로라면 파라미터가 2.8조 개의 모델이라고 하는데요

파라미터 당 1~2바이트 수준의 용량을 차지하니 2.8~5.6 테라 바이트 수준의 모델입니다

MoE기술은 새로운 게 아니고 이해하기 쉽게 설명하면 AI 모델 내 파라미터를 전문가 집단으로 나눠 필요한 것만 골라쓰고 나머진 비활성화 즉 꺼버린다고 보시면 되는데..

문제는 AI가 어떤 전문가를 불러올 지 모른다는 거죠

그래서 일단 모든 전문가가 놀더라도 있어야 합니다

용량이 줄어들거나 하는 건 아니고, 연산이 효율적으로 되는거죠

그런데 요즘 AI 용 GPU의 경우 하나의 랙스케일로 들어가기도 하고

과거 터보퀀트 때 예시를 든 것처럼 내가 터보퀀트 써서 효율성이 좋아졌으니 메모리 덜 사갈게요가 아닌 메모리는 그대로 유지하되 더 많이 효율적으로 사용할 수 있게된다는 관점으로 봐야하는 거죠

기사에는 중국의 AI가 미국을 넘어섰다는 평가도 하는데... 그것도 좀 과합니다. LMArena에선 WebDev 부문에선 1위를 차지했지만 그 외에선 상위는 다 앤트로픽의 페이블 5나 오픈 AI의 GPT-5.6Sol이 차지했죠

그냥 터보퀀트처럼 센티가 안좋으니... 핑계거리를 찾는 거 같네요