深潮 TechFlow 消息,7 月 20 日,據分析師 Sunny Bangia 的觀點,與 DeepSeek R1在 2025 年推出類似,Kimi K3 的推出也引發了對 AI 算力將低於預期的擔憂。然而,這種比較可能忽略了一個重要區別。儘管 Kimi K3 這樣的模型旨在更高效地利用算力資源,但它們在運行時仍需要大量內存,這一特性可能持續支撐對 SK 海力士、臺積電和英偉達等企業的需求。
Kimi K3 擁有 2.8 萬億個參數,使稀疏率達到了新高。更高的稀疏率意味著在每個任務中被激活的參數數量相對模型總大小更少,從而在每個 token 上實現更高的計算效率。參數只是存儲在內存中的一個數字。即使使用低精度數據格式對模型進行壓縮,Kimi K3 的參數仍會佔用約 1.4 太字節的內存。採用 K3 本身就會產生對高內存硅芯片升級的需求,例如英偉達的 Blackwell GB300。(金十)
添加收藏
分享社交媒體




