快科技2月15日新闻，清华团队冲破年夜模子算力困难，这让英伟达情何故堪。据海内媒体报道称，清华年夜学KVCache.AI团队结合趋境科技宣布的KTransformers开源名目迎来严重更新，胜利攻破年夜模子推理算力门槛。此次KTransformers名目更新带来严重冲破，支撑在24G显存（4090D）的装备上当地运转DeepSeek-R1、V3的671B满血版。KTransformers名目的中心在于异构盘算战略：稀少性应用：MoE架构每次仅激活局部专家模块，团队将非共享的稀少矩阵卸载至CPU内存，联合高速算子处置，显存占用紧缩至24GB。量化与算子优化：采取4bit量化技巧，共同Marlin GPU算子，效力晋升3.87倍；CPU端经由过程llamafile实现多线程并行，预处置速率高达286 tokens/s。CUDA Graph减速：增加CPU/GPU通讯开支，单次解码仅需一次完全的CUDA Graph挪用，天生速率达14 tokens/s。这带来了怎么的成果呢？传统计划：8卡A100效劳器本钱超百万，按需计费每小时数千元。当初，单卡RTX 4090计划：整机本钱约2万元，功耗80W，合适中小团队与团体开辟者。NVIDIA RTX 4090运转DeepSeek-R1满血版的案例，不只是技巧奇观，更是开源精力与硬件潜能联合的典型。它证实：在AI狂飙的时期，翻新每每源于对“弗成能”的挑衅。【本文停止】如需转载请务必注明出处：快科技义务编纂：雪花[db:摘要]
