2.78万亿参数巨无霸,居然在64G笔记本上跑通了!

 3周前     53  

文章目录

🔥 今日头条:以 0.50 tok/s 运行 Kimi K3:WASTE 引擎让 2.78T 参数模型在 64GB 内存笔记本上流式推理

以前跑万亿级大模型是高墙之内的专属游戏,但 WASTE 引擎用 C 语言打破了硬件神话。通过动态从磁盘流式读取专家权重的黑魔法,它让 2.78T 参数的 Kimi K3 在普通的 64GB MacBook 上流式运转。虽然 0.5 tok/s 的速度慢如挤牙膏,但它昭示着“平民化大模型”的激进未来——软件层面的极限优化正在狠狠打脸那些高高在上的硬件算力巨头。

🚀 行业速递 Top 10

  • DeepSeek V4 Flash 正式开源!极高“智价比”引爆大模型价格战

    DeepSeek 发布并开源了 DeepSeek-V4-Flash-0731,采用 284B 参数 MoE 架构,在智能体基准上甚至超越了之前的 Pro 预览版。更震撼的是其极高的“智价比”,让顶尖大模型的竞争彻底从单纯拼参数转向了极致低成本的商业落地,对行业生态造成降维打击。

  • GPT-5.4 宣布将退出 ChatGPT 网页端,全面转向 API 时代

    OpenAI 宣布 GPT-5.4 和 GPT-5.4 mini 自 8 月 31 日起不再支持网页登录用户使用,仅保留 API 及 Codex 会话渠道。这一举动暗示 OpenAI 正在重塑其面向大众消费端(C端)与开发者端(B端)的产品线,大模型消费级市场或将迎来更彻底的“智能体”化迭代。

  • Gemini Spark 开启海外公测,24/7 纯后台智能体时代来临

    谷歌面向美国以外的 AI Pro 用户推出 Spark 个人 AI 智能体。该智能体主打在后台 24/7 全天候自主工作,可根据指令替用户打理琐碎任务。Spark 的大范围铺开标志着大模型从“被动问答”正式跨入“主动执行”的 Agent 实用化新阶段。

  • YC 开源内部多智能体框架 QM,兼容多款主流 AI 工具

    创业孵化器 YC 开源了其内部在会计、法务和工程等部门广泛使用的多智能体框架 QM(采用 MIT 协议)。该框架支持云端优先和原生 Slack,能够与 Claude Code、OpenCode 等无缝兼容。底层 Agent 框架的持续开源,正进一步拉低企业级 AI 应用的开发门槛。

  • 月之暗面大起底:2万片英伟达芯片,撑起 Kimi 的万亿野心

    据悉,月之暗面旗下的 Kimi 大模型,目前正运行在由阿里巴巴提供的 2 万片英伟达芯片组成的超级计算集群上。云厂商提供坚实的算力底座,明星独角兽负责技术与算法冲锋,这种“算力联姻”模式已经成为当前国内顶尖大模型在研发与推理端维持竞争力的标配。

  • Simon Willison 推出 smevals,轻量级 AI 测评工具降低开发门槛

    AI 圈名红人 Simon Willison 联手 Prime Radiant 实验室开发了新工具 smevals,旨在用极低的成本和轻量套件对不同模型及提示词进行跨配置打分评测。在模型迭代日新月异的当下,这种解耦运行与打分的轻量级评测工具将成为开发者降本增效的利器。

  • AI 时代的 GUI 应该长啥样?MarbleOS 带来交互新思路

    创新项目 MarbleOS 在 Hacker News 上引发热议。它通过全新演示探讨了 AI 智能体时代原生 GUI 的交互形态。当传统“按钮与菜单”的逻辑无法承载 Agent 的高维度自主行动时,MarbleOS 尝试用新的界面范式给出了它的技术提案,探索人机交互的未来。

  • 为什么人人都在建 LLM 路由,而我们却决定将其废弃?

    开发者平台 Manifest.build 发文分享了他们废弃自家 LLM 路由器(Router)的思考。在全行业盲目跟风“大模型路由分发”的潮流下,他们指出,随着单模型本身在多任务处理上的泛化能力提升和成本暴跌,繁琐的外部路由正在失去其原本的性价比和架构优势。

  • 29岁领袖姚顺雨空降 300 天:混元团队重回正轨的幕后故事

    播客深度揭秘了 29 岁 AI 领袖姚顺雨空降腾讯混元团队 300 天的幕后历程。通过大刀阔斧的组织换血、企业文化的重塑以及确立极其务实的产品路线,他成功将曾陷入低谷的混元大模型团队重新带回一线战局,展现了年轻一代 AI 旗手在传统大厂中的破局智慧。

  • 印度 AI 消费大爆发:Q2 支出破纪录,ChatGPT 与 Claude 卷走八成

    报告显示,印度移动应用市场 Q2 消费者支出暴涨至 3.45 亿美元,其中生成式 AI 成为绝对的增长引擎。令人瞩目的是,OpenAI 与 Anthropic 两大巨头直接鲸吞了印度 AI 应用市场近 83% 的总收入。高增长与高度垄断并存,已成为新兴市场 AI 生态的缩影。

版权声明:mark 发表于 3周前,共 1780 字。
转载请注明:2.78万亿参数巨无霸,居然在64G笔记本上跑通了! | AI利器资讯

您可能感兴趣的