开源 145B 大模型号称笔记本就能跑 独立核查:记忆体数字与「开源」说法都有水分

AI 团队 Edge0 11 月 12 日发布 145B 参数量大模型,宣称是首个能在个人电脑上运行的同级开源模型、峰值记忆体仅 29GB。独立核查指出,29GB 只是显存峰值,模型卡实测总量约 61.5 GiB;基底模型为阿里巴巴 Qwen,许可亦非标准开源授权。
AI 团队 Edge0(公司 AutoArk)11 月 12 日发布 Edge0-145B 与 Edge0-120B 两个大语言模型及自研推理框架,宣称 145B 是「首个能在个人电脑上运行的该量级开源模型」:总参数 1,450 亿、每次推理只激活约 100 亿参数,峰值记忆体 29GB、解码速度每秒 80 个 token 以上、上下文 128K 至 256K,目标硬件是 48GB 记忆体的 MacBook Pro 等笔记本。权重已放上 Hugging Face,代码放上 GitHub(Apache 2.0)。
29GB 只是显存峰值 模型卡实测总量约 61.5 GiB
独立核查网站 Ground Truth 11 月 13 日指出,博客标题的 29GB 只是 GPU 一侧的峰值。模型卡自己的实测数字是 NVFP4 版本 23.25 GiB 显存加上 38.27 GiB 主机记忆体,合计约 61.5 GiB;权重本身 NVFP4 版 47.79 GiB、Q3_K 版 40.81 GiB。博客正文亦承认,约 40GB 的专家权重放在系统记忆体、约 48GB 的词表数据放在固态硬碟。速度数字同样来自桌面显卡:每秒 79.6 个 token 是在 RTX 5090 D 上测得,Apple M2 Ultra 一栏每秒 60.9 个 token 还附注「未确认 macOS 版是否提供」,而推理引擎文件只提到 CUDA、没有 Mac 版。
基底是阿里 Qwen 许可并非标准开源
博客称模型「从一开始就按本地部署架构训练」,但 Hugging Face 元数据标明基底模型是阿里巴巴 8 月发布的 Qwen3.8-Flash-Next(约 1,800 亿参数);Edge0 自己的发布范围文件亦承认,实际训练基底版本未经验证、亦不主张拥有 Qwen 材料的所有权。许可方面,权重采用自订的 Edge0 Community Model License 1.0:出售权重、对外提供收费模型服务、提供独立的 AI 编程或办公产品,都须另行取得书面授权,并非标准开源许可。
基准全为自测 技术报告尚未发布
全部基准分数均为 Edge0 内部测试:编程智能体测试 64.6 分(基底 Qwen 为 58.7 分)、终端测试 86.52 分、六项测试平均 72.8 分(Qwen 为 71.7 分);但在 GPQA-Diamond(90.4 对 91.7)、指令遵循测试与 Humanity's Last Exam 上,Edge0 反而落后于 Qwen。技术报告与复现指引尚未发布,Hacker News 讨论串已有网民直指标题是「赤裸裸的谎言」,认为 48GB 笔记本应付不了约 70GB 的总占用。在有人独立跑通笔记本实测之前,这宗新闻的真正看点,是 29GB 标题与 61.5 GiB 实测之间的落差。
(示意图片:笔记本电脑上的大语言模型概念图。)
N環球 
💬 留言
暂时还没有留言,来抢沙发!