開源 145B 大模型號稱筆記本就能跑 獨立核查:記憶體數字與「開源」說法都有水分

AI 團隊 Edge0 11 月 12 日發布 145B 參數量大模型,宣稱是首個能在個人電腦上運行的同級開源模型、峰值記憶體僅 29GB。獨立核查指出,29GB 只是顯存峰值,模型卡實測總量約 61.5 GiB;基底模型為阿里巴巴 Qwen,許可亦非標準開源授權。
AI 團隊 Edge0(公司 AutoArk)11 月 12 日發布 Edge0-145B 與 Edge0-120B 兩個大語言模型及自研推理框架,宣稱 145B 是「首個能在個人電腦上運行的該量級開源模型」:總參數 1,450 億、每次推理只激活約 100 億參數,峰值記憶體 29GB、解碼速度每秒 80 個 token 以上、上下文 128K 至 256K,目標硬件是 48GB 記憶體的 MacBook Pro 等筆記本。權重已放上 Hugging Face,代碼放上 GitHub(Apache 2.0)。
29GB 只是顯存峰值 模型卡實測總量約 61.5 GiB
獨立核查網站 Ground Truth 11 月 13 日指出,博客標題的 29GB 只是 GPU 一側的峰值。模型卡自己的實測數字是 NVFP4 版本 23.25 GiB 顯存加上 38.27 GiB 主機記憶體,合計約 61.5 GiB;權重本身 NVFP4 版 47.79 GiB、Q3_K 版 40.81 GiB。博客正文亦承認,約 40GB 的專家權重放在系統記憶體、約 48GB 的詞表數據放在固態硬碟。速度數字同樣來自桌面顯卡:每秒 79.6 個 token 是在 RTX 5090 D 上測得,Apple M2 Ultra 一欄每秒 60.9 個 token 還附註「未確認 macOS 版是否提供」,而推理引擎文件只提到 CUDA、沒有 Mac 版。
基底是阿里 Qwen 許可並非標準開源
博客稱模型「從一開始就按本地部署架構訓練」,但 Hugging Face 元數據標明基底模型是阿里巴巴 8 月發布的 Qwen3.8-Flash-Next(約 1,800 億參數);Edge0 自己的發布範圍文件亦承認,實際訓練基底版本未經驗證、亦不主張擁有 Qwen 材料的所有權。許可方面,權重採用自訂的 Edge0 Community Model License 1.0:出售權重、對外提供收費模型服務、提供獨立的 AI 編程或辦公產品,都須另行取得書面授權,並非標準開源許可。
基準全為自測 技術報告尚未發布
全部基準分數均為 Edge0 內部測試:編程智能體測試 64.6 分(基底 Qwen 為 58.7 分)、終端測試 86.52 分、六項測試平均 72.8 分(Qwen 為 71.7 分);但在 GPQA-Diamond(90.4 對 91.7)、指令遵循測試與 Humanity's Last Exam 上,Edge0 反而落後於 Qwen。技術報告與復現指引尚未發布,Hacker News 討論串已有網民直指標題是「赤裸裸的謊言」,認為 48GB 筆記本應付不了約 70GB 的總佔用。在有人獨立跑通筆記本實測之前,這宗新聞的真正看點,是 29GB 標題與 61.5 GiB 實測之間的落差。
(示意圖片:筆記本電腦上的大語言模型概念圖。)
N環球 
💬 留言
暫時還沒有留言,來搶沙發!