蚂蚁开源 Ling-3.0-tiny:79 亿参数,M4Pro 本地跑到 90Token/s

source··16:46 编辑

比推消息,据监测,蚂蚁百灵正式开放 Ling-3.0-tiny 权重,提供 BF16、FP8 和 INT4 三个版本,Hugging Face 页面标注为 MIT 许可。模型共有 79 亿参数,每个 Token 只激活 13 亿,主要面向本地部署和 Agent 场景。Ling-3.0-tiny 有 128 个路由专家,每个 Token 只选择其中 8 个,再加 1 个所有 Token 都会使用的共享专家。注意力部分采用 3:1 的 KDA 与 MLA 混合架构,也就是每 3 层 Kimi Delta Attention 后接 1 层 MLA。官方称 FP8 版在 M4 Pro MacBook 上可达到约 86–90 Token/s;DGX Spark 上约为 100–105 Token/s。

原文链接
说明: Bitpush 所有文章只代表作者观点,不构成投资建议

相关推荐

加载中...