把模型权重刻进芯片，AMD赌的是模型不再“月更”？
作者：小饼原标题：AMD 收购 Taalas：推理芯片开始把模型权重刻进硅片8月 6 日，AMD 宣布收购多伦多芯片公司 Taalas，交易价格未披露。这家成立于 2023 年、累计融资 2.19 亿美元的初创公司，做了一件听起来有点疯狂的事：把 AI 模型的权重直接烧进芯片的金属层，造出只能跑一个模型的专用芯片。GPU 的工作方式是把模型参数存在高带宽显存（HBM）里，推理时反复搬运数据进出计算单元。这个"搬运"过程消耗了大量能耗和时间，被业界称为"内存墙"。Taalas 的做法是彻底取消搬运，把权重固化在芯片的晶体管里，存储和计算合为一体。代价是这颗芯片只能跑一个模型，收益是速度和能效的数量级跃升。17000 token/秒意味着什么？Taalas 的技术验证芯片 HC1 基于台积电 6nm 工艺，815 平方毫米芯面，530 亿晶体管，它内置的模型是 Meta的 Llama 3.1 8B。HC1 的跑分数据：单用户约 17000 token/秒。作为对比，Nvidia H200 在同一模型上约 230 token/秒，H100约 150 token/秒。73 倍的速度差距，功耗只有后者的十分之一。更直观的经济账：Taalas 自报的推理成本约为每百万 Token 0.75 美分（Llama 8B），GPU 方案在 20到 49 美分之间。每张 HC1 卡功耗 250W，一个标准风冷机架装 10 张卡只需要 12-15 KW，不需要液冷，而 GPU 机架动辄 120-600 KW。Forbes 分析师 Karl Freund 在2 月评测时的评价是：“比最快的推理平台（Cerebras 晶圆级引擎）还快 10 倍，比 GPU 快两个数量级。”但有几个重要的限定条件。HC1 使用的是 Taalas 自研的 3-bit 数据格式配合 6-bit 参数，量化非常激烈，在复杂推理任务上的质量损失是确定性存在的。17000 token/秒的数据来自 1K 输入/1K 输出的厂商基准测试，不代表生产环境的真实表现。而且 Llama 3.1 8B 是2024 年中发布的模型，8B 参数量的量化版本甚至能在树莓派 5 上跑。HC1 展示的是架构的潜力，而非成熟产品的竞争力。模型换代怎么办？把模型烧进芯片，最直觉的问题是：模型迭代了怎么办？芯片就废了？Taalas 的回答是：不会废。传统 ASIC 设计周期要两年以上。Taalas 开发了一套自动化设计流程，只需要修改芯片顶层的少量金属掩膜，就可以把新模型编译成新芯片，周期约 8 周。公司在成本模型中预设了 4 年生命周期内 3 次芯片更新的费用。这个回答能解决一部分焦虑，但不能完全消除。GPU 的灵活性在于同一块卡今天跑 Llama，明天跑 Claude，后天跑一个还没发布的新模型。Taalas 的芯片做不到这一点。如果一个客户同时需要多个模型服务（这在生产环境中极为常见），就需要为每个模型配备不同的芯片，库存管理和运维复杂度会上升。HC2 已经在开发中，目标是约 200 亿参数量级的模型，采用 4-bit 浮点提升精度。Taalas 原计划 2026 年底前实现前沿级模型的支持。AMD 的收购让这条路径有了 Instinct GPU 产品线和 Helios 机架系统的协同，客户可以用 GPU 处理灵活多变的工作负载，用 Taalas 芯片处理稳定高频的单模型推理。推理芯片的军备竞赛AMD 收购 Taalas，放在行业背景下看，是过去 8 个月推理芯片收购潮的最新一笔。...