跳到主要内容
无害加速无害加速

Spyre 扩大 PyTorch 推理接入

这次进展

IBM 10 月 26 日介绍 Spyre 的软件接入进展:通过 torch-spyre 编译后端、vLLM 插件和持续回归测试,让更多既有模型继续使用熟悉的 PyTorch 工作流。

事实拆解

将模型图接入不同芯片

torch-spyre 将普通 PyTorch 代码编译为面向 Spyre 的执行计划,vLLM 再通过硬件插件接入这条后端路径。该路径面向 Z、LinuxONE 与 Power 系统上的推理工作负载。

复用就绪的执行程序

PyTorch 10 月 8 日的技术说明介绍了原生设备接口与执行队列:程序准备后可复用,减少每次调用重建运行时图的额外工作。10 月 26 日的文章将这条已有路径与后续生态更新一并梳理。

用真实模型检验兼容性

IBM 表示,硬件无关层已通过 Spyre 插件验证 Gemma 4、Qwen3 和 Granite 4.2 等模型执行路径。端到端测试会将模型输出与可靠的 CPU 或 GPU 参考结果对比,以排查框架更新引入的兼容性回归。

H/ACC 洞察

降低新硬件的软件适配负担

H/ACC 编辑解读:新硬件的使用门槛往往在于软件适配。让模型编译、推理服务与回归测试沿用共同接口,可以把适配工作集中在后端,减轻应用团队反复重写模型与服务的负担。

这条路径能否扩大应用,取决于每次框架或模型更新后能否继续复现正确性与性能。公开可运行的模型、输入尺寸和版本组合,才能让新硬件更容易从试验走向可维护的部署。

判断边界

  • 这是已有后端、插件与测试工作的整合更新,不代表全部能力在 10 月 26 日首次发布;相关 PyTorch 技术说明发表于 10 月 8 日。
  • 具备原生设备接口不代表所有算子、动态尺寸、分析工具、分布式通信或 CUDA 扩展均已兼容,具体模型仍需按版本和输入条件逐一验证。
  • 特定模型的同栈优化结果,以及 H100 上通用软件层的开销比较,都不是 Spyre 与 GPU 的跨硬件性能结论。

接下来观察AI 辅助分析

  1. 哪些模型、算子、输入尺寸和精度组合已通过端到端测试,未支持路径会报错失败还是回退?
  2. 升级 PyTorch 或 vLLM 后,数值误差、首次编译时间与推理吞吐会怎样变化,能否复现同一组回归结果?

原始材料

本篇使用的报道和研究材料。

  1. PyTorch opens the AI ecosystem to a new class of acceleratorsIBM Research · 材料发布 2026-10-26
  2. Building Spyre as a Native PyTorch DevicePyTorch · 材料发布 2026-10-08

持续追踪

返回信息流