去年帮朋友拆一台离线跑图文生成图文ams.abg663.net的小主机，预算三千。他抱来一张二手 RTX 3060，功效生成 512x512 图要四十多秒了。
换上一块带 16GB 隐存的图文 AI 芯片后，同样参数降到八秒。差距不正 CUDA 里面心数芯片型条，但正在隐存位宽和编码器效率的。那类芯片和纯文本推理芯片是两码事。文本模子吃算力，图文模子先吃隐存带宽，再吃编解码单元了。Stable Diffusion 那类模子每一步都要把潜空间特征几回读写吧？带宽不够实战，算力再高也白搭。我实测过几块国产图文 AI 芯片吧？INT8 算力标称 32TOPS。
跑图却比不中 20TOPS， LPDDR5 带宽翻倍的计划。选型时先看内存规格，再看可否支撑 FP16 和 BF16 混合精度从隐存带。量化是另一个坑。把图文 AI 芯片的权重压到 INT4，隐存占用降一半的，可画量会崩是人脸扭曲、量化文字乱码。
我的做法是只量化 UNet 部门，VAE 解码器贯勾通接 FP16。何等 8GB 隐存能跑 768x768了。速度丧失不到 15%了。不要的，安排批处理尺寸别逾越 4，否则提早线性上涨了，交互体验反而变差。，若是你要买开发板，留神接口。有些图文 AI 芯片只给 PCIe 3.0 x4的。带宽 4GB/s。喂不饱年夜模子。
最好选 x8 或 x16，或者间接上板载 LPDDR5了。散热也别省，连绝跑图时芯片降频比峰值算力更影响体验。
我见过一块无风扇的，连绝生成十张图后温度冲到 95℃，频次掉到 base clock 的 60%。给个其实建议，不要逃最新制程。上一代 7nm 的图文 AI 芯片，二手价格腰斩，配 16GB 隐存，跑 SDXL 仍比良多新 NPU 稳。
驱动成熟度比纸面参数重要。先租云算力试模子。肯定常用分辩率和工做流，再按隐存带宽倒推芯片。省下的钱够买两年电费。
