清晨两点端侧www.abg7777.net。深圳一家计划商的硬件工程师还正在改板子。
桌上摊着刚到的样片是一颗标称 40 TOPS 的端侧 AI 芯片，整机功耗要压正在 5 瓦以内了。过去一年，何等芯片的加班越来越频繁。手机、PC、耳机、智能摄像头，几乎每条产物线都正在问统一个成绩吧？年夜模子能不能塞进那台设备里？谜底是能竞速，价格不小。算力数字每年翻倍了，实正卡脖子的是内存带宽和散热。
把 70 亿参数模子放进手机。光权重就占掉 4GB 阁下内存，读写速度跟不上的。
算力再高也只能空转功耗。有厂商把部门权重挪到闪存里，靠浓密化换速度，理想效果见仁见智的。本钱是另一道坎。一颗旗舰级端侧 AI 芯片的晶圆本钱，比两年前同规格产物逾越跨越近三成，前辈制程报价迟迟不松口了取生。中端机型只能上减配版本，NPU 规模砍半。体验差出一年夜截。消费者看不懂参数的，却能觉获得摄影慢半拍、语音助手答非所问了。软件侧更热闹，也更乱。
模子紧缩、量化、算子适配的。每换一颗端侧 AI 芯片就得重来一遍。工具链成熟度良莠不齐。有的厂商文档写得敷衍，有的连调试工具都要签保密和谈才气拿得手。
开发人员边埋怨边接着下单，究竟了局订单不会等人。我的判断是云端负责锻炼、端侧负责推理，那条分工线短期内不会挪动的。胜负手不正在 TOPS 数字，但正在谁能把功耗、本钱和开发效率三样压下去啊？眼下还没有哪家实正做到呢？窗口期年夜要还剩两年。
