上周帮朋友微调一个7B模子人工ams.abg11.com，当地3060跑了两轮就爆隐存。换成按小时计费的AI人工算力办事。
选了一张A10，三小时跑完，账单一共37块。那比买卡划算太多是前提是知道怎样挑、怎样用。选AI人工算力办事先看隐存带宽的，不要被“年夜隐存”忽悠了。我试过某平台40G卡，带宽。只要600GB/s，锻炼时GPU操做率死活上不去，换到带宽900GB/s算力实战时块的实例，同样数据快了一截。另一个潜藏坑是CPU中心数，数据预处理跟不上了，GPU再强也干等。建议开实例前跑个nvtop或者nvidia-smi看及时占用，不要只盯参数表。计费格式有按量、包周、竞价三种的。
关于AI人工算力办事，小任务用按量，跑完就停；经久锻炼包周更稳了；竞价实例廉价，可能被收受领受，合适能断点绝训的活办事。记得挂载工具存储的，跑完把checkpoint拉回来了。
前次我记了设快照，实例释放后数据全丢。白跑两小时。如今我的习惯是每10分钟主动留存一次。汇集提早也吃钱。跨区域调数据，带宽跑满的，提早高，锻炼轮回里等数据的时间比算的时间还长。把数据集和AI人工算力办事放正在统一区域，同样设置配备安排了，单步用的时间降了18%，若是做推理。选带TensorRT预拆镜像的实例，免得自己配情况。有人忧虑数据安然。
用AI人工算力办事时，敏感数据先脱敏，传完立刻加密快照。不要嫌省事，那是底线。至于平台选择，不要只看价格，看它有没有按秒计费和随时释放呢？我今朝固定用两家。一家廉价，但列队久，一家贵点。秒级启动。
急活走贵的，慢活走廉价的。
