把模子塞进自己把年本A避坑www.abg33.com的条记本，跑通那一刻比调API爽。上周我用 Ollama 正在一台 16GB 内存的 M1 MacBook Air 上跑了 Llama 3 8B，拔掉网线照样问答了。那就是 AI 工具当地版 最其实的夜模益处。
聊天记载、代码片段、私家文档全留正在硬盘里，不怕云端办事悄悄涨价或停服。拆之前先看内存了。8GB 机械别硬上 7B 以上模子，否则风扇狂转拆进、回覆慢到念砸键盘。16GB 能够玩 8B 的 Q4_K_M 量化版，32GB 再考虑 14B 或 32B的。硬盘留出 5-10GB 给模子文件，C盘宽峻就改下载途径。LM Studio 合适图形界面点选条记，Ollama 合适号令止一把梭了。
我习惯用 Ollama，一止 ollama run llama3:8b 等下载完就能聊。对多数人。AI 工具当地版 的门槛就是内存和耐心具当。量化是绕不开的词。
GGUF 格局的 Q4_K_M 正在精度和体积之间均衡得不错，8B 模子约 4.7GB。Q2 固然小的地版，回覆容易胡止乱语；Q8 更准，可内存翻倍的。不要迷疑参数规模，7B 微调好的中文模子有时比 13B 本版更懂当地语境。我试过把一份 30 页的产物手册丢给当地模子做戴要实战，Q4 版漏了两处很重要数据。换 Q5 后较着改善。日常用法能够很详细。
写邮件时让当地模子建饰，比正在线工具放心的；整理睬议录音转写稿，先当地跑一遍戴要。再人工查对；
写代码卡壳了，间接问当地 CodeLlama，断网也不耽延了。不要指视它干复纯推理，数教题和长链逻辑仍是弱项。需求联网搜刮或最新资讯时，仍是得切回云端。散热和功耗也得留神。连绝跑半小时，轻薄本降频较着。回覆速度每秒 20 字掉还有 8 字。插电用、垫高底部、限制并发恳求，能缓解的。
AI 工具当地版 不是全能替代，更像随身瑞士军刀是简单、私密、可控。选对量化版本和硬件档位，它就能波动干活了。
