⚠️ DRAFT — 事实问题未解决,见下方 issues
MacStories 的 Federico Viticci 最近发了篇评测,标题直接叫 The Dream Mac for Local AI Agents。文章上周六冲上 Hacker News 首页,82 分、39 条评论。
这不是常规硬件评测。Viticci 这几年一直在追踪 macOS + Apple Silicon 的实际生产力场景,他这次是从 Agent 实际运行出发测的——不是剪视频、不是跑 Xcode,是看你本地跑 LLM + 工具调用时,M5 Ultra 到底能不能扛得住。
为什么评测盯上 Mac Studio
M5 Ultra 在 Mac Studio 上的定位,和它在新闻稿里被宣传的角度完全不同。Apple 自己讲的是「创意工作者」「视频剪辑」「音乐制作」——这些是传统消费市场。
但 HN 上讨论的画风明显不是这些。用户关心的是:
- 70B 模型到底能不能本地跑
- 多步 Agent 工具调用延迟累积到什么程度
- 内存够不够塞下整个上下文窗口
- 断网情况下能不能完整跑完一个工作流
为什么是 Mac Studio 而不是 Mac Pro?Mac Pro 现在用的是 Intel Xeon + AMD 显卡组合,Apple Silicon 优势一个都吃不到。Mac Studio 是 Apple Silicon 在桌面端能拿到的最强配置。
Viticci 那篇评测戳中的痛点很简单:云端 API 不是免费的,数据还要过一道,这两点在小团队和个人开发者那里尤其敏感。
统一内存架构才是真正的卖点
M5 Ultra 的 192GB 统一内存配置不是为剪辑视频准备的——剪辑用不到这么大的内存池,就算 8K RAW 也就几十 G 的峰值。
真正吃这个配置的是 LLM 推理。
云端 GPU 动辄 80GB 显存起,A100、H100 都是这个量级。消费级设备想跑 70B 模型(FP16 大约 140GB,INT4 量化后大约 40GB),传统「CPU + 独立显卡」架构根本无解——显存和内存之间要过 PCIe,带宽几十 GB/s,瓶颈明显。
Apple Silicon 的统一内存架构直接把这个问题绕过去了。CPU、GPU、Neural Engine 共享同一块内存池,带宽动辄几百 GB/s(M5 Ultra 公开规格里内存带宽是 819 GB/s)。
这意味着:
- 192GB 内存里,GPU 可以拿到接近 192GB 当显存用
- 70B 模型 INT4 量化后能完整塞进去
- CPU 和 GPU 之间不需要数据拷贝
听起来很美,但统一内存不等于万能。MLX 框架虽然已经成熟,llama.cpp 也支持 Metal 后端,但 Apple Silicon 的 GPU 计算吞吐和 NVIDIA H100 比,还是有数量级的差距。这个后面会算。
本地 Agent 跑起来,慢在哪?
Agent 体验好不好,看三个数:
- 推理速度(tokens/s)——生成速度
- 首 token 延迟(TTFT,Time To First Token)——决定响应感
- 多步工具调用的累积耗时——Agent 跑 10 步比单步慢多少
第三点最关键。Agent 不是单次问答,是「LLM 思考 → 调工具 → 拿结果 → 再思考」的循环。每一步的延迟会累积。
社区 benchmark 里的参考数字(Mac Studio M2 Ultra,MLX 后端,llama.cpp 量化版):
- Llama 3 70B Q4 量化:约 8-12 tokens/s
- Mistral Large Q4:约 6-10 tokens/s
- 首 token 延迟:300-800ms
M5 Ultra 比 M2 Ultra 大约快 30-50%(CPU/GPU 核心数和内存带宽都升级了),乐观估计 70B Q4 能跑到 15-18 tokens/s。
这个速度能跑,但不是流畅。对话式交互勉强可接受,如果是 Agent 跑一串工具调用(比如先搜索、再读文件、再调 API、再总结),整个工作流跑完可能比云端慢 5-10 倍。
NVIDIA H100 跑同样模型,Q4 量化能到 80-150 tokens/s,差一个数量级。3090/4090 这种消费级 NVIDIA 卡,凭借 24GB 显存跑量化 70B + CUDA 生态成熟度,体验也比 Apple Silicon 顺滑得多——但你得有 Linux 和折腾能力。
# 用 MLX 跑本地 Llama 3 的最小示例(Mac Studio 上)
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3-70B-Instruct-4bit")
response = generate(
model,
tokenizer,
prompt="用三句话解释什么是 Agent",
max_tokens=200,
temp=0.7
)
print(response)
这是 MLX 官方仓库的示例代码,在 192GB 统一内存的 M5 Ultra 上能直接跑(70B 4bit 量化大约 40GB)。
去云化的真实成本账
满配 M5 Ultra Mac Studio(192GB 内存)的官方价格大约 8000 美元 左右(美国官网含税前)。
按云端 API 算账:
- GPT-4o:输入 $2.50/M tokens,输出 $10/M tokens
- Claude Sonnet 4.5:输入 $3/M tokens,输出 $15/M tokens
- DeepSeek V3:输入 $0.27/M tokens(缓存命中),输出 $1.10/M tokens
一个典型的 Agent 工作流(比如让 Claude 帮我读 5 个文件、查 3 个 API、生成总结报告),单次消耗大约:
- 输入 50K tokens(读文件 + 工具结果)
- 输出 5K tokens(总结 + 工具调用决策)
按 Claude Sonnet 4.5 价格算:
输入:50K × $3/M = $0.15
输出:5K × $15/M = $0.075
单次成本 ≈ $0.225
如果每天跑 50 次这样的工作流:
月成本 = 50 × 30 × $0.225 ≈ $337
一年 ≈ $4,050。
不到满配 Mac Studio 的一半,而且不用写 MLX 兼容代码、不用等本地推理、不用被内存不够的问题折磨。
如果你跑的是 DeepSeek V3(API 价格便宜 10 倍以上),一年云端成本不到 $500。本地化的回本周期在这个使用强度下大约是 2 年,而且前提是你完全不用云端——实际上没人能完全脱云,因为:
- 本地跑不动超大上下文(200K+ tokens)
- 本地模型在复杂推理上还是落后 GPT-5、Claude 4.5 一个身位
- 多模态(看图、读 PDF)本地模型支持差很多
我的判断
这事和过去所有「本地 vs 云端」的计算节点都很像。
M5 Ultra Mac Studio 不是终局,是过渡。它的真正价值不在于「替代云端」,而在于:**
- 隐私敏感场景(医疗、法律、内部代码)可以本地跑
- 低延迟小模型(7B-13B)的特定任务完全够用
- 离线 / 断网环境下的兜底方案
- 开发者调试本地模型行为的实验台
反过来看,云端 API 仍然是主战场。一个能跑 70B 本地模型的 8000 美元设备,跑出来的质量比 Claude Sonnet 4.5 差一截,速度慢几倍,上下文窗口小一半。
Viticci 那篇评测最聪明的地方是标题——The Dream Mac for Local AI Agents——他没有说「取代云端」,他说的是「dream for local」。这个措辞很诚实。
我的预测:Apple 接下来两年会继续推统一内存上限。192GB 不是终点,Mac Pro 用 M5 Ultra 之后应该能看到 256GB 甚至 512GB 配置。当本地能跑 400B+ 模型且带宽不再是大瓶颈时,讨论天平才会真的开始移动。
在那之前,本地 + 云端混合架构才是务实方案:本地跑快速、便宜、小模型的子任务,云端跑重推理、超长上下文、多模态。M5 Ultra Mac Studio 是这套混合架构里很贵但很顺手的一块拼图,不是独立答案。
参考来源:
- MacStories 原文: The Dream Mac for Local AI Agents
- HN 讨论: item?id=49787313
- MLX 框架: github.com/ml-explore/mlx