产品

M5 Ultra Mac Studio 实测:本地跑 AI Agent,真的能替代云端 API 吗?

HN 上 MacStories 把 M5 Ultra Mac Studio 称为「本地 AI Agent 的理想 Mac」。统一内存架构听起来很美,但实际跑 Agent 工作流,体验到底怎么样?

字号

⚠️ DRAFT — 事实问题未解决,见下方 issues

MacStories 的 Federico Viticci 最近发了篇评测,标题直接叫 The Dream Mac for Local AI Agents。文章上周六冲上 Hacker News 首页,82 分、39 条评论。

这不是常规硬件评测。Viticci 这几年一直在追踪 macOS + Apple Silicon 的实际生产力场景,他这次是从 Agent 实际运行出发测的——不是剪视频、不是跑 Xcode,是看你本地跑 LLM + 工具调用时,M5 Ultra 到底能不能扛得住。

为什么评测盯上 Mac Studio

M5 Ultra 在 Mac Studio 上的定位,和它在新闻稿里被宣传的角度完全不同。Apple 自己讲的是「创意工作者」「视频剪辑」「音乐制作」——这些是传统消费市场。

但 HN 上讨论的画风明显不是这些。用户关心的是:

  • 70B 模型到底能不能本地跑
  • 多步 Agent 工具调用延迟累积到什么程度
  • 内存够不够塞下整个上下文窗口
  • 断网情况下能不能完整跑完一个工作流

为什么是 Mac Studio 而不是 Mac Pro?Mac Pro 现在用的是 Intel Xeon + AMD 显卡组合,Apple Silicon 优势一个都吃不到。Mac Studio 是 Apple Silicon 在桌面端能拿到的最强配置。

Viticci 那篇评测戳中的痛点很简单:云端 API 不是免费的,数据还要过一道,这两点在小团队和个人开发者那里尤其敏感。

统一内存架构才是真正的卖点

M5 Ultra 的 192GB 统一内存配置不是为剪辑视频准备的——剪辑用不到这么大的内存池,就算 8K RAW 也就几十 G 的峰值。

真正吃这个配置的是 LLM 推理。

云端 GPU 动辄 80GB 显存起,A100、H100 都是这个量级。消费级设备想跑 70B 模型(FP16 大约 140GB,INT4 量化后大约 40GB),传统「CPU + 独立显卡」架构根本无解——显存和内存之间要过 PCIe,带宽几十 GB/s,瓶颈明显。

Apple Silicon 的统一内存架构直接把这个问题绕过去了。CPU、GPU、Neural Engine 共享同一块内存池,带宽动辄几百 GB/s(M5 Ultra 公开规格里内存带宽是 819 GB/s)。

这意味着:

  • 192GB 内存里,GPU 可以拿到接近 192GB 当显存用
  • 70B 模型 INT4 量化后能完整塞进去
  • CPU 和 GPU 之间不需要数据拷贝

听起来很美,但统一内存不等于万能。MLX 框架虽然已经成熟,llama.cpp 也支持 Metal 后端,但 Apple Silicon 的 GPU 计算吞吐和 NVIDIA H100 比,还是有数量级的差距。这个后面会算。

本地 Agent 跑起来,慢在哪?

Agent 体验好不好,看三个数:

  1. 推理速度(tokens/s)——生成速度
  2. 首 token 延迟(TTFT,Time To First Token)——决定响应感
  3. 多步工具调用的累积耗时——Agent 跑 10 步比单步慢多少

第三点最关键。Agent 不是单次问答,是「LLM 思考 → 调工具 → 拿结果 → 再思考」的循环。每一步的延迟会累积。

社区 benchmark 里的参考数字(Mac Studio M2 Ultra,MLX 后端,llama.cpp 量化版):

  • Llama 3 70B Q4 量化:约 8-12 tokens/s
  • Mistral Large Q4:约 6-10 tokens/s
  • 首 token 延迟:300-800ms

M5 Ultra 比 M2 Ultra 大约快 30-50%(CPU/GPU 核心数和内存带宽都升级了),乐观估计 70B Q4 能跑到 15-18 tokens/s。

这个速度能跑,但不是流畅。对话式交互勉强可接受,如果是 Agent 跑一串工具调用(比如先搜索、再读文件、再调 API、再总结),整个工作流跑完可能比云端慢 5-10 倍。

NVIDIA H100 跑同样模型,Q4 量化能到 80-150 tokens/s,差一个数量级。3090/4090 这种消费级 NVIDIA 卡,凭借 24GB 显存跑量化 70B + CUDA 生态成熟度,体验也比 Apple Silicon 顺滑得多——但你得有 Linux 和折腾能力。

# 用 MLX 跑本地 Llama 3 的最小示例(Mac Studio 上)
from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Meta-Llama-3-70B-Instruct-4bit")

response = generate(
    model,
    tokenizer,
    prompt="用三句话解释什么是 Agent",
    max_tokens=200,
    temp=0.7
)
print(response)

这是 MLX 官方仓库的示例代码,在 192GB 统一内存的 M5 Ultra 上能直接跑(70B 4bit 量化大约 40GB)。

去云化的真实成本账

满配 M5 Ultra Mac Studio(192GB 内存)的官方价格大约 8000 美元 左右(美国官网含税前)。

按云端 API 算账:

  • GPT-4o:输入 $2.50/M tokens,输出 $10/M tokens
  • Claude Sonnet 4.5:输入 $3/M tokens,输出 $15/M tokens
  • DeepSeek V3:输入 $0.27/M tokens(缓存命中),输出 $1.10/M tokens

一个典型的 Agent 工作流(比如让 Claude 帮我读 5 个文件、查 3 个 API、生成总结报告),单次消耗大约:

  • 输入 50K tokens(读文件 + 工具结果)
  • 输出 5K tokens(总结 + 工具调用决策)

按 Claude Sonnet 4.5 价格算:

输入:50K × $3/M = $0.15
输出:5K × $15/M = $0.075
单次成本 ≈ $0.225

如果每天跑 50 次这样的工作流:

月成本 = 50 × 30 × $0.225 ≈ $337

一年 ≈ $4,050。

不到满配 Mac Studio 的一半,而且不用写 MLX 兼容代码、不用等本地推理、不用被内存不够的问题折磨。

如果你跑的是 DeepSeek V3(API 价格便宜 10 倍以上),一年云端成本不到 $500。本地化的回本周期在这个使用强度下大约是 2 年,而且前提是你完全不用云端——实际上没人能完全脱云,因为:

  • 本地跑不动超大上下文(200K+ tokens)
  • 本地模型在复杂推理上还是落后 GPT-5、Claude 4.5 一个身位
  • 多模态(看图、读 PDF)本地模型支持差很多

我的判断

这事和过去所有「本地 vs 云端」的计算节点都很像。

M5 Ultra Mac Studio 不是终局,是过渡。它的真正价值不在于「替代云端」,而在于:**

  1. 隐私敏感场景(医疗、法律、内部代码)可以本地跑
  2. 低延迟小模型(7B-13B)的特定任务完全够用
  3. 离线 / 断网环境下的兜底方案
  4. 开发者调试本地模型行为的实验台

反过来看,云端 API 仍然是主战场。一个能跑 70B 本地模型的 8000 美元设备,跑出来的质量比 Claude Sonnet 4.5 差一截,速度慢几倍,上下文窗口小一半。

Viticci 那篇评测最聪明的地方是标题——The Dream Mac for Local AI Agents——他没有说「取代云端」,他说的是「dream for local」。这个措辞很诚实。

我的预测:Apple 接下来两年会继续推统一内存上限。192GB 不是终点,Mac Pro 用 M5 Ultra 之后应该能看到 256GB 甚至 512GB 配置。当本地能跑 400B+ 模型且带宽不再是大瓶颈时,讨论天平才会真的开始移动。

在那之前,本地 + 云端混合架构才是务实方案:本地跑快速、便宜、小模型的子任务,云端跑重推理、超长上下文、多模态。M5 Ultra Mac Studio 是这套混合架构里很贵但很顺手的一块拼图,不是独立答案。

参考来源:

来源: https://www.macstories.net/stories/m5-ultra-mac-studio-review-the-dream-mac-for-local-ai-agents/