原文整理页

Andrej Karpathy 展示了在两台 M3 Ultra Mac Studio 上本地运行 Kimi K2.5 模型,推理速度达到 24 tok/sec

来源作者:Andrej Karpathy (@karpathy)原始来源:https://x.com/karpathy/status/2016563486982324403

中文导读

Andrej Karpathy 展示了在两台 M3 Ultra Mac Studio 上本地运行 Kimi K2.5 模型,推理速度达到 24 tok/sec。

正文 Markdown

Running Kimi K2.5 on my desk. Runs at 24 tok/sec with 2 x 512GB M3 Ultra Mac Studios connected with Thunderbolt 5 (RDMA) using @exolabs / MLX backend. Yes, it can run clawdbot.