✅ 核心步骤

• ‌oMLX 仅支持 macOS + Apple Silicon（M1/M2/M3/M4/M5）‌，不支持 Windows 或 NVIDIA 显卡 ‌。
• oMLX 启动后默认提供以下 API 接口：
  • OpenAI 兼容：http://localhost:8000/v1
  • Anthropic 兼容：http://localhost:8000

🛠️ 在 VS Code 中配置 oMLX 的方法

一：使用 ‌Continue 插件‌（推荐）

1. ‌安装 Continue 插件‌
   • 打开 VS Code → 扩展市场 → 搜索 Continue → 安装 ‌。
2. ‌配置本地模型‌
   • 打开 VS Code 设置（Cmd+,）→ 搜索 Continue。
   • 在 Continue: Models 中添加如下配置：
   • 重启 VS Code 或重新加载 Continue。

models:
  - name: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit
    provider: openai #一定要设置成openai
    model: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit #这里改成本地使用的模型
    apiKey: omlx #这里改成本地omlx设置的apikey
    apiBase: http://localhost:8000/v1 #这里改成OMLX中API 端点OpenAI API的地址即可
    roles:
      - chat
      - edit
      - apply

models:
  - name: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit
    provider: openai #一定要设置成openai
    model: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit #这里改成本地使用的模型
    apiKey: omlx #这里改成本地omlx设置的apikey
    apiBase: http://localhost:8000/v1 #这里改成OMLX中API 端点OpenAI API的地址即可
    roles:
      - chat
      - edit
      - apply

1. 启动 oMLX 服务‌
   • 确保 oMLX 已在终端或菜单栏中运行，并已加载目标模型 ‌。
2. ‌使用‌
   • 在 VS Code 编辑器中右键 → 选择 Continue: Chat、Agent 或按快捷键（默认 Cmd+I）即可调用本地模型。

✅ 优势：完全离线、代码不上传云端、支持工具调用与结构化输出 ‌。

本地使用截图，能用，够用(M2 16G+512G的macbook pro，请忽略token生成的速度)：

集成 Claude Code / Codex/OpenCode/OpenClaw

oMLX 提供一键配置生成器，简化了与主流开发工具的集成：

1. 打开 Web 管理面板 (http://localhost:8000/admin)
2. 选择要使用的模型
3. 点击 “Integrations” 选项卡
4. 一键复制配置命令
5. 打开命令行，cd进入需要处理的项目文件夹，对应的命令 回车就可以啦，如codex和claude code的启动命令

'/Applications/oMLX.app/Contents/MacOS/omlx-cli' launch codex --model 'MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' --api-key 'omlx'

'/Applications/oMLX.app/Contents/MacOS/omlx-cli' launch codex --model 'MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' --api-key 'omlx'

ANTHROPIC_BASE_URL='http://127.0.0.1:8000' ANTHROPIC_AUTH_TOKEN='omlx' ANTHROPIC_DEFAULT_OPUS_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_SONNET_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_HAIKU_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' API_TIMEOUT_MS=3000000 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1 claude

ANTHROPIC_BASE_URL='http://127.0.0.1:8000' ANTHROPIC_AUTH_TOKEN='omlx' ANTHROPIC_DEFAULT_OPUS_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_SONNET_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_HAIKU_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' API_TIMEOUT_MS=3000000 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1 claude

The post VSCode ,codex,claude code使用 ‌oMLX‌ 本地模型 appeared first on 原立方.

2025 至 2026 年间，AI 编程工具从 IDE 插件（以 Cursor 为代表）大举走向终端（即 “Vibe Coding”）。Anthropic 的 Claude Code、OpenAI 的 Codex CLI、Google 的 Gemini CLI 三款主流命令行工具相继成熟，它们以交互式终端为基本界面，支持读取本地文件、编辑代码、执行 Shell 命令，让开发者在终端内完成从原型到部署的完整编码流程。与此同时，Cursor 于 2026 年 1 月推出 CLI 功能，GitHub Copilot CLI 于 2026 年 2 月正式 GA，终端 AI 编码的战场已经全面铺开。

以上信息综合整理自各工具官方文档与公开资料。

二、综合对比总表

下表从核心维度对五款工具进行全景对比：

主要数据来源：Morphllm 2026 年综合评测、各工具官方文档、JEECG 低代码 2026 年 4 月横评

三、核心能力：谁的编程能力最强？

3.1 SWE-bench Verified 基准跑分

SWE-bench Verified 是目前最权威的编码 Agent 评测标准，任务是自动修复真实的 GitHub Issue。各工具排名如下：

3.2 真实项目实测

Particula Tech 团队用一个完整的 Express.js 项目重构作为测试任务，结果如下：

• Claude Code：完成时间 1 小时 17 分钟，一次通过 ✓
• Codex CLI：完成时间 1 小时 41 分钟，一次通过 ✓
• Gemini CLI：完成时间 2 小时 04 分钟，一次通过 ✓

3.3 各维度能力细项对比

以下表格展示了五款工具在不同开发维度上的能力分布：

从中可以解读出：Claude Code 在自主规划、复杂多文件操作上遥遥领先，Cursor 在交互式实时编码体验上无人能敌，Gemini CLI 免费提供最大的上下文窗口和搜索能力，Codex CLI 在性能和安全性之间取得了出色平衡，Copilot CLI 则在 GitHub 生态深度和低价方面独树一帜。

四、生态与扩展功能对比

4.1 MCP 服务器支持

五款工具全部支持 MCP（Model Context Protocol），这是 2026 年 AI 编码工具的重要基础设施。MCP 允许 Agent 连接到数据库、API、浏览器等外部工具和服务。

各工具 MCP 扩展亮点：

• Claude Code：支持 STDIO 和流式 HTTP 服务器，通过 claude mcp add 命令管理
• Gemini CLI：支持通过 hooks 机制在 Agent 生命周期的特定节点调用 MCP 服务
• Copilot CLI：可自定义 Agent 使用 MCP 服务器，实现 Work IQ 等高级功能

4.2 Skill.md 标准

SKILL.md 标准是 2026 年出现的重要标准化成果，实现了跨工具技能互通，让开发者能灵活组合使用不同工具以优化工作流。五款工具均已支持此标准，这意味着你可以在 Claude Code 中编写的技能文件，同样可以在 Codex CLI 或 Gemini CLI 中使用，大大降低了工具切换成本。

4.3 价格体系与总拥有成本

五款工具的价格体系反映了各自面向的目标用户群体不同。

（1）按价定价之外，还要关注上限

Copilot 超额使用费为每次高级请求 $0.04，包括 Chat、CLI、Agent 模式、代码审核和 Spark 功能。Claude Code 是唯一完全没有免费层的工具，Gemini CLI 则是性价比最高的选择。

（2）隐藏的成本考量

• Token 膨胀：虽然 Claude Code 定价最高，但独立测试显示它在完成相同任务时的 Token 消耗远低于 Cursor（约 33K vs 188K），这让高阶用户的实际成本可能更低
• Codex 沙箱：OpenAI 的 Codex CLI 提供免费的本地执行和云端沙箱分离，Token 优化据称可以减少 40-60% 的实际消耗
• Gemini 免费的代价：1M 上下文免费，但搜索和复杂任务可能请求消耗较快，而且只支持 Google 自家模型

4.4 工具间配合：不是“替换”而是“组合”

2026 年的调查显示，有经验的开发者平均使用 2.3 个工具同时工作。这些工具并非相互排斥——每个都有自己擅长的工作场景。具体推荐组合见下文选择建议。

五、优势与局限总结

六、选型决策指南

按开发者画像推荐

按任务场景推荐

实际工作流建议

2026 年 AI 编码调查显示，有经验的开发者平均使用 2.3 个工具。这些工具并非互斥——每个都有其擅长的工作场景。

七、2026 年关键趋势

1. 终端成为新的战场。 2026 年，所有主流 AI 编码工具都已经或即将发布 CLI 版本，终端已成为 AI Agent 的第一界面。

2. 多工具组合使用成为常态。 单靠一个工具解决所有问题的时代已经过去，开发者倾向于根据不同任务选择最佳工具，再利用 Skill.md 标准实现跨工具复用。

3. 上下文窗口竞赛白热化。 Gemini CLI 免费提供 1M 上下文，Claude Code 有 1M Beta，Codex CLI 的 Pro 版也达到 1M。更大的上下文窗口意味着更好的代码库理解能力。

4. 开源与闭源的博弈。 Gemini CLI 和 Codex CLI 选择了开源路线，Claude Code 和 Cursor 则保持闭源。开源意味着可审计、可定制，闭源则意味着更集中的资源投入。

5. 后台 Agent 执行成为标配。 从 Cursor 的 Cloud Agent 到 Copilot CLI 的 & 前缀后台委托，再到 Codex CLI 的云端沙箱执行，AI 编码正在从“人盯 AI”走向“AI 自主执行、人异步审查”的新范式。

6. 国内生态加速接入。 Claude Code 支持阿里云 Coding Plan，可调用 Qwen 系列模型。低代码平台 JEECG 等已深度集成 AI CLI 工具，形成面向国内开发者的完整工具链。

本报告综合整理自 Morphllm 2026 年评测数据、各工具官方文档与 GitHub 仓库、以及多个独立开发者社区的实际使用反馈。AI 编码工具迭代极快，建议在决策前查阅各工具最新文档。

The post 2026AI 编码工具全面对比：Codex CLI、Claude Code、Cursor、Gemini CLI、Copilot CLI appeared first on 原立方.

对于 macOS 用户而言，一款能够充分发挥 Apple Silicon 芯片潜力的本地大模型推理引擎显得尤为重要。

oMLX 正是为解决这一痛点而生的开源项目。它是一个专为 macOS 原生设计的 MLX 服务器，提供 LLM 大语言模型推理服务，具有智能缓存功能，针对编码代理的实际工作方式进行了深度优化。

🎯 oMLX 的核心价值：让 Claude Code、OpenClaw 和 Cursor 等工具能在 5 秒内响应，而非传统的 90 秒。这意味着开发效率的质的飞跃！

核心功能特性

技术架构详解

oMLX 的技术架构采用分层设计，核心组件包括：

• FastAPI Server：提供 OpenAI 和 Anthropic API 兼容接口
• EnginePool：多模型管理，支持 LRU 驱逐、TTL、手动加载/卸载
• ProcessMemoryEnforcer：总内存限制，防止 OOM
• Scheduler：FCFS 调度，可配置批处理大小
• Cache Stack：分层 KV 缓存（内存热缓存 + SSD 冷缓存）

实测性能数据

oMLX 官方基准测试收集了大量社区用户的测试数据。以下是不同 Apple Silicon 芯片的实测表现：

M4 Pro (48GB) 测试结果

安装与配置

系统要求

• 芯片：Apple Silicon (M1/M2/M3/M4/M5)
• 系统：macOS 15.0+ (Sequoia)
• 内存：最低 16GB（推荐 64GB+）
• Python：3.10+

安装方式一：macOS 应用（推荐）

方式 A：macOS 应用（推荐）

1. 从 GitHub Releases 下载 DMG 文件
2. 拖动到 Applications 文件夹
3. 首次启动时显示欢迎屏幕，引导完成以下步骤

• 设置模型目录
• 启动服务器
• 下载第一个模型

安装方式二：Homebrew

# 添加 Tap 并安装
brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

# 升级到最新版本
brew update && brew upgrade omlx

# 作为后台服务运行（崩溃自动重启）
brew services start omlx

# 可选：安装 MCP 支持
/opt/homebrew/opt/omlx/libexec/bin/pip install mcp

# 添加 Tap 并安装
brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

# 升级到最新版本
brew update && brew upgrade omlx

# 作为后台服务运行（崩溃自动重启）
brew services start omlx

# 可选：安装 MCP 支持
/opt/homebrew/opt/omlx/libexec/bin/pip install mcp

安装方式三：从源码安装

# 克隆并安装
git clone https://github.com/jundot/omlx.git
cd omlx
pip install -e .              # 仅核心功能
pip install -e ".[mcp]"       # 带 MCP 支持

# 启动服务
omlx serve --model-dir ~/models

# 克隆并安装
git clone https://github.com/jundot/omlx.git
cd omlx
pip install -e .              # 仅核心功能
pip install -e ".[mcp]"       # 带 MCP 支持

# 启动服务
omlx serve --model-dir ~/models

使用教程

启动服务器

通过命令行启动 oMLX 服务器：

# 基本启动
omlx serve --model-dir ~/models

# 启用 SSD 缓存
omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

# 设置内存限制
omlx serve --model-dir ~/models --max-process-memory 80%

# 基本启动
omlx serve --model-dir ~/models

# 启用 SSD 缓存
omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

# 设置内存限制
omlx serve --model-dir ~/models --max-process-memory 80%

💡 提示：可以复用现有的 LM Studio 模型目录，无需重新下载所有模型。

API 调用示例

Chat Completions

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "你好！"}]
  }'

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "你好！"}]
  }'

流式输出

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "写一首诗"}],
    "stream": true
  }'

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "写一首诗"}],
    "stream": true
  }'

Anthropic API

curl http://localhost:8000/v1/messages \
  -H "Content-Type: application/json" \
  -H "x-api-key: your-key" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-sonnet-4-20250514",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "解释量子计算"}]
  }'

curl http://localhost:8000/v1/messages \
  -H "Content-Type: application/json" \
  -H "x-api-key: your-key" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-sonnet-4-20250514",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "解释量子计算"}]
  }'

集成 Claude Code / Codex/OpenCode/OpenClaw

oMLX 提供一键配置生成器，简化了与主流开发工具的集成：

1. 打开 Web 管理面板 (http://localhost:8000/admin)
2. 选择要使用的模型
3. 点击 “Integrations” 选项卡
4. 一键复制配置命令
5. 粘贴到对应工具的配置文件

重要说明：推荐配置为 M 系列 Pro/Max + 64GB+ 内存，以获得最佳的使用体验。16GB 内存虽然可以运行，但可能会遇到内存不足的情况。

与传统方案对比

oMLX vs Ollama / LM Studio

oMLX 的核心竞争力在于：

• 极速响应：TTFT 从 30-90 秒缩短到 5 秒以内
• 智能缓存：SSD KV 缓存技术实现上下文复用
• 高并发：连续批处理支持 8× 并发，吞吐量提升 4.14×
• 原生体验：非 Electron 构建的系统原生应用
• 完全开源：Apache 2.0 许可证，透明可控

最大的区别就是缓存机制：

Ollama和LM Studio的KV缓存都是放在内存里的，而且一旦对话的上下文变化，比如你用Claude Code的时候，它会不断地修改上下文，加工具调用的结果，这时候整个缓存就直接失效了，下次还要重新计算一遍，这就是为什么你会等半天。

而oMLX的缓存是块级的，持久化到SSD，不管上下文怎么变，只要有相同的前缀，就能直接复用缓存，不用重新算，这就是它能把首响从90秒降到5秒的核心原因。

而且oMLX专门针对Claude Code这类AI编码工具做了优化，比如SSE keep-alive防止长请求超时，上下文缩放让小模型也能配合Claude Code用，这些都是其他工具没有的。

oMLX 不仅是一个性能强大的 LLM 推理引擎，更通过其创新的缓存机制和友好的交互设计，解决了本地部署大模型的实际痛点。如果你拥有一台 Apple Silicon Mac，并希望在本地高效、便捷地运行大模型，oMLX 无疑是一个非常值得尝试的选择。

如果你有一台Apple Silicon Mac，并且正在寻找一个高效、易用的本地LLM推理方案，oMLX值得你立即上手体验。它很可能就是那块让Mac变身私人AI数据中心的最后拼图。

快速入口：

• GitHub仓库：https://github.com/jundot/omlx
• 官方网站：https://omlx.ai/
• 直接下载DMG：https://github.com/jundot/omlx/releases

快去试试吧，然后把你的Mac菜单栏交给oMLX——相信你也会成为它的忠实用户。

The post Mac 本地跑 AI 大模型神器OMLX：专为 Apple Silicon深度优化的开源本地大语言模型（LLM）推理引擎 appeared first on 原立方.

2025 年 2 月，OpenAI 联合创始人 Andrej Karpathy 在社交媒体上分享了自己使用 AI 编程的体验，并用一个新词来描述这种状态——Vibe Coding（氛围编程）。他给出的定义是：“完全跟着感觉走，拥抱指数增长，忘掉代码本身的存在。”同年 11 月，柯林斯词典将这个词评为 2025 年度词汇。

简单来说，Vibe Coding 是一种全新的 AI 驱动编程方式：你只需要用自然语言描述需求，AI 就会生成可运行的代码；你只管看效果，不对就继续对 AI 说，直到感觉“对味”为止。开发者从“代码搬运工”转变为“解决问题工程师”，聚焦于需求表达、结果验证和迭代反馈，而非逐行编写和审查代码。

🔧 核心工具生态

Vibe Coding 的工具生态在 2026 年已相当成熟。全球 92% 的美国开发者每天使用 AI 编程工具，AI 生成的代码占全球总代码量的 41%。Vibe Coding 工具市场估值已达 47 亿美元，其中 63% 的用户为非专业开发者。

主流工具可按使用场景分为以下几类：

主流工具速览：

⚡ Vibe Coding 的争议与困境

随着 Vibe Coding 的爆发式增长，一系列问题和争议也随之而来。

App Store 的封杀潮

2026 年初，苹果开始大规模封杀 Vibe Coding 类应用。Replit、Vibecode、Rork、a0.dev 等产品先后受到波及，其中 Rork 停止了 iOS 运营，a0.dev 直接放弃了苹果平台。苹果的理由是：Vibe Coding 应用可以在审核后动态生成和执行新代码，违反了 App Store 审核指南第 2.5.2 条。

封杀的背后是应用数量的爆发式增长——美国 iOS 应用发布量同比增长 56%，审核时间从 24 小时暴增至 30 天，苹果的审核基础设施不堪重负。

安全漏洞触目惊心

安全研究公司 Escape 扫描了 5600 多个 Vibe Coding 应用，发现了超过 2000 个安全漏洞、400 多个暴露的密钥以及 175 例个人隐私数据泄露，包括医疗记录和银行账号。Veracode 的 2025 年 AI 代码安全报告显示，45% 的 AI 生成代码存在安全漏洞。

“只适合做 Demo，不适合做产品”

靠 Vibe Coding 在 72 小时内杀入 GitHub 全球贡献榜的金融背景创业者杨天润坦言：“Vibe Coding 只适合做 Demo，不适合做产品。当你只是想做一个简单的网页，它很完美；但当你要做一个复杂的商业软件时，它就可能会乱成一锅粥。”

写代码一直是开发中最不重要的一步，决定代码质量上限的是 AI 尚不具备的深层业务理解和复杂架构设计能力。

📦 必知的 GitHub 开源项目

以下是与 Vibe Coding 紧密相关的优质 GitHub 开源项目，适合不同阶段的开发者：

💎 总结

Vibe Coding 正在重塑软件开发的范式——它大幅降低了应用开发的门槛，让更多人能将创意变成现实。但它并不是银弹：目前最适合快速原型验证和个人小工具，面对复杂的商业产品仍需专业开发者的架构能力和安全知识把关。

正如 Andrej Karpathy 本人所说，Vibe Coding 最适合的是“周末的临时项目”。在 AI 真正具备深层业务理解和架构设计能力之前，人依然是编程链条中最重要的一环。善用 Vibe Coding 的关键在于：让 AI 帮你加速实现，而你负责把控方向和质量。

The post Vibe Coding：AI 时代编程范式的变革与争议 appeared first on 原立方.

如果我想反其道而行之——将多台机器的CPU、GPU和RAM资源整合起来，运行单台机器无法处理的模型呢？

如果你手头有一堆较小的设备，想要将它们的能力整合起来以发挥更大作用呢？

来认识Exo。这正是这个问题的答案。

1、什么是Exo？

Exo是由Exo Labs维护的一个开源项目。用一句话概括：它将你的所有设备连接成一个个人AI集群，让你可以运行那些永远无法装入任何单台机器的前沿模型。

核心能力一览：

• 自动设备发现——运行Exo的设备会自动在网络上找到彼此，无需手动配置。
• 拓扑感知自动并行——Exo会根据每台设备可用的RAM、CPU/GPU资源以及节点间的网络延迟，自动找出最优的模型分割方式。
• 张量并行——模型分片可在2台设备上实现高达1.8倍加速，在4台设备上实现3.2倍加速。
• Thunderbolt 5上的RDMA——在支持的硬件（M4 Pro/Max）上，这可将设备间延迟降低高达99%。
• MLX后端——使用苹果的MLX框架在Apple Silicon上进行GPU加速推理。
• OpenAI兼容API——暴露http://localhost:52415/v1接口，任何支持OpenAI的工具都可以直接与你的集群通信。
• 支持54个以上模型——从小的Llama模型到671B参数的DeepSeek变体。
• 适用于Mac、Linux，甚至树莓派。

我的配置：Mac Mini M4 + MacBook Pro M4 Max

在这个实验中，我组合了两台机器：

• Mac Mini M4——16GB统一内存，峰值使用55.1GB/64GB（86%）
• MacBook Pro M4 Max——64GB统一内存，次要分区使用9.8GB/16GB（61%）

合起来，这个集群有足够的余量来加载Qwen3-Next-80B-A3B-Thinking-4bit——一个44GB的量化模型，单台机器都无法轻松处理。该模型以稳定的每秒70到80个token（TPS）运行，首次token时间（TTFT）根据查询复杂度约为4到11秒。温度方面：Mac Mini在负载下峰值达到41到86摄氏度，MacBook Pro保持在48到53摄氏度之间。

2、安装设置

对于macOS，Exo以原生应用形式提供（DMG版本需要macOS Tahoe 26.2或更高版本）：

• 从发布页面下载EXO-latest.dmg。
• 复制到应用程序文件夹并启动。
• 在同一网络的每台其他机器上重复此操作。
• 完成——节点会自动发现彼此并显示在拓扑视图中。

就这么简单。它真的能用。

Linux和Windows设置

Linux用户需要从源代码运行。首先安装依赖：

• uv（Python依赖管理器）：

curl -LsSf https://astral.sh/uv/install.sh | sh

• Node.js 18+ 和 npm
• Rust（nightly）：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh && rustup toolchain install nightly

然后克隆并运行：

git clone https://github.com/exo-explore/exo
cd exo/dashboard && npm install && npm run build && cd ..
uv run exo

一个重要注意事项：在Linux上，Exo目前仅支持CPU。GPU支持正在积极开发中——如果你打算用NVIDIA或AMD GPU来实现这个功能，值得关注。

3、仪表板：开箱即用的集群可见性

运行后，内置的Web仪表板在http://localhost:52415提供集群的实时拓扑视图。每个节点显示当前的CPU使用率、温度、功耗和内存利用率。你可以看到哪台设备正在处理模型的哪一部分——这就是拓扑感知自动并行引擎的实际运行。

在下载之前，它会显示组合后的RAM以及可以在你的AI集群中运行的模型。

下载并运行第一个提示后，模型会根据每台机器的RAM被分层到两台机器上。

在推理过程中，你可以看到Mac Mini的CPU飙升到97%，温度达到86摄氏度，功耗82瓦，而MacBook Pro则以8-13%的负载平稳运行——Exo足够智能，会根据可用资源分配工作负载。仪表板中的THINK模式支持思维链推理，你可以在生成后展开或折叠它。

4、API：开箱即用的OpenAI替代品

Exo在http://localhost:52415/v1暴露一个完全兼容OpenAI的REST API。这意味着任何支持OpenAI SDK的工具、代理框架或应用都可以直接指向你的本地集群——无需修改代码。

使用curl的快速示例：

curl -N -X POST http://localhost:52415/v1/chat/completions 
-H 'Content-Type: application/json' 
-d '{
"model": "mlx-community/Qwen3-Next-80B-A3B-Thinking-4bit",
"messages": [
{"role": "user", "content": "What is sky blue ?"}
],
"stream": false
}'

我们将收到如下所示的JSON输出。

{"id":"887aab7d-c2e4-455d-bb7e-44d82b998bb1","object":"chat.completion","created":1773493013,"model":"mlx-community/Qwen3-Next-80B-A3B-Thinking-4bit","choices":[{"index":0,"message":{"role":"assistant","content":"nn这是一个好问题！根据上下文，"sky blue"可以有两层含义：nn### 1. **"Sky Blue"作为颜色名称** n - 这指的是一种特定的**淡青色或浅蓝色**——就像晴朗白天的天空颜色。 n - 在数字设计中，它通常定义为： n - **十六进制代码：#87CEEB** n - **RGB值：(135, 206, 235)** n - 它是艺术、时尚和设计中常用的颜色名称，用来描述让人联想到万里无云天空的柔和、平静的蓝色。nn---nn### 2. **为什么真实的天空是蓝色的（科学解释！）** n这部分更有趣——也是这种颜色被*命名为*"天蓝色"的原因！天空之所以呈现蓝色，是由于一种称为**瑞利散射**的现象： nn- **阳光=白光**：太阳发出所有颜色的光（红、橙、黄、绿、蓝、紫），它们组合成"白光"。 n- **地球大气层**：当阳光进入我们的大气层时，它会与气体分子（氮气、氧气）和微小颗粒碰撞。 n- **按尺寸散射**：较短的波长（如**蓝色和紫色**）比长波长（红色、黄色）更容易从这些分子散射。 n - 蓝光的波长约为450-495纳米——足够小，可以向各个方向散射。 n - 紫光散射得更多，但我们的眼睛对紫光不太敏感，而且太阳本身发出的紫光也较少。因此**蓝色主导**了我们看到的效果。 n- **结果**：当你抬头看天空（远离太阳）时，你看到来自四面八方的散射蓝光→天空呈现蓝色！nn#### 🌅 为什么日落是红色/橙色： n在日出/日落时，阳光穿过*更多*大气层才能到达你的眼睛。大部分蓝光..."

这就是让Exo对开发者强大的原因。你可以将它接入代理AI应用、LangChain、LlamaIndex、你自己的代理流水线，或任何OpenAI兼容的客户端。你的本地集群成为一个私有的推理端点。

5、Thunderbolt 5上的RDMA：下一个层次

如果你有配备Thunderbolt 5的M4 Pro或M4 Max硬件，Exo支持RDMA（远程直接内存访问）——这是macOS 26.2的新功能。据报道，这可将节点间延迟降低高达99%，实现通常与数据中心互连相关的性能。

我无法在当前设置中测试这一点（RDMA未启用的警告在我的截图中可见——我的机器使用WiFi而非Thunderbolt 5），但Jeff Geerling的4×M3 Ultra Mac Studio集群的基准测试显示Qwen3-235B以生产级速度运行。这就是这个工具可以达到的上限。

6、真实性能数据

以下是我在测试查询中观察到的结果：

• “天空为什么是蓝色的？”——TTFT：10,739毫秒，TPS：75.2个token/秒（每token13.3毫秒）
• “用Python写一个贪吃蛇游戏”——TTFT：4,049毫秒，TPS：69.1个token/秒
• 一般推理：整个会话保持68-75 TPS

对于一个完全在本地硬件上运行、零云成本的800亿参数思维模型来说，这些数据确实令人印象深刻。THINK模式（思维链推理）如预期增加了TTFT，但启用后模型质量明显更强。

7、Exo vs. LM Studio Link：何时使用哪个

这两个工具解决相邻但不同的问题：

• LM Studio Link——当你有一台强大的机器，想从网络上的较弱设备访问它时使用。一个主机，多个客户端。
• Exo——当你想将多台机器组合成单个虚拟GPU集群时使用。多个主机，一个模型。

如果你的目标是运行比任何单机支持的更大的模型——Exo是正确的工具。如果你的目标是方便和远程访问——LM Studio Link仍然很优秀。

8、结束语

Exo是我遇到的最实用的开源AI工具之一。入门门槛极低——尤其是在Mac上——而上限却极高。两年前，在连接到同一WiFi网络的两台笔记本电脑上分布式运行一个具备思维能力的800亿参数模型，听起来就像科幻小说。

如果你正在构建代理AI系统、运行本地实验，或者只是好奇你的硬件在协同工作时能做什么，试试Exo吧。在Mac上设置只需要两分钟。其影响将让你忙碌更长时间。

原文链接: I Turned Two Macs Into an 80B AI Cluster for Free — Exo Is the Open-Source Tool You’ve Been Waiting…

汇智网翻译整理，转载请标明出处

文章来源于互联网:用Exo搭建本地800亿参数AI集群

The post 用Exo搭建本地800亿参数AI集群 appeared first on 原立方.

本文基于aiclient2api v2.9.7版本，Github地址为 https://github.com/justlovemaki/AIClient-2-API

aiclient2api 能够将 GeminiCLI ， ClaudeCode 等转换为不仅限于原客户端使用的API，从而供给OpenClaw或其它客户端使用

2. 搭建

首先选择一个目录，本文中使用的是/data/aiclient2api

运行 mkdir -p /data/aiclient2api && touch /data/aiclient2api/compose.yaml ，创建docker compose文件

复制以下docker compose 配置（3000端口比较常见容易被占用所以这里我改成了3180，可自行修改为其它端口）
3000 为 Web UI，其余为 OAuth 回调端口（Gemini: 8085, Antigravity: 8086, iFlow: 8087, Codex: 1455, Kiro: 19876-19880）

services:
  aiclient-api:
    image: justlikemaki/aiclient-2-api:latest
    container_name: aiclient2api
    restart: unless-stopped
    ports:
      - "3180:3000"
      - "8085-8087:8085-8087" 
      - "1455:1455"
      - "19876-19880:19876-19880"
    volumes:
      - ./configs:/app/configs
    environment:
      - ARGS=
    healthcheck:
      test: ["CMD", "node", "healthcheck.js"]
      interval: 30s
      timeout: 3s
      start_period: 5s
      retries: 3

粘贴到刚刚新建的 compose.yaml 里

运行如下命令 cd /data/aiclient2api && docker compose up -d ，创建容器，如图即为成功

3. 配置

访问 服务器IP:3180 （如果你修改了端口则替换为你的端口），初始密码为 admin123 ，点击登录

进入管理控制台

首先要修改登录密码，点击 配置管理 ，滑动到最下面，修改后台登录密码，点击保存配置

本文以对接Gemini CLI作为教程，其它大同小异，请自行研究

（如果以前没用过Gemini CLI，可能会遇到需要开启谷歌云或验证手机号等情况，建议先本地安装一个Gemini CLI登录过排完坑了再来接入）

点击提供商池管理，点击生成授权

选择 OAuth 授权

复制链接在浏览器中打开，或直接点击 在浏览器中打开 按钮

根据提示登录 Google 账户

此时会显示如下，不要慌张，将此处的 localhost 修改为你的服务器IP，再次访问即可

如下，授权成功

回到aiclient2api可以看到已经成功了

接下来点击配置管理，将API密钥随意修改为你想要的，下面的模型提供商把你对接了的都选上（本文只对接了一个 Gemini CLI 所以暂时只选这一个）

下拉到此处，启用OAuth令牌自动刷新

下拉到最下方，保存配置

4. 使用

到此已经完成，可以使用该密钥了，BaseURL 即为你的服务器IP:项目端口，本项目能提供标准的OpenAI API和Claude API，这里就不过多赘述了

The post 基于docker搭建aiclient2api图文教程 appeared first on 原立方.

本文基于sub2api v0.1.84版本，Github地址为 https://github.com/Wei-Shaw/sub2api

sub2api 能够将 GeminiCLI ， ClaudeCode 等转换为不仅限于原客户端使用的API，从而供给OpenCode或其它客户端使用

2. 搭建

首先选择一个目录，本文中使用的是/data/sub2api

运行 mkdir -p /data/sub2api && touch /data/sub2api/compose.yaml ，创建docker compose文件

复制以下docker compose 配置（8080端口太常见容易被占用所以这里我改成了6780，可自行修改为其它端口）

services:
  # ================= 主程序 =================
  sub2api:
    image: weishaw/sub2api:latest
    container_name: sub2api
    restart: unless-stopped
    ports:
      - "6780:8080"
    volumes:
      - ./data/sub2api:/app/data # 挂载到当前目录的 data/sub2api
    environment:
      - AUTO_SETUP=true # 开启自动初始化
      - TZ=Asia/Shanghai # 设置时区
      - SERVER_MODE=release # 运行模式
      - DATABASE_HOST=postgres
      - DATABASE_PORT=5432
      - DATABASE_USER=sub2api # 默认数据库用户
      - DATABASE_PASSWORD=sub2api_password # 默认数据库密码
      - DATABASE_DBNAME=sub2api # 默认数据库名
      - REDIS_HOST=redis
      - REDIS_PORT=6379
      - REDIS_PASSWORD=redis_password # 默认 Redis 密码
      - ADMIN_EMAIL=admin@sub2api.local # 默认管理员账号
      - ADMIN_PASSWORD=admin123456 # 默认管理员密码
      - JWT_SECRET= # 固定 JWT 密钥
      - TOTP_ENCRYPTION_KEY= # 固定 2FA 密钥
      - SECURITY_URL_ALLOWLIST_ENABLED=false # 禁用白名单检查
      - SECURITY_URL_ALLOWLIST_ALLOW_INSECURE_HTTP=true # 允许 HTTP URL（⚠️ 不安全）
    depends_on:
      postgres: { condition: service_healthy }
      redis: { condition: service_healthy }
    networks:
      - sub2api-network

  # ================= 数据库 (PostgreSQL) =================
  postgres:
    image: postgres:18-alpine
    container_name: sub2api-postgres
    restart: unless-stopped
    volumes:
      - ./data/postgres:/var/lib/postgresql/data # 挂载到当前目录的 data/postgres
    environment:
      - POSTGRES_USER=sub2api
      - POSTGRES_PASSWORD=sub2api_password
      - POSTGRES_DB=sub2api
      - PGDATA=/var/lib/postgresql/data 
      - TZ=Asia/Shanghai
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U sub2api -d sub2api"]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - sub2api-network

  # ================= 缓存 (Redis) =================
  redis:
    image: redis:8-alpine
    container_name: sub2api-redis
    restart: unless-stopped
    volumes:
      - ./data/redis:/data # 挂载到当前目录的 data/redis
    command: ["redis-server", "--requirepass", "redis_password", "--appendonly", "yes"]
    environment:
      - REDISCLI_AUTH=redis_password
      - TZ=Asia/Shanghai
    healthcheck:
      test: ["CMD", "redis-cli", "ping"]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - sub2api-network

networks:
  sub2api-network:
    driver: bridge

粘贴到刚刚新建的 compose.yaml 里，可选修改数据库信息，请务必修改账号密码

JWT密钥 和 2FA密钥 如果需要请自行生成（作用分别为）

如果使用HTTPS并且在意安全性，请删除 禁用白名单检查 和 允许HTTP URL 两项环境变量

如果只使用HTTP不使用HTTPS的话，这两个则似乎需要保留

如果在上面修改了数据库信息，别忘了这里也要同步修改；如果没有修改则忽略此处

修改好后运行如下命令 cd /data/sub2api && docker compose up -d ，创建容器，如图即为成功

3. 配置

访问 服务器IP:6780 （如果你修改了端口则替换为你的端口），进入主页，点击登录

输入你在前面配置的账号密码，登录

可以看到sub2api已经给出了配置向导，可以根据向导进行配置，也可以跟着我的教程走

点击 分组管理 ，点击创建分组（不同的平台需要创建不同分组）

本文以对接Codex作为教程，其它大同小异，请自行研究

输入名称，平台选择OpenAI，点击创建

这里可以看见我们已经创建好的分组

点击账号管理，点击添加账号

填写名称，平台选择OpenAI，账号类型选择OAuth

注意要下拉勾选前面创建的分组 点击下一步

点击生成授权链接

可以看到生成的授权链接，复制到浏览器打开它

接下来按照提示登录

登录后显示无法访问此网站，为正常现象，将网址栏的内容全部复制

粘贴到如图所示位置，点击完成授权

可以看到我们刚刚添加的账号

接下来点击 API 密钥，点击创建密钥

填写名称，分组勾选我们之前创建的分组，点击创建

可以看到我们刚刚创建的 API 密钥

4. 使用

到此已经完成，可以使用该密钥了，BaseURL 即为你的服务器IP:项目端口，点击上图中的使用密钥 可以看到相关配置，这个项目不能提供标准的OpenAI API ，似乎只能给 OpenCode 使用，这里就不过多赘述了

The post 基于docker搭建sub2api图文教程 appeared first on 原立方.