安装第三方库

先安装调用deep seek的open AI的第三方库pip install openai

接着安装调用微信的wxauto第三方库pip install wxauto

编写代码

导入openAI库和微信库，整个代码不到50行，调用了deep seek API处理用户消息，获取AI自动回复，成为智能客服回复消息

import time
from openai import OpenAI
from wxauto import Wechat
class WeChatBot:
    def __init__(self):
        self.client = OpenAI(api_key="", base_url="")
        self.wx = WeChat()
        self.listen_list = [""]   #需要自行设置监听的好友列表
        for whoItem in self.listen_list:
            self.wx.AddListenChat(who=whoItem)
    def __ask(self, msg):
        response = self.client.chat.completions.create(
            model="deepseek-chat",
            messages=[
                {"role": "system", "content": "你好，我是DeepSeek。"},
                {"role": "user", "content": msg},
            ],
            stream=False
        )
        return response.choices[0].message.content
    def run(self):
        wait = 2  # 设置2秒查看一次是否有新消息
        while True:
            msg = self.wx.GetListenMessage()
            for chat in msgs:
                msg=msgs.get(chat)
                for item in msg:
                    if item.type == 'friend':
                        reply = self.__ask(item.content)
                        print(f"接收【{item.sender}】的消息:{item.content}")
                        print(f"回复【{item.sender}】的消息:{reply}")
                        chat.wx.SendMsg(reply, item.sender)  
if __name__ == "__main__":
    bot = WeChatBot()
    bot.run()

import time
from openai import OpenAI
from wxauto import Wechat
class WeChatBot:
    def __init__(self):
        self.client = OpenAI(api_key="", base_url="")
        self.wx = WeChat()
        self.listen_list = [""]   #需要自行设置监听的好友列表
        for whoItem in self.listen_list:
            self.wx.AddListenChat(who=whoItem)
    def __ask(self, msg):
        response = self.client.chat.completions.create(
            model="deepseek-chat",
            messages=[
                {"role": "system", "content": "你好，我是DeepSeek。"},
                {"role": "user", "content": msg},
            ],
            stream=False
        )
        return response.choices[0].message.content
    def run(self):
        wait = 2  # 设置2秒查看一次是否有新消息
        while True:
            msg = self.wx.GetListenMessage()
            for chat in msgs:
                msg=msgs.get(chat)
                for item in msg:
                    if item.type == 'friend':
                        reply = self.__ask(item.content)
                        print(f"接收【{item.sender}】的消息:{item.content}")
                        print(f"回复【{item.sender}】的消息:{reply}")
                        chat.wx.SendMsg(reply, item.sender)  
if __name__ == "__main__":
    bot = WeChatBot()
    bot.run()

关键的位置在这里，deep seek的key和API地址

获取key和API地址

到deep seek官网获取API开放平台

左边获取API keys

在下面的接口文档获取API地址

添加人设

给deep seek角色信息和人设信息，每段话不超20字。

还要设定要检测的好友名称或者微信群名称，这里只监听一个好友。

最终展示

当然也可以，如本地 部署了模型的话，可以尝试连接本地的模型，如连接本地OLLMA或者是OMLX，这两个本地部署模型都是可以提供openapi地址和key 的，本地值得一试哦

The post Python+deepseek+微信，秒变聊天机器人 appeared first on 原立方.

Laravel 具有独特的定位，是进行 AI 辅助开发和智能体开发的首选框架。Claude Code、OpenCode、Cursor 和 GitHub Copilot 等 AI 编码智能体的兴起，改变了开发人员编写代码的方式。这些工具能够以空前的速度生成完整功能、调试复杂问题并重构代码——但它们的有效性在很大程度上取决于它们对你代码库的理解程度。

为何选择 Laravel 进行 AI 开发？

Laravel 固有的约定和定义明确的结构使其成为 AI 辅助开发的理想框架。当你要求 AI 智能体添加一个控制器时，它确切地知道该将其放在哪里。当你需要新的迁移文件时，命名约定和文件位置都是可预测的。这种一致性消除了在更灵活的框架中经常困扰 AI 工具的猜测过程。

除了文件组织，Laravel 富有表达力的语法和全面的文档，为 AI 智能体提供了生成准确、地道代码所需的上下文。Eloquent 关系、表单请求和中间件等功能遵循智能体可以可靠理解和复刻的模式。结果就是 AI 生成的代码看起来就像出自资深 Laravel 开发者之手，而不是从通用的 PHP 代码片段中拼凑出来的。

Laravel Boost

Laravel Boost 架起了 AI 编码智能体与 Laravel 应用程序之间的桥梁。Boost 是一个 MCP (模型上下文协议) 服务器，配备了 15 种以上的专用工具，为 AI 智能体提供关于应用程序结构、数据库、路由等的深度见解。当你安装 Boost 后，你的 AI 智能体将从通用的代码助手转变为能够理解你特定应用的 Laravel 专家。

Boost 提供了三大核心能力：一套用于检查和交互应用程序的 MCP 工具、专为 Laravel 生态系统精心设计的可组合 AI 指南，以及一个包含超过 17,000 条 Laravel 特定知识的强大文档 API。

安装

Boost 可安装在运行 PHP 8.1 或更高版本的 Laravel 10、11、12 和 13 应用程序中。若要开始，请将 Boost 安装为开发依赖：

composer require laravel/boost --dev

composer require laravel/boost --dev

安装完成后，运行交互式安装程序：

php artisan boost:install

php artisan boost:install

安装程序将自动检测你的 IDE 和 AI 智能体，允许你选择适合项目的集成。Boost 将生成必要的配置文件，例如用于 MCP 兼容编辑器的 .mcp.json 文件以及用于 AI 上下文的指南文件。

生成的配置文件（如 .mcp.json、CLAUDE.md 和 boost.json）可以安全地添加到你的 .gitignore 中，如果你希望每位开发者配置自己的环境的话。

可用工具

Boost 通过模型上下文协议（Model Context Protocol）向 AI 智能体公开了一套全面的工具。这些工具允许智能体深入理解并与你的 Laravel 应用程序进行交互。

• 应用程序自省 – 查询你的 PHP 和 Laravel 版本，列出已安装的包，并检查应用程序的配置和环境变量。
• 数据库工具 – 在无需退出对话的情况下，检查数据库模式、执行只读查询并了解数据结构。
• 路由检查 – 列出所有已注册的路由及其对应的中间件、控制器和参数。
• Artisan 命令 – 发现可用的 Artisan 命令及其参数，使智能体能够针对你的任务建议并执行正确的命令。
• 日志分析 – 读取并分析应用程序的日志文件，以协助调试问题。
• 浏览器日志 – 在使用 Laravel 前端工具进行开发时，访问浏览器控制台日志和错误信息。
• Tinker 集成 – 通过 Laravel Tinker 在应用程序上下文中执行 PHP 代码，允许智能体验证假设并确认行为。
• 文档搜索 – 搜索 Laravel 生态系统文档，并获得根据你所安装的包版本量身定制的结果。

AI 指南（AI Guidelines）

Boost 包含一套专门为 Laravel 生态系统精心制作的全面 AI 指南。这些指南教导 AI 智能体如何编写符合习惯的 Laravel 代码、遵循框架约定并避免常见陷阱。指南是可组合且具备版本感知能力的，这意味着智能体接收到的指令将完全适配你所使用的确切包版本。

指南涵盖了 Laravel 本身以及 Laravel 生态系统中的 16 个以上的包，包括：

• Livewire (2.x, 3.x, 和 4.x)
• Inertia.js (React, Svelte, 和 Vue 变体)
• Tailwind CSS (3.x 和 4.x)
• Filament (3.x 和 4.x)
• PHPUnit
• Pest PHP
• Laravel Pint
• 以及更多

当你运行 boost:install 时，Boost 会自动检测你的应用程序使用了哪些包，并将相关的指南整合到项目的 AI 上下文文件中。

智能体技能（Agent Skills）

智能体技能 (Agent Skills) 是轻量级、针对性的知识模块，智能体可以在处理特定领域时按需激活。与预先加载的指南不同，技能允许仅在相关时加载详细的模式和最佳实践，从而减少上下文冗余并提高 AI 生成代码的相关性。

这些技能适用于 Livewire、Inertia、Tailwind CSS、Pest 等主流 Laravel 包。当你运行 boost:install 并选择技能作为功能时，系统会根据在 composer.json 中检测到的包自动安装相应的技能。

文档搜索

Boost 包含一个强大的文档 API，使 AI 智能体能够访问超过 17,000 条 Laravel 生态系统文档。与通用的网络搜索不同，这些文档经过索引、向量化并根据你使用的特定包版本进行了筛选。

当智能体需要理解某个功能的工作原理时，它可以搜索 Boost 的文档 API 并获得准确的、特定于版本的相关信息。这消除了 AI 智能体建议已弃用的方法或旧版本框架语法的常见问题。

智能体集成

Boost 与支持模型上下文协议的流行 IDE 和 AI 工具集成。有关 Cursor、Claude Code、Codex、Gemini CLI、GitHub Copilot 和 Junie 的详细设置说明，请参阅 Boost 文档的 设置你的智能体 (Set Up Your Agents) 部分。

The post Laravel 13 AI 辅助开发 appeared first on 原立方.

2026年初，一篇名为《PHP 现代框架对决 —— Laravel 与 Symfony》的技术对比文章引发热议。笔者在仔细阅读后发现，Laravel 早已不再是那个“简单的 PHP 框架”。过去一年间，它悄然完成了一场蜕变——从 Web 开发的“瑞士军刀”，进化为 AI 时代的“工匠工坊”。

与此同时，中国开发者社区也传出好消息：Laravel China 社区已于 2026 年回归，论坛重新开放，北京、深圳等地正在召集团队组织。这意味着国内开发者获取中文文档、技术交流、参与社区贡献的渠道正在全面恢复。

这一切，要从2025年的 Laracon US 大会说起。

二、里程碑事件：Laracon US 2025 的六大重磅发布

2025年7月底，Laracon US 在芝加哥举行。创始人 Taylor Otwell 在主题演讲中宣布了六项重磅更新：

这六项发布，每一项都指向同一个方向——让 Laravel 开发者以更高效的方式构建、部署和维护现代应用。

三、产品矩阵全景：八大核心产品一览

🚀 Laravel Cloud：零配置部署平台

Laravel Cloud 于2025年初正式推出，是 Laravel 团队倾力打造的一站式部署平台。

2025-2026 关键进展：

• 2025年7月：MySQL GA（正式可用），支持1 CPU/512MB至16 CPU/64GB规格
• 2025年8月：简化定价方案，推出 Starter（免费）/ Growth（$20/月起）/ Business 三级
• 2026年初：上线私有云（Private Cloud），提供完全隔离的企业级基础设施
• 2026年4月：发布 Cloud CLI，基于 Laravel Zero 构建，实现终端全面管理

Cloud CLI 的设计极为简洁：

# 快速部署
cloud ship

# 标准部署
cloud deploy

# 远程执行 Artisan 命令
cloud command:run env_123 "php artisan migrate"

# 快速部署
cloud ship

# 标准部署
cloud deploy

# 远程执行 Artisan 命令
cloud command:run env_123 "php artisan migrate"

🔧 Laravel Forge：服务器管理利器

Forge 在2025年迎来重大更新。最受关注的是 Forge 宣布将支持除 PHP 以外的多种语言，包括 JavaScript 和 Rust，这是该产品14年历史上首次扩展语言支持。

2026年4月，Forge 进一步新增：

• 支持 PHP 8.5
• 支持单个站点安装多个 SSL 证书，实现证书无风险轮换
• 证书到期预警，在过期问题导致停机前主动通知开发者

👀 Nightwatch：Laravel 专属可观测平台

Nightwatch 提供了为 Laravel 深度优化的一体化监控方案，包括异常监控、慢请求追踪、查询日志、日志查看器等功能。2026年初，Nightwatch 新增了 AI 驱动的问题描述功能，能自动分析堆栈跟踪并生成根因分析与可行的解决方案。

🤖 Laravel Boost：AI 编码助手的“外挂”

Boost 是本次 Laracon 发布中最具前瞻性的产品。它为 AI 编码代理（如 GitHub Copilot、OpenCode）提供了一个 Laravel 专属的 MCP（模型上下文协议）服务器，暴露15+工具供 AI 调用。

其中包括：应用信息查询、文档搜索、Tinker 交互、数据库查询、Schema 检查、路由列表、Artisan 命令、错误日志等。

更重要的是，Boost 内置了超过 17,000条向量化的 Laravel 生态文档片段，AI 代理可以检索与你的项目版本精确匹配的文档信息。实测中，AI 代理能够精准定位正确的 API，检查数据库结构，甚至运行 Tinker 来生成测试数据。

🎵 Laravel Reverb：第一方 WebSocket 服务

Reverb 是 Laravel 官方推出的 WebSocket 服务器，原生支持实时通信场景。2025年底，Reverb 在 Laravel Cloud 上作为托管服务推出，用户无需自行运维 WebSocket 基础设施。

🧭 Laravel Wayfinder：前后端路由桥梁

Wayfinder 于2025年4月进入公测，能将你的 Laravel 后端路由自动生成为完全类型化的 TypeScript 函数，在前端直接导入调用。前后端接口变更时，TypeScript 编译器会立即报错，彻底告别手写 URL 和手动同步的时代。

🔐 Laravel Passkeys：全面拥抱无密码认证

2026年4月，Laravel 将 Passkeys（通行密钥）支持全面融入框架生态：

• laravel/passkeys：服务端 WebAuthn 处理
• @laravel/passkeys：React、Vue、Svelte 前端组件
• Fortify 通过 Features::passkeys() 一键集成

这意味着开发者可以在 Laravel 应用中轻松实现无密码登录，用户通过指纹、面部识别或设备 PIN 即可安全认证。

📦 Laravel AI SDK：统一 AI 接口

Laravel 13 引入了官方 AI SDK，提供对文本生成、工具调用 Agent、Embeddings、音频、图像及向量存储的统一编程接口：

// 文本生成
$response = SalesCoach::make()->prompt('Analyze this sales transcript...');

// 图像生成
$image = Image::of('A donut sitting on the kitchen counter')->generate();

// 语音合成
$audio = Audio::of('I love coding with Laravel.')->generate();

// 文本生成
$response = SalesCoach::make()->prompt('Analyze this sales transcript...');

// 图像生成
$image = Image::of('A donut sitting on the kitchen counter')->generate();

// 语音合成
$audio = Audio::of('I love coding with Laravel.')->generate();

SDK 支持 OpenAI、Anthropic、Gemini、Groq、xAI 等主流服务商，随 Laravel 13 从 Beta 转为稳定版。

四、从 v12 到 v13：版本演进路线图

Laravel 12：回归本质

2025年2月24日，Laravel 12 发布。与以往不同，这个版本几乎没有新增特性。

这并非偷懒，而是刻意的战略选择。Laravel 团队将重心放在了升级上游依赖和提升稳定性上，同时将所有新功能以小幅迭代方式在 Laravel 12.x 的周更版本中陆续发布。

💡 核心启示：Laravel 已经足够成熟，不需要依赖大版本号来“证明”自己的价值。稳定的生态 + 持续的微创新，才是开发者真正需要的。

Laravel 13：原生 AI 时代的开篇

2026年3月17日，Laravel 13 正式发布，PHP 8.3 成为最低版本要求。这个版本的升级几乎没有破坏性变更，但新增了一系列令人振奋的可选特性：

🔹 大规模 PHP Attributes 支持

Laravel 13 在模型、控制器、队列任务、Console 命令等 15处以上位置引入了原生 PHP Attributes 语法，让配置声明更直观：

// 模型配置
#[Table('users', key: 'user_id', keyType: 'string', incrementing: false)]
#[Fillable(['name', 'email'])]
#[Hidden(['password'])]
class User extends Model { }

// 控制器中间件与授权
class FlightController extends Controller
{
    #[Middleware(LogRequests::class)]
    #[Authorize('view', 'flight')]
    public function show(Flight $flight) { }
}

// 队列任务配置
#[Tries(5)]
#[MaxExceptions(3)]
class ReserveFlight implements ShouldQueue
{
    use Queueable;
}

// 模型配置
#[Table('users', key: 'user_id', keyType: 'string', incrementing: false)]
#[Fillable(['name', 'email'])]
#[Hidden(['password'])]
class User extends Model { }

// 控制器中间件与授权
class FlightController extends Controller
{
    #[Middleware(LogRequests::class)]
    #[Authorize('view', 'flight')]
    public function show(Flight $flight) { }
}

// 队列任务配置
#[Tries(5)]
#[MaxExceptions(3)]
class ReserveFlight implements ShouldQueue
{
    use Queueable;
}

🔹 内置 JSON:API Resources

Laravel 13 首次内置了符合 JSON:API 规范的响应生成器，自动处理关系包含、稀疏字段集、链接及响应头，告别了第三方包依赖。

🔹 队列路由（Queue Routing）

在统一位置为特定 Job 定义队列和连接规则：

Queue::route(ProcessPodcast::class, connection: 'redis', queue: 'podcasts');

Queue::route(ProcessPodcast::class, connection: 'redis', queue: 'podcasts');

🔹 语义向量搜索

Laravel 13 内置原生向量查询支持，配合 PostgreSQL + pgvector 实现 AI 驱动的语义搜索：

$documents = DB::table('documents')
    ->whereVectorSimilarTo('embedding', 'Best wineries in Napa Valley')
    ->limit(10)
    ->get();

$documents = DB::table('documents')
    ->whereVectorSimilarTo('embedding', 'Best wineries in Napa Valley')
    ->limit(10)
    ->get();

🔹 Cache::touch() 方法

无需读取或重新写入即可延长缓存 TTL：

Cache::touch('user_session:123', 3600);
Cache::touch('analytics_data', now()->addHours(6));

Cache::touch('user_session:123', 3600);
Cache::touch('analytics_data', now()->addHours(6));

🔹 防抖动队列任务

2026年4月引入，解决高频触发队列任务时的“雪崩”问题，合并突发调度，仅保留最后一次执行：

#[DebounceFor(10)]  // 10秒内的重复调度只执行一次
class RegenerateReport implements ShouldQueue { }

#[DebounceFor(10)]  // 10秒内的重复调度只执行一次
class RegenerateReport implements ShouldQueue { }

此外，MCP 工具现已支持渲染完整的沙盒化 HTML 应用（HTML/JS/CSS 内联在单个 Blade 视图中），AI 代理不再局限于纯文本交互——这是从命令行工具到交互式应用体验的一次质的飞跃。

五、开发体验的革命

全新 Starter Kits

Laravel 12 引入了全新设计的 Starter Kits，提供 React、Vue 和 Livewire 三种技术栈选择，内置 Shadcn 组件库（Livewire 栈可选 Flux 免费版）。

Laravel 13 在此基础上新增了团队（Teams）功能和 Passkey 集成——你可以在不同浏览器标签页中通过不同 URL 切换团队，这在旧版 Jetstream 中一直是个痛点。

Laravel Precognition：前端实时验证

Precognition 让前端 JavaScript 应用能够“预判”后端验证结果，无需复制验证规则即可实现实时表单验证。

Laravel Skills 市场

2026年初，Laravel 推出了开源的 Laravel Skills 目录——一个可复用的 AI 代理技能市场，开发者可以浏览并一条命令安装所需技能，让 AI 代理具备安全审计、最佳实践检查等专业能力。

六、社区：从代码到文化

Laravel 社区 App 正式上线

2026年3月，Laravel 团队正式发布了 Laravel 社区 App（iOS & Android双端）。主要功能包括：

• 发现 Laracon、Laravel Live 及全球各地的线下聚会
• 新活动推送通知，不错过任何交流机会
• 现场扫码连接社区伙伴，活动结束后的联系不中断

多元化与包容性

Larabelles 社区通过奖学金、导师指导和社区活动，为 Laravel 中代表性不足的开发者创造空间。这种由下而上的社区行动，让 Laravel 不仅是一套技术工具，更是一个有人情味的开发者社群。

2026年重要活动

• Laracon AU 2026：11月4-6日，布里斯班，议题征集已开放，聚焦深度技术内容与生产实践经验
• Laracon US 2026：日期地点已公布，具体日程即将发布

七、结语：AI 时代的“工匠”精神

Taylor Otwell 在 Laracon EU 2026 现场做了一个 Demo：他故意在网站上制造了一个 Bug，Nightwatch 捕获到异常，AI 代理通过 Nightwatch MCP 自动定位问题、在 Cloud 上创建测试环境，最后生成 Pull Request 并打电话问他：“要 merge 吗？”全场沸腾。

这或许就是 Laravel 在 AI 时代给出的答案——

不是让 AI 取代开发者，而是让 AI 成为开发者的最佳搭档。开发者负责定义“要做什么”，AI 负责加速“怎么做到”。从 Laravel Boost 提供上下文，到 AI SDK 提供能力，再到 Nightwatch 发现问题和 Cloud 部署上线——一整套闭环正在形成。

🔮 展望 2026 下半年：Laravel 还将带来什么？API Starter Kits 即将发布，PHPverse 2026 将于6月回归，更多 AI-native 特性正在路上。正如 Taylor Otwell 所说：“Laravel 生态比以往任何时候都更加强大。”

📅 本文完稿于 2026 年 5 月 6 日。文中所有产品信息与技术细节均来自 Laravel 官方文档、博客及权威技术媒体报道。

The post Laravel 2026：AI 时代下的 Web 开发新范式 appeared first on 原立方.

✅ 核心步骤

• ‌oMLX 仅支持 macOS + Apple Silicon（M1/M2/M3/M4/M5）‌，不支持 Windows 或 NVIDIA 显卡 ‌。
• oMLX 启动后默认提供以下 API 接口：
  • OpenAI 兼容：http://localhost:8000/v1
  • Anthropic 兼容：http://localhost:8000

🛠️ 在 VS Code 中配置 oMLX 的方法

一：使用 ‌Continue 插件‌（推荐）

1. ‌安装 Continue 插件‌
   • 打开 VS Code → 扩展市场 → 搜索 Continue → 安装 ‌。
2. ‌配置本地模型‌
   • 打开 VS Code 设置（Cmd+,）→ 搜索 Continue。
   • 在 Continue: Models 中添加如下配置：
   • 重启 VS Code 或重新加载 Continue。

models:
  - name: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit
    provider: openai #一定要设置成openai
    model: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit #这里改成本地使用的模型
    apiKey: omlx #这里改成本地omlx设置的apikey
    apiBase: http://localhost:8000/v1 #这里改成OMLX中API 端点OpenAI API的地址即可
    roles:
      - chat
      - edit
      - apply

models:
  - name: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit
    provider: openai #一定要设置成openai
    model: MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit #这里改成本地使用的模型
    apiKey: omlx #这里改成本地omlx设置的apikey
    apiBase: http://localhost:8000/v1 #这里改成OMLX中API 端点OpenAI API的地址即可
    roles:
      - chat
      - edit
      - apply

1. 启动 oMLX 服务‌
   • 确保 oMLX 已在终端或菜单栏中运行，并已加载目标模型 ‌。
2. ‌使用‌
   • 在 VS Code 编辑器中右键 → 选择 Continue: Chat、Agent 或按快捷键（默认 Cmd+I）即可调用本地模型。

✅ 优势：完全离线、代码不上传云端、支持工具调用与结构化输出 ‌。

本地使用截图，能用，够用(M2 16G+512G的macbook pro，请忽略token生成的速度)：

集成 Claude Code / Codex/OpenCode/OpenClaw

oMLX 提供一键配置生成器，简化了与主流开发工具的集成：

1. 打开 Web 管理面板 (http://localhost:8000/admin)
2. 选择要使用的模型
3. 点击 “Integrations” 选项卡
4. 一键复制配置命令
5. 打开命令行，cd进入需要处理的项目文件夹，对应的命令 回车就可以啦，如codex和claude code的启动命令

'/Applications/oMLX.app/Contents/MacOS/omlx-cli' launch codex --model 'MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' --api-key 'omlx'

'/Applications/oMLX.app/Contents/MacOS/omlx-cli' launch codex --model 'MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' --api-key 'omlx'

ANTHROPIC_BASE_URL='http://127.0.0.1:8000' ANTHROPIC_AUTH_TOKEN='omlx' ANTHROPIC_DEFAULT_OPUS_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_SONNET_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_HAIKU_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' API_TIMEOUT_MS=3000000 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1 claude

ANTHROPIC_BASE_URL='http://127.0.0.1:8000' ANTHROPIC_AUTH_TOKEN='omlx' ANTHROPIC_DEFAULT_OPUS_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_SONNET_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' ANTHROPIC_DEFAULT_HAIKU_MODEL='MLX-Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2-8bit' API_TIMEOUT_MS=3000000 CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1 claude

The post VSCode ,codex,claude code使用 ‌oMLX‌ 本地模型 appeared first on 原立方.

2025 至 2026 年间，AI 编程工具从 IDE 插件（以 Cursor 为代表）大举走向终端（即 “Vibe Coding”）。Anthropic 的 Claude Code、OpenAI 的 Codex CLI、Google 的 Gemini CLI 三款主流命令行工具相继成熟，它们以交互式终端为基本界面，支持读取本地文件、编辑代码、执行 Shell 命令，让开发者在终端内完成从原型到部署的完整编码流程。与此同时，Cursor 于 2026 年 1 月推出 CLI 功能，GitHub Copilot CLI 于 2026 年 2 月正式 GA，终端 AI 编码的战场已经全面铺开。

以上信息综合整理自各工具官方文档与公开资料。

二、综合对比总表

下表从核心维度对五款工具进行全景对比：

主要数据来源：Morphllm 2026 年综合评测、各工具官方文档、JEECG 低代码 2026 年 4 月横评

三、核心能力：谁的编程能力最强？

3.1 SWE-bench Verified 基准跑分

SWE-bench Verified 是目前最权威的编码 Agent 评测标准，任务是自动修复真实的 GitHub Issue。各工具排名如下：

3.2 真实项目实测

Particula Tech 团队用一个完整的 Express.js 项目重构作为测试任务，结果如下：

• Claude Code：完成时间 1 小时 17 分钟，一次通过 ✓
• Codex CLI：完成时间 1 小时 41 分钟，一次通过 ✓
• Gemini CLI：完成时间 2 小时 04 分钟，一次通过 ✓

3.3 各维度能力细项对比

以下表格展示了五款工具在不同开发维度上的能力分布：

从中可以解读出：Claude Code 在自主规划、复杂多文件操作上遥遥领先，Cursor 在交互式实时编码体验上无人能敌，Gemini CLI 免费提供最大的上下文窗口和搜索能力，Codex CLI 在性能和安全性之间取得了出色平衡，Copilot CLI 则在 GitHub 生态深度和低价方面独树一帜。

四、生态与扩展功能对比

4.1 MCP 服务器支持

五款工具全部支持 MCP（Model Context Protocol），这是 2026 年 AI 编码工具的重要基础设施。MCP 允许 Agent 连接到数据库、API、浏览器等外部工具和服务。

各工具 MCP 扩展亮点：

• Claude Code：支持 STDIO 和流式 HTTP 服务器，通过 claude mcp add 命令管理
• Gemini CLI：支持通过 hooks 机制在 Agent 生命周期的特定节点调用 MCP 服务
• Copilot CLI：可自定义 Agent 使用 MCP 服务器，实现 Work IQ 等高级功能

4.2 Skill.md 标准

SKILL.md 标准是 2026 年出现的重要标准化成果，实现了跨工具技能互通，让开发者能灵活组合使用不同工具以优化工作流。五款工具均已支持此标准，这意味着你可以在 Claude Code 中编写的技能文件，同样可以在 Codex CLI 或 Gemini CLI 中使用，大大降低了工具切换成本。

4.3 价格体系与总拥有成本

五款工具的价格体系反映了各自面向的目标用户群体不同。

（1）按价定价之外，还要关注上限

Copilot 超额使用费为每次高级请求 $0.04，包括 Chat、CLI、Agent 模式、代码审核和 Spark 功能。Claude Code 是唯一完全没有免费层的工具，Gemini CLI 则是性价比最高的选择。

（2）隐藏的成本考量

• Token 膨胀：虽然 Claude Code 定价最高，但独立测试显示它在完成相同任务时的 Token 消耗远低于 Cursor（约 33K vs 188K），这让高阶用户的实际成本可能更低
• Codex 沙箱：OpenAI 的 Codex CLI 提供免费的本地执行和云端沙箱分离，Token 优化据称可以减少 40-60% 的实际消耗
• Gemini 免费的代价：1M 上下文免费，但搜索和复杂任务可能请求消耗较快，而且只支持 Google 自家模型

4.4 工具间配合：不是“替换”而是“组合”

2026 年的调查显示，有经验的开发者平均使用 2.3 个工具同时工作。这些工具并非相互排斥——每个都有自己擅长的工作场景。具体推荐组合见下文选择建议。

五、优势与局限总结

六、选型决策指南

按开发者画像推荐

按任务场景推荐

实际工作流建议

2026 年 AI 编码调查显示，有经验的开发者平均使用 2.3 个工具。这些工具并非互斥——每个都有其擅长的工作场景。

七、2026 年关键趋势

1. 终端成为新的战场。 2026 年，所有主流 AI 编码工具都已经或即将发布 CLI 版本，终端已成为 AI Agent 的第一界面。

2. 多工具组合使用成为常态。 单靠一个工具解决所有问题的时代已经过去，开发者倾向于根据不同任务选择最佳工具，再利用 Skill.md 标准实现跨工具复用。

3. 上下文窗口竞赛白热化。 Gemini CLI 免费提供 1M 上下文，Claude Code 有 1M Beta，Codex CLI 的 Pro 版也达到 1M。更大的上下文窗口意味着更好的代码库理解能力。

4. 开源与闭源的博弈。 Gemini CLI 和 Codex CLI 选择了开源路线，Claude Code 和 Cursor 则保持闭源。开源意味着可审计、可定制，闭源则意味着更集中的资源投入。

5. 后台 Agent 执行成为标配。 从 Cursor 的 Cloud Agent 到 Copilot CLI 的 & 前缀后台委托，再到 Codex CLI 的云端沙箱执行，AI 编码正在从“人盯 AI”走向“AI 自主执行、人异步审查”的新范式。

6. 国内生态加速接入。 Claude Code 支持阿里云 Coding Plan，可调用 Qwen 系列模型。低代码平台 JEECG 等已深度集成 AI CLI 工具，形成面向国内开发者的完整工具链。

本报告综合整理自 Morphllm 2026 年评测数据、各工具官方文档与 GitHub 仓库、以及多个独立开发者社区的实际使用反馈。AI 编码工具迭代极快，建议在决策前查阅各工具最新文档。

The post 2026AI 编码工具全面对比：Codex CLI、Claude Code、Cursor、Gemini CLI、Copilot CLI appeared first on 原立方.

对于 macOS 用户而言，一款能够充分发挥 Apple Silicon 芯片潜力的本地大模型推理引擎显得尤为重要。

oMLX 正是为解决这一痛点而生的开源项目。它是一个专为 macOS 原生设计的 MLX 服务器，提供 LLM 大语言模型推理服务，具有智能缓存功能，针对编码代理的实际工作方式进行了深度优化。

🎯 oMLX 的核心价值：让 Claude Code、OpenClaw 和 Cursor 等工具能在 5 秒内响应，而非传统的 90 秒。这意味着开发效率的质的飞跃！

核心功能特性

技术架构详解

oMLX 的技术架构采用分层设计，核心组件包括：

• FastAPI Server：提供 OpenAI 和 Anthropic API 兼容接口
• EnginePool：多模型管理，支持 LRU 驱逐、TTL、手动加载/卸载
• ProcessMemoryEnforcer：总内存限制，防止 OOM
• Scheduler：FCFS 调度，可配置批处理大小
• Cache Stack：分层 KV 缓存（内存热缓存 + SSD 冷缓存）

实测性能数据

oMLX 官方基准测试收集了大量社区用户的测试数据。以下是不同 Apple Silicon 芯片的实测表现：

M4 Pro (48GB) 测试结果

安装与配置

系统要求

• 芯片：Apple Silicon (M1/M2/M3/M4/M5)
• 系统：macOS 15.0+ (Sequoia)
• 内存：最低 16GB（推荐 64GB+）
• Python：3.10+

安装方式一：macOS 应用（推荐）

方式 A：macOS 应用（推荐）

1. 从 GitHub Releases 下载 DMG 文件
2. 拖动到 Applications 文件夹
3. 首次启动时显示欢迎屏幕，引导完成以下步骤

• 设置模型目录
• 启动服务器
• 下载第一个模型

安装方式二：Homebrew

# 添加 Tap 并安装
brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

# 升级到最新版本
brew update && brew upgrade omlx

# 作为后台服务运行（崩溃自动重启）
brew services start omlx

# 可选：安装 MCP 支持
/opt/homebrew/opt/omlx/libexec/bin/pip install mcp

# 添加 Tap 并安装
brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

# 升级到最新版本
brew update && brew upgrade omlx

# 作为后台服务运行（崩溃自动重启）
brew services start omlx

# 可选：安装 MCP 支持
/opt/homebrew/opt/omlx/libexec/bin/pip install mcp

安装方式三：从源码安装

# 克隆并安装
git clone https://github.com/jundot/omlx.git
cd omlx
pip install -e .              # 仅核心功能
pip install -e ".[mcp]"       # 带 MCP 支持

# 启动服务
omlx serve --model-dir ~/models

# 克隆并安装
git clone https://github.com/jundot/omlx.git
cd omlx
pip install -e .              # 仅核心功能
pip install -e ".[mcp]"       # 带 MCP 支持

# 启动服务
omlx serve --model-dir ~/models

使用教程

启动服务器

通过命令行启动 oMLX 服务器：

# 基本启动
omlx serve --model-dir ~/models

# 启用 SSD 缓存
omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

# 设置内存限制
omlx serve --model-dir ~/models --max-process-memory 80%

# 基本启动
omlx serve --model-dir ~/models

# 启用 SSD 缓存
omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

# 设置内存限制
omlx serve --model-dir ~/models --max-process-memory 80%

💡 提示：可以复用现有的 LM Studio 模型目录，无需重新下载所有模型。

API 调用示例

Chat Completions

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "你好！"}]
  }'

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "你好！"}]
  }'

流式输出

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "写一首诗"}],
    "stream": true
  }'

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "messages": [{"role": "user", "content": "写一首诗"}],
    "stream": true
  }'

Anthropic API

curl http://localhost:8000/v1/messages \
  -H "Content-Type: application/json" \
  -H "x-api-key: your-key" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-sonnet-4-20250514",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "解释量子计算"}]
  }'

curl http://localhost:8000/v1/messages \
  -H "Content-Type: application/json" \
  -H "x-api-key: your-key" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-sonnet-4-20250514",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "解释量子计算"}]
  }'

集成 Claude Code / Codex/OpenCode/OpenClaw

oMLX 提供一键配置生成器，简化了与主流开发工具的集成：

1. 打开 Web 管理面板 (http://localhost:8000/admin)
2. 选择要使用的模型
3. 点击 “Integrations” 选项卡
4. 一键复制配置命令
5. 粘贴到对应工具的配置文件

重要说明：推荐配置为 M 系列 Pro/Max + 64GB+ 内存，以获得最佳的使用体验。16GB 内存虽然可以运行，但可能会遇到内存不足的情况。

与传统方案对比

oMLX vs Ollama / LM Studio

oMLX 的核心竞争力在于：

• 极速响应：TTFT 从 30-90 秒缩短到 5 秒以内
• 智能缓存：SSD KV 缓存技术实现上下文复用
• 高并发：连续批处理支持 8× 并发，吞吐量提升 4.14×
• 原生体验：非 Electron 构建的系统原生应用
• 完全开源：Apache 2.0 许可证，透明可控

最大的区别就是缓存机制：

Ollama和LM Studio的KV缓存都是放在内存里的，而且一旦对话的上下文变化，比如你用Claude Code的时候，它会不断地修改上下文，加工具调用的结果，这时候整个缓存就直接失效了，下次还要重新计算一遍，这就是为什么你会等半天。

而oMLX的缓存是块级的，持久化到SSD，不管上下文怎么变，只要有相同的前缀，就能直接复用缓存，不用重新算，这就是它能把首响从90秒降到5秒的核心原因。

而且oMLX专门针对Claude Code这类AI编码工具做了优化，比如SSE keep-alive防止长请求超时，上下文缩放让小模型也能配合Claude Code用，这些都是其他工具没有的。

oMLX 不仅是一个性能强大的 LLM 推理引擎，更通过其创新的缓存机制和友好的交互设计，解决了本地部署大模型的实际痛点。如果你拥有一台 Apple Silicon Mac，并希望在本地高效、便捷地运行大模型，oMLX 无疑是一个非常值得尝试的选择。

如果你有一台Apple Silicon Mac，并且正在寻找一个高效、易用的本地LLM推理方案，oMLX值得你立即上手体验。它很可能就是那块让Mac变身私人AI数据中心的最后拼图。

快速入口：

• GitHub仓库：https://github.com/jundot/omlx
• 官方网站：https://omlx.ai/
• 直接下载DMG：https://github.com/jundot/omlx/releases

快去试试吧，然后把你的Mac菜单栏交给oMLX——相信你也会成为它的忠实用户。

The post Mac 本地跑 AI 大模型神器OMLX：专为 Apple Silicon深度优化的开源本地大语言模型（LLM）推理引擎 appeared first on 原立方.

2025 年 2 月，OpenAI 联合创始人 Andrej Karpathy 在社交媒体上分享了自己使用 AI 编程的体验，并用一个新词来描述这种状态——Vibe Coding（氛围编程）。他给出的定义是：“完全跟着感觉走，拥抱指数增长，忘掉代码本身的存在。”同年 11 月，柯林斯词典将这个词评为 2025 年度词汇。

简单来说，Vibe Coding 是一种全新的 AI 驱动编程方式：你只需要用自然语言描述需求，AI 就会生成可运行的代码；你只管看效果，不对就继续对 AI 说，直到感觉“对味”为止。开发者从“代码搬运工”转变为“解决问题工程师”，聚焦于需求表达、结果验证和迭代反馈，而非逐行编写和审查代码。

🔧 核心工具生态

Vibe Coding 的工具生态在 2026 年已相当成熟。全球 92% 的美国开发者每天使用 AI 编程工具，AI 生成的代码占全球总代码量的 41%。Vibe Coding 工具市场估值已达 47 亿美元，其中 63% 的用户为非专业开发者。

主流工具可按使用场景分为以下几类：

主流工具速览：

⚡ Vibe Coding 的争议与困境

随着 Vibe Coding 的爆发式增长，一系列问题和争议也随之而来。

App Store 的封杀潮

2026 年初，苹果开始大规模封杀 Vibe Coding 类应用。Replit、Vibecode、Rork、a0.dev 等产品先后受到波及，其中 Rork 停止了 iOS 运营，a0.dev 直接放弃了苹果平台。苹果的理由是：Vibe Coding 应用可以在审核后动态生成和执行新代码，违反了 App Store 审核指南第 2.5.2 条。

封杀的背后是应用数量的爆发式增长——美国 iOS 应用发布量同比增长 56%，审核时间从 24 小时暴增至 30 天，苹果的审核基础设施不堪重负。

安全漏洞触目惊心

安全研究公司 Escape 扫描了 5600 多个 Vibe Coding 应用，发现了超过 2000 个安全漏洞、400 多个暴露的密钥以及 175 例个人隐私数据泄露，包括医疗记录和银行账号。Veracode 的 2025 年 AI 代码安全报告显示，45% 的 AI 生成代码存在安全漏洞。

“只适合做 Demo，不适合做产品”

靠 Vibe Coding 在 72 小时内杀入 GitHub 全球贡献榜的金融背景创业者杨天润坦言：“Vibe Coding 只适合做 Demo，不适合做产品。当你只是想做一个简单的网页，它很完美；但当你要做一个复杂的商业软件时，它就可能会乱成一锅粥。”

写代码一直是开发中最不重要的一步，决定代码质量上限的是 AI 尚不具备的深层业务理解和复杂架构设计能力。

📦 必知的 GitHub 开源项目

以下是与 Vibe Coding 紧密相关的优质 GitHub 开源项目，适合不同阶段的开发者：

💎 总结

Vibe Coding 正在重塑软件开发的范式——它大幅降低了应用开发的门槛，让更多人能将创意变成现实。但它并不是银弹：目前最适合快速原型验证和个人小工具，面对复杂的商业产品仍需专业开发者的架构能力和安全知识把关。

正如 Andrej Karpathy 本人所说，Vibe Coding 最适合的是“周末的临时项目”。在 AI 真正具备深层业务理解和架构设计能力之前，人依然是编程链条中最重要的一环。善用 Vibe Coding 的关键在于：让 AI 帮你加速实现，而你负责把控方向和质量。

The post Vibe Coding：AI 时代编程范式的变革与争议 appeared first on 原立方.

Agent Skills，就是 AI 智能体的那份 SOP 手册。

🤔 一句话理解 Agent Skills

Agent Skills 是一种轻量级的开放标准，由 Anthropic 于 2025 年底发布，迅速被 OpenAI、Microsoft、GitHub、Cursor 等主流平台采纳。它的核心思想非常简单：

把一个任务的全部“know-how”——操作步骤、判断依据、可执行脚本、参考资料——打包成一个文件夹，AI 智能体在需要时自动读取并严格执行。

Skill 就像 AI 的“即插即用”扩展包。一个 PDF 处理 Skill，让 AI 瞬间掌握提取文本、合并文档的能力；一个发票处理 Skill，让 AI 自动识别发票信息、重命名文件、生成汇总报告。你不必每次都从头教 AI 怎么做，它自己就知道该调用哪个“技能包”。

一个 Skill 长什么样？

Agent Skills 本质是一个按约定组织的文件夹。以 PDF 处理 Skill 为例：

pdf-processing/           # 技能文件夹
├── SKILL.md              # 必需：技能定义与工作流
├── references/           # 可选：详细参考资料
│   ├── field-mappings.md
│   └── validation-rules.md
└── scripts/              # 可选：可执行脚本
    └── extract_data.py

核心是 SKILL.md 文件，顶部用 YAML 声明元数据，正文是 Markdown 格式的详细操作说明：

---
name: pdf-processing
description: 从 PDF 提取文本和表格，填写表单，合并文档。
---
# PDF 处理工作流

1. 用 `scripts/extract_data.py` 读取 PDF 文件
2. 提取字段：供应商名称、发票号、日期、明细、合计
3. 按 `references/validation-rules.md` 验证数据
4. 按 `references/field-mappings.md` 的 schema 输出 JSON

就是这么简单。AI 读到这个文件，就知道何时该激活这个技能、按什么流程操作、需要时去读取哪些附加文件。

🔄 为什么需要 Skills？——告别“每次重头教一遍”

在 Skills 出现之前，开发者想赋予 AI 专业能力，通常有两种做法：

1. 写超长 Prompt：把所有操作规范、步骤全部塞进提示词，每次对话都重复一遍，导致上下文臃肿、成本高昂。
2. 硬编码工具调用：用代码写死调用逻辑，但缺乏灵活性，且不同任务需要写不同的定制 Agent。

Skills 通过 “渐进式披露” 机制，巧妙地解决了这个问题：

三步走，按需加载：

• 第一层（元数据） ：启动时只加载所有技能的名称和简介，占用极少上下文。
• 第二层（主体指令） ：AI 判断某个技能与当前任务相关时，才加载完整的 SKILL.md。
• 第三层（附加资源） ：只有在执行具体步骤时，才读取引用的参考资料或执行脚本。

这种设计让 AI 可以拥有大量专业技能，而不会撑爆上下文窗口。

⚡ Skills vs. MCP Tools：菜谱 vs. 食材

很多人初次接触 Skills 时会问：这和 MCP（Model Context Protocol）工具调用有什么区别？一个生动的比喻可以帮你瞬间厘清：

MCP 工具是原子化的外部能力——数据库查询、API 调用、文件读写——每个工具只做一件小事。而 Skills 是更高层级的“行为模式”，它告诉 AI：什么时候该用工具、用什么工具、按什么顺序组合、如何验证结果。一个强大的 AI 智能体 = 大模型 + MCP 工具 + Skills 操作流程——三者缺一不可。

🚀 如何创建一个自己的 Skill？

创建一个 Skill 只需要三个步骤：

1. 创建文件夹：命名为技能名称（如 my-first-skill），放在 AI 智能体的 skills 目录下。
2. 编写 SKILL.md：顶部 YAML 声明 name 和 description，正文用 Markdown 写清楚工作流程和注意事项。
3. 添加附加文件（可选） ：在 scripts/ 放 Python/Shell 脚本，在 references/ 放补充文档。

写好之后，支持 Skills 的 AI 工具（如 Claude Code、Cursor、OpenClaw）会自动识别并加载。当你的任务描述与技能的 description 匹配时，AI 就会激活它，按你写的流程执行。

💡 实践建议：初学者可以从一个简单的“文档格式化”Skill 开始练手——写清楚输入格式、输出要求、处理步骤，然后逐步扩展。

🌍 生态现状：正在爆发的“技能经济”

Agent Skills 的生态发展速度惊人。自 Anthropic 于 2025 年底发布开放标准以来：

• 主流平台全面跟进：OpenAI Codex、GitHub Copilot、VS Code、Cursor、Claude Code 均已支持。
• 企业级应用落地：Microsoft、Atlassian、Figma、Canva 等已为自家平台开发了 Skills，用于自动化办公、设计辅助等场景。
• 开源社区活跃：OpenClaw（35 万+ GitHub Star）、ModelScope 的 MS-Agent、LangChain 的 deepagents-CLI 等开源项目都已实现 Skills 支持。
• 技能市场兴起：Skills Marketplace 已有超 7 万个社区贡献的技能，涵盖 PDF 处理、数据分析、代码审查、客户支持等各领域。浙大与合作伙伴推出的 SkillNet 更是拥有超 20 万个可复用技能，实测可提升奖励 40%、减少执行步骤 30%。

这场变革的核心意义在于：行业知识首次从“依附于人”变成了“可蒸馏、可复用的技能包” 。专家经验不再锁在个人脑中，而是被标准化、版本化，可以一键分发给整个团队的所有 AI 助手。

Agent Skills 让 AI 从“能回答问题”进化到“能稳定做事”。它用极简的文件夹约定，实现了专业知识的模块化封装与渐进式加载，既避免了上下文爆炸，又让能力的复用和分发变得前所未有的简单。

如果你正在探索如何让 AI 真正融入工作流，Agent Skills 是一个值得立刻上手的方向。毕竟，让 AI 学会按 SOP 办事，才是通往可靠生产力的最短路径。

The post Agent Skills：像搭积木一样赋予 AI 专业能力 appeared first on 原立方.

如果我想反其道而行之——将多台机器的CPU、GPU和RAM资源整合起来，运行单台机器无法处理的模型呢？

如果你手头有一堆较小的设备，想要将它们的能力整合起来以发挥更大作用呢？

来认识Exo。这正是这个问题的答案。

1、什么是Exo？

Exo是由Exo Labs维护的一个开源项目。用一句话概括：它将你的所有设备连接成一个个人AI集群，让你可以运行那些永远无法装入任何单台机器的前沿模型。

核心能力一览：

• 自动设备发现——运行Exo的设备会自动在网络上找到彼此，无需手动配置。
• 拓扑感知自动并行——Exo会根据每台设备可用的RAM、CPU/GPU资源以及节点间的网络延迟，自动找出最优的模型分割方式。
• 张量并行——模型分片可在2台设备上实现高达1.8倍加速，在4台设备上实现3.2倍加速。
• Thunderbolt 5上的RDMA——在支持的硬件（M4 Pro/Max）上，这可将设备间延迟降低高达99%。
• MLX后端——使用苹果的MLX框架在Apple Silicon上进行GPU加速推理。
• OpenAI兼容API——暴露http://localhost:52415/v1接口，任何支持OpenAI的工具都可以直接与你的集群通信。
• 支持54个以上模型——从小的Llama模型到671B参数的DeepSeek变体。
• 适用于Mac、Linux，甚至树莓派。

我的配置：Mac Mini M4 + MacBook Pro M4 Max

在这个实验中，我组合了两台机器：

• Mac Mini M4——16GB统一内存，峰值使用55.1GB/64GB（86%）
• MacBook Pro M4 Max——64GB统一内存，次要分区使用9.8GB/16GB（61%）

合起来，这个集群有足够的余量来加载Qwen3-Next-80B-A3B-Thinking-4bit——一个44GB的量化模型，单台机器都无法轻松处理。该模型以稳定的每秒70到80个token（TPS）运行，首次token时间（TTFT）根据查询复杂度约为4到11秒。温度方面：Mac Mini在负载下峰值达到41到86摄氏度，MacBook Pro保持在48到53摄氏度之间。

2、安装设置

对于macOS，Exo以原生应用形式提供（DMG版本需要macOS Tahoe 26.2或更高版本）：

• 从发布页面下载EXO-latest.dmg。
• 复制到应用程序文件夹并启动。
• 在同一网络的每台其他机器上重复此操作。
• 完成——节点会自动发现彼此并显示在拓扑视图中。

就这么简单。它真的能用。

Linux和Windows设置

Linux用户需要从源代码运行。首先安装依赖：

• uv（Python依赖管理器）：

curl -LsSf https://astral.sh/uv/install.sh | sh

• Node.js 18+ 和 npm
• Rust（nightly）：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh && rustup toolchain install nightly

然后克隆并运行：

git clone https://github.com/exo-explore/exo
cd exo/dashboard && npm install && npm run build && cd ..
uv run exo

一个重要注意事项：在Linux上，Exo目前仅支持CPU。GPU支持正在积极开发中——如果你打算用NVIDIA或AMD GPU来实现这个功能，值得关注。

3、仪表板：开箱即用的集群可见性

运行后，内置的Web仪表板在http://localhost:52415提供集群的实时拓扑视图。每个节点显示当前的CPU使用率、温度、功耗和内存利用率。你可以看到哪台设备正在处理模型的哪一部分——这就是拓扑感知自动并行引擎的实际运行。

在下载之前，它会显示组合后的RAM以及可以在你的AI集群中运行的模型。

下载并运行第一个提示后，模型会根据每台机器的RAM被分层到两台机器上。

在推理过程中，你可以看到Mac Mini的CPU飙升到97%，温度达到86摄氏度，功耗82瓦，而MacBook Pro则以8-13%的负载平稳运行——Exo足够智能，会根据可用资源分配工作负载。仪表板中的THINK模式支持思维链推理，你可以在生成后展开或折叠它。

4、API：开箱即用的OpenAI替代品

Exo在http://localhost:52415/v1暴露一个完全兼容OpenAI的REST API。这意味着任何支持OpenAI SDK的工具、代理框架或应用都可以直接指向你的本地集群——无需修改代码。

使用curl的快速示例：

curl -N -X POST http://localhost:52415/v1/chat/completions 
-H 'Content-Type: application/json' 
-d '{
"model": "mlx-community/Qwen3-Next-80B-A3B-Thinking-4bit",
"messages": [
{"role": "user", "content": "What is sky blue ?"}
],
"stream": false
}'

我们将收到如下所示的JSON输出。

{"id":"887aab7d-c2e4-455d-bb7e-44d82b998bb1","object":"chat.completion","created":1773493013,"model":"mlx-community/Qwen3-Next-80B-A3B-Thinking-4bit","choices":[{"index":0,"message":{"role":"assistant","content":"nn这是一个好问题！根据上下文，"sky blue"可以有两层含义：nn### 1. **"Sky Blue"作为颜色名称** n - 这指的是一种特定的**淡青色或浅蓝色**——就像晴朗白天的天空颜色。 n - 在数字设计中，它通常定义为： n - **十六进制代码：#87CEEB** n - **RGB值：(135, 206, 235)** n - 它是艺术、时尚和设计中常用的颜色名称，用来描述让人联想到万里无云天空的柔和、平静的蓝色。nn---nn### 2. **为什么真实的天空是蓝色的（科学解释！）** n这部分更有趣——也是这种颜色被*命名为*"天蓝色"的原因！天空之所以呈现蓝色，是由于一种称为**瑞利散射**的现象： nn- **阳光=白光**：太阳发出所有颜色的光（红、橙、黄、绿、蓝、紫），它们组合成"白光"。 n- **地球大气层**：当阳光进入我们的大气层时，它会与气体分子（氮气、氧气）和微小颗粒碰撞。 n- **按尺寸散射**：较短的波长（如**蓝色和紫色**）比长波长（红色、黄色）更容易从这些分子散射。 n - 蓝光的波长约为450-495纳米——足够小，可以向各个方向散射。 n - 紫光散射得更多，但我们的眼睛对紫光不太敏感，而且太阳本身发出的紫光也较少。因此**蓝色主导**了我们看到的效果。 n- **结果**：当你抬头看天空（远离太阳）时，你看到来自四面八方的散射蓝光→天空呈现蓝色！nn#### 🌅 为什么日落是红色/橙色： n在日出/日落时，阳光穿过*更多*大气层才能到达你的眼睛。大部分蓝光..."

这就是让Exo对开发者强大的原因。你可以将它接入代理AI应用、LangChain、LlamaIndex、你自己的代理流水线，或任何OpenAI兼容的客户端。你的本地集群成为一个私有的推理端点。

5、Thunderbolt 5上的RDMA：下一个层次

如果你有配备Thunderbolt 5的M4 Pro或M4 Max硬件，Exo支持RDMA（远程直接内存访问）——这是macOS 26.2的新功能。据报道，这可将节点间延迟降低高达99%，实现通常与数据中心互连相关的性能。

我无法在当前设置中测试这一点（RDMA未启用的警告在我的截图中可见——我的机器使用WiFi而非Thunderbolt 5），但Jeff Geerling的4×M3 Ultra Mac Studio集群的基准测试显示Qwen3-235B以生产级速度运行。这就是这个工具可以达到的上限。

6、真实性能数据

以下是我在测试查询中观察到的结果：

• “天空为什么是蓝色的？”——TTFT：10,739毫秒，TPS：75.2个token/秒（每token13.3毫秒）
• “用Python写一个贪吃蛇游戏”——TTFT：4,049毫秒，TPS：69.1个token/秒
• 一般推理：整个会话保持68-75 TPS

对于一个完全在本地硬件上运行、零云成本的800亿参数思维模型来说，这些数据确实令人印象深刻。THINK模式（思维链推理）如预期增加了TTFT，但启用后模型质量明显更强。

7、Exo vs. LM Studio Link：何时使用哪个

这两个工具解决相邻但不同的问题：

• LM Studio Link——当你有一台强大的机器，想从网络上的较弱设备访问它时使用。一个主机，多个客户端。
• Exo——当你想将多台机器组合成单个虚拟GPU集群时使用。多个主机，一个模型。

如果你的目标是运行比任何单机支持的更大的模型——Exo是正确的工具。如果你的目标是方便和远程访问——LM Studio Link仍然很优秀。

8、结束语

Exo是我遇到的最实用的开源AI工具之一。入门门槛极低——尤其是在Mac上——而上限却极高。两年前，在连接到同一WiFi网络的两台笔记本电脑上分布式运行一个具备思维能力的800亿参数模型，听起来就像科幻小说。

如果你正在构建代理AI系统、运行本地实验，或者只是好奇你的硬件在协同工作时能做什么，试试Exo吧。在Mac上设置只需要两分钟。其影响将让你忙碌更长时间。

原文链接: I Turned Two Macs Into an 80B AI Cluster for Free — Exo Is the Open-Source Tool You’ve Been Waiting…

汇智网翻译整理，转载请标明出处

文章来源于互联网:用Exo搭建本地800亿参数AI集群

The post 用Exo搭建本地800亿参数AI集群 appeared first on 原立方.