# 浏览器 AI 自动化深度解析：扩展插件、CDP 与内核改造三大路线及演进趋势

> 深入剖析当下浏览器 AI 自动化的主流技术方案：从 Codex 与 Claude 的扩展插件，到 Playwright 与 browser-use 的 CDP 控制，再到 ego-lite 的内核深度改造。拆解观察-思考-行动循环中的页面剪枝、元素引用保持、真人行为伪装与 Chromium 协议演进趋势。

Source: https://console.getchrovia.com/zh/blog/ai-browser-automation-architecture

大模型时代的网页自动化，正在彻底改变传统自动化脚本与 RPA 的实现方式。过去写自动化，必须对着开发者工具梳理选择器、写死点击逻辑，网页稍微改版或类名更新，脚本就容易失效。现在的方式转变为直接给 AI 表达业务目标：“去后台把近一周待发货的订单导出来”、“对比三个竞品页面的现货价格”。AI 自行观察页面状态，动态决定下一步是点击、翻页还是填表。

但大模型本身并不能直接操作浏览器。它需要一套中间层：把复杂的网页 DOM 提炼成大模型能够理解的结构化上下文，再把大模型输出的动作意图转化为可靠的浏览器操作。

目前行业内的浏览器 AI 自动化方案，从架构分工和控制权所在的位置来看，主要分为三条清晰的技术路线：**扩展插件 + 本地通信（Native Messaging）**、**外部调试协议（CDP）**，以及**深度定制浏览器内核**。

## 一、 当前 AI 自动化的三条主流路线

### 1. 扩展插件路线：基于 Native Messaging 复用用户真实环境

扩展路线的核心特点在于贴合用户日常工作流。在常用的浏览器中，通常已经登录了业务系统、邮箱和后台，保留了现成的 Cookie 与认证状态。让 AI 直接接入当前浏览器，可以省去迁移凭据和重新搭建环境的步骤。

这条路线的代表产品包括 OpenAI 面向 **Codex 的 Chrome 浏览器扩展** 以及 Anthropic 的 **Claude in Chrome**。OpenAI 允许在桌面客户端中通过联动扩展发起浏览器任务；Claude Code 接入 Chrome 时同样通过本地通信（Native Messaging）机制与扩展建立连接。

在架构上，浏览器扩展与外部原生应用处于隔离状态。该方案通过在操作系统中注册本地通信通道，让终端或桌面端中的 AI 运行环境与浏览器插件双向收发消息。任务指令由外部推给插件，插件通过脚本或扩展 API 操作网页，再把页面信息传回模型。在需要更底层控制时，扩展还可以调用调试权限（如 `chrome.debugger`）调度部分 CDP 指令。

- **优势**：无需重新登录，直接复用真实用户的会话状态与配置，适合个人日常桌面助手场景。
- **局限**：权限依赖较重；本地通信安装容易受环境差异影响；当用户与 AI 同时使用同一个浏览器标签页时，容易产生交互冲突。

### 2. CDP 协议路线：基于标准调试协议的外部控制

CDP（Chrome DevTools Protocol）是 Chromium 原生提供的底层调试与控制协议。外部程序只要连接浏览器的调试端口，就可以通过 WebSocket 控制页面生命周期、读取 DOM 树、执行脚本、监听网络请求并模拟系统级输入。

在开源生态中，这条路线的代表工具是通用的自动化框架 **Playwright** 以及面向大模型 Agent 设计的 **browser-use**。

两者定位不同：Playwright 是一套跨浏览器的通用自动化基座，除了自有协议，也支持通过 `connectOverCDP` 直接接管开启远程调试端口的 Chromium 实例；browser-use 等工具则进一步贴合智能体特点，把底层的 CDP 操作封装为适合大模型理解与调用的动作接口。

- **优势**：职责明确，分层清晰。浏览器只需开放标准 CDP 端口，上层 AI 框架和模型可以自由选型与替换。
- **局限**：原生 CDP 并非专门为大模型设计，暴露的调试信息较为庞大，页面清洗、动态等待与状态校验需要由上层工具专门处理。

### 3. 内核改造路线：依托 Actor 系统与成熟基础设施进行底层定制

第三条路线直接在浏览器内核源码层面进行定制。在这条路线上，通常并不需要完全重写所有能力，而是依托并改造 Chromium/Blink 内核中现成的 **Actor 系统**——它本身就具备相对成熟的观察能力（如通过辅助功能通信协议 ACP 提取语义树）与底层的动作调度基础设施。

开源项目 **ego-lite** 是这一路线的典型代表。该类方案通过深度适配内核中的 Actor 机制与无障碍支持通道（ACP），直接在渲染引擎底层把复杂的 DOM 结构过滤为面向大模型的紧凑页面快照（Snapshot），并为可交互节点生成结构化编号（如 `@1`、`@2`），同时复用底层的动作分发通道，使点击与输入在渲染引擎内部直接执行。

此外，内核定制方案还可以依托 Actor 架构实现独立工作区隔离（Space），把前台人工浏览界面与后台自动化任务会话从渲染和事件处理层面分离开来，避免自动化运行时争夺前台焦点和输入光标。

- **优势**：性能出色，页面提炼紧凑；在穿透深层 Shadow DOM 和跨域 iframe 时具备原生支持；能实现较好的人机协作隔离。
- **局限**：维护成本高，需要持续同步 Chromium 庞大的上游版本演进、安全补丁与多平台编译维护。

## 二、 核心架构：观察 - 思考 - 行动循环

无论接入形态如何变化，浏览器 AI 自动化的核心都建立在经典的控制循环之上：**观察（Observe） -> 思考（Reason） -> 行动（Act）**。

1. **观察**：浏览器或中间层读取当前页面状态，经过剪枝和加工后提供给模型。
2. **思考**：大模型结合用户目标与当前页面上下文，判断任务进度，决定下一步执行什么动作（点击、填写、翻页或结束）。
3. **行动**：中间层将模型给出的动作决策转化为具体的浏览器交互事件。
4. **再观察**：动作执行后页面产生状态变化，系统重新采样校验执行结果，开启下一轮迭代。

模型负责逻辑推理，而观察与行动两端的效果，则高度依赖浏览器提供的接口设计与中间层质量。

## 三、 观察层的核心：页面结构剪枝与跨轮次引用保持

直接将完整的网页 HTML 传入大模型，通常会导致效率低下且容易出错。观察层主要解决两个关键问题：

### 1. 结构剪枝：精简 Token 消耗并保留业务语义

现代网页结构普遍庞大，一个管理后台往往包含数千个 DOM 节点，夹杂大量布局标签、样式代码与内联脚本。完整输入不仅造成巨大的 Token 成本与延迟，冗余信息还会干扰模型对关键输入框与按钮的定位。

主流做法是借助浏览器的**无障碍辅助树（Accessibility Tree）**进行剪枝。这套结构天然去除了纯排版样式的干扰，聚焦于交互节点的语义角色（Role）、名称（Name）、当前状态和取值。

剪枝需要把握平衡：过滤过于激进容易丢失必要的上下文。例如保留了“删除”按钮，却去掉了相邻的商品名称或订单号，模型便无法准确判断操作目标。合理的剪枝应当在提炼交互入口的同时，完整保留所属卡片、行项的关联信息。

### 2. 跨轮次引用保持：确保动作与目标元素一致

当模型决定操作某个元素时，需要稳定的引用方式传递给执行器。动态生成 XPath 或坐标容易因排版变化或页面重排出现偏差。

当前普遍的方案是在快照阶段为可交互节点分配临时引用编号（如 `@1`、`@2`），模型直接调用相应编号触发动作。

网页在用户操作、异步加载或弹窗弹出后，DOM 树随时可能发生变化。上一轮的编号在页面更新后不应继续盲目复用。成熟的引用机制应当在检测到实质性页面变动后主动使旧编号失效，并在下一步前重新观察。明确报错并重新采样，比误点失效节点更为安全可控。

## 四、 行动层的核心：真实交互还原与防机器人识别

将动作意图转化为实际交互时，单纯调用脚本方法往往无法满足实际业务需求，行动层需要兼顾交互真实性与风控应对。

### 1. 还原完整的用户交互时序

许多前端框架（如 React、Vue）依赖完整的事件监听与受控状态。直接通过脚本为输入框属性赋值，往往无法触发内置的状态同步，导致提交时表单依然校验失败。

可靠的行动层需要模拟接近真实用户的按键与焦点序列，规范触发聚焦、输入、按键释放与内容变更事件，使表单与业务逻辑正常流转。

### 2. 行为拟真与环境特征的配合

网站的反自动化与风控检测通常结合两类维度：

- **环境指纹特征**：检测浏览器调试痕迹、底层 Canvas/WebGL 渲染特征、时区语言与出口网络等基础属性。
- **操作行为特征**：评估鼠标轨迹曲线、按键间隔、页面滚动习惯与请求频率。

无停顿的瞬移点击容易触发行为风控规则。动作调度通常会加入平滑的轨迹曲线与自然的敲击间隔。但伪装操作并不能独立解决所有识别问题；若底层的网络环境与浏览器指纹存在明显漏洞，前端动作无论如何模拟都难以保证长效稳定。底层的环境隔离与上层的动作拟真需要协同配合。

## 五、 平台演进趋势：Chromium 的 AI 原生化能力拓展

面对智能体自动化的普及，Chromium 正在协议与接口层面逐步补充面向 AI 的专用能力。

### 1. 从界面推断走向主动暴露：WebMCP 的探索

通过识别界面文本反推操作路径，容易受页面微调干扰。Google 正在推进 **WebMCP（Web Model Context Protocol）** 标准，允许网页在客户端直接注册结构化的功能与工具（例如直接提供商品查询或表单提交函数）。智能体在访问支持该标准的网站时，可以直接通过标准接口调用功能，降低对视觉交互的单一依赖。Chrome 已就此开放相关试验计划。

### 2. CDP 协议层的同步扩展

在最新的 Chromium 开发版协议（ToT）中，已经可以看到新设立的 **`WebMCP` 协议域**，专门覆盖工具注册、调用与生命周期管理事件。这意味着 CDP 正在从传统的开发者审查工具，延伸出面向智能体交互的原生调试与调用能力。

未来的网页生态更可能呈现并存状态：部分现代站点逐步支持结构化调用，而大量存量网页依然依托无障碍树快照与拟人交互来完成自动化。

## 六、 Chrovia 的定位：开放标准 CDP，聚焦底层环境底座

面对多样的自动化框架与算法演进，**Chrovia 选择在定制内核中直接开放标准的 Chromium CDP 接口**。

任何支持标准 CDP 协议的开源项目与外部框架——无论是 Playwright、Puppeteer，还是 browser-use 及各类私有 Agent——都可以直接连接已启动的 Chrovia 浏览器实例完成自动化。

这种分工带来了清晰的解耦：

1. **专注保障底层的纯净隔离与防风控能力**：Chrovia 依托自研内核提供指纹覆盖、代理网络隔离、系统代理链覆盖与凭据管理，为自动化提供稳定合规的运行环境，减少因环境异样带来的封控风险。
2. **将模型与控制逻辑交给开源生态自由演进**：上层的 Agent 架构和模型更新迅速。通过标准 CDP 解耦后，开发者可以使用熟悉的框架和最新模型，不必绑定在封闭的一体化方案中。

## 结语

浏览器 AI 自动化不仅是模型调用与脚本执行的简单组合。无论是采用即插即用的扩展插件、通用的 CDP 外部编排，还是定制化的内核级改造，核心都在于构建一个健壮的闭环：**在观察时准确提炼信息，在多轮交互中保持引用可靠，在行动时还原真实交互，并在底层维持纯净稳定的浏览器环境**。

随着标准协议对智能体场景的支持逐步深入，浏览器正在成为人类与 AI 协同工作的重要平台。
