跳转至

让 Agent 像真人一样看网页,终于做到了。

来源:https://mp.weixin.qq.com/s/GD-hjbsfC1zOUUODTiZDaw

让 Agent 去操作浏览器这件事儿,听上去很容易,但是实际上做起来全是坑。 反爬拦截、Token 爆炸、经验不能积累,这三个问题就相当于三座大山。 最近我在 GitHub 上刷一个项目,它用三层结构把这三个大山都搬走了。 它叫 BrowserAct,在 GitHub 上已经获得了2900 多个星星。

img 用一句话来总结就是: 它是一套专门给Agent用的浏览器自动化工具。 以前做这件事是在 Agent 上加一层 Playwright ,勉强可以用,但是这两个框架并不是为Agent而设计的。 真实的网络上有很多反爬机制,一上去了就遇到拦截。 即使没有被拦截,原始HTML动不动就几万个token,成本也会爆炸;换一个网站又要重新摸索DOM结构。

BrowserAct 用三层架构,把这些问题都解决了。

01 环境层突破:使Agent看起来像人一样。 做跨境电商的人们都会遇到这样的问题:要对竞争对手在亚马逊上的价格变动进行监控。 传统的做法是逐个打开商品页面进行截图和记录,既耗时又容易出错。 找个Agent给你干 ? 我们都知道亚马逊有很强大的反爬虫机制,普通的Agent一进来就被拦截了。

img BrowserAct 为了解决该问题而创建了一个环境层。 使用 stealth 反检测浏览器、指纹伪装、动态代理、session/cokkie/profile 隔离等方法来使Agent看起来更像真人,而不是一个自动化的脚本。 比如让 Agent 在亚马逊上搜索“无线鼠标”,那么它就会启动 stealth 浏览器,并且使用普通用户的手指印来伪装自己,从而绕过反爬虫检测。

img 还可以输入序号让它查看详情页。

img 网站所看到的是“一台Windows机器上正常的请求”,而不是“一个自动化的脚本在访问”。 理论上看来很完美,不过为了万无一失。 它还会到 bot.sannysoft.com 做反检测测试。 结果很牛X,全部都为绿色通过。

img 02 执行层自动化:用一条命令就能完成很多的工作。 环境层解决的是“进去”的问题,执行层解决的是“拿出来”的问题。 Agent 不用自己去解决“怎么绕过反爬”的底层问题了,可以直接用标准命令来控制浏览器。 比如点击第三个交互元素,在第二个输入框里填入“...”,用stealth-extract来提取被保护网页的内容。 返回的结果不是原来的 HTML,而是转化成了结构化数据,可以把商品名称、价格、店铺、销量等信息保存到Excel里。

img

img 虽然亚马逊的反爬机制一直都很严格,但是 BrowserAct 可以正常访问页面并且提取出商品数据,甚至连Prime配送信息也可以正确抓取。

img 03 人机交互层合作:当机器人卡住了的时候不要着急,让人类来接替。 最上层是人机交互层,Agent 卡住的时候,可以生成远程链接让人接手。 比如亚马逊查看卖家后台的数据要登录验证,Agent 打开页面之后发现需要登录,就会自动暂停并生成一个远程链接。

img 点击链接完成登录验证之后,Agent 获得到了登录状态并且接着去获取卖家后台的数据。

img 另外它还把 Token 成本压下来了。 官方给了一组数据 : 原始 HTML 大概有五万个tokens,在过滤之后只剩下两千多个tokens左右,减少了90%以上。 这个数字不是瞎编的,在官网上有一个演示,抓取了Amazon Electronics Bestsellers前80条的数据。 总共用时 2 分 14 秒。 成本对比很明显:Playwright MCP 是 1.75 美元,而 BrowserAct 只有 0.07 美元。

img

它有三种浏览器模式,根据场景来选择

img 01 Chrome模式:使用你已经登录过的账号 复用本地Chrome的登录信息,不必再重复输入用户名、密码或做验证。 02 Stealth 隐私模式:新的“干净身份”访问 每次都会产生一个新的浏览器指纹、一个新的代理IP,这就相当于有一个新的用户来访问网站一样。 03 保密固定身份模式:稳定多账号运营 用固定的指纹和固定的IP地址,在每个浏览器环境中都会产生一个长久稳定、独一无二的身份。

还有一个更强大的功能:用 Skill Forge 自动生成可复用的 Skill

Skill Forge 可以根据你的需求,自动帮你生成 Skill。 比如说你要“提取亚马逊鼠标排行榜前 10 名的商品”,不需要你自己去研究网页结构,也不用自己写脚本。 只需安装并调用 Skill Forge,然后用自然语言说出你的需求。 它会自动分析出要使用哪种方案(如DOM API、页面操作等等),并生成相应的Skill,最后进行测试验证。 整个过程就是给 AI 提要求,然后由它把需求转化为可以重复使用的 Skill。

img Skill Forge 地址: https://github.com/browser-act/skills/tree/main/browser-act-skill-forge 该项目中已经预制了70多个技能,包括Amazon、淘宝、闲鱼等平台。

img

看完这些功能,相信各位已经迫不及待了

直接打开 Claude Code,输入:

请帮我安装 BrowserAct Skill: https://github.com/browser-act/skills/tree/main/browser-act
Claude Code 会自动完成安装并验证功能。

img 下面是我做亚马逊搜索无线鼠标案例所用到的所有命令供各位参考。

img

写在最后

Agent 的下半程,并不是比谁的对话更优美,而是看谁执行得更快。 BrowserAct 让 Agent 可以像人一样使用浏览器。 它大多数的功能是免费的,只有在需要用到代理时才需要付费。 有需要的朋友可以装上用一下。 项目基于 MIT 协议开源,感兴趣的同学可以去 GitHub 仓库看看源码和文档。 开源地址:https://github.com/browser-act/skills 官网:https://www.browseract.ai/kyrj 既然看到这了,欢迎随手点赞、在看、转发,也可以给我个星标⭐,接收最新的文章,我们下期见!

            预览时标签不可点




































<div class="