如何零代码搞定浏览器自动化:Hermes Agent 竞品网页数据采集实战
【免费下载链接】hermes-agentThe agent that grows with you项目地址: https://gitcode.com/GitHub_Trending/he/hermes-agent
每天早上,我都要打开三个竞品页面,把价格抄进表格,半小时就没了。现在这件事交给了 Hermes Agent 的浏览器自动化模块:它自己打开网页、读懂快照、点按钮、填表单,我只要描述一句需求。
本地模式装 Hermes Agent 浏览器自动化
默认走本地模式,零成本,底层是 headless Chromium。装 CLI 再下载一次浏览器即可:
npm install -g agent-browser agent-browser install # Debian/Ubuntu/Docker 可加 --with-deps装完第一次导航,本机大概 3 秒返回快照。如果不想维护本地浏览器,把BROWSERBASE_API_KEY、BROWSERBASE_PROJECT_ID或BROWSER_USE_API_KEY放进环境变量就行。系统会自动检测可用凭据并选择后端,不用手动切换。
| 模式 | 特点 | 适合 |
|---|---|---|
| 本地 | 零成本,响应快 | 开发、测试 |
| 云 | 隐身、代理 | 生产环境 |
下一个难点是怎么让 agent 读懂一个页面。
浏览器自动化核心四步:快照、定位、输入、滚动
我的日常任务是竞品日报:每天抓两个竞品的商品名、价格和活动信息。整个流程只用到四个调用。
from tools.browser_tool import browser_navigate, browser_snapshot, browser_click, browser_scroll tid = "daily_report_acme" # 每个任务唯一 ID,会话互相隔离 browser_navigate("https://shop.acme-gadget.com/robot-vacuum", task_id=tid) page = browser_snapshot(task_id=tid) # 快照里每个可交互元素带 @e 编号 browser_click("@e7", task_id=tid) # @e7:切到"每日特惠"标签 browser_scroll("down", task_id=tid) # 滚到底部拿完整参数表快照是理解一切的钥匙。full=False只列交互元素,够日常用;页面内容多时换full=True拿全量。我第一次跑通时就卡在引用上:@e3点不动,后来发现是页面跳转后旧编号失效了,重拍一张快照才好。
表单输入同理。browser_type会自动清空原内容再输入,配合browser_key("Enter")提交。task_id 建议写得有含义,比如daily_report_acme_0619,出问题时一眼能对上是哪天哪个源。
同一个 task_id 会复用同一会话,所以多步骤操作别换 ID。
进阶:视觉分析处理复杂页面
快照是文本,遇到图表和截图类内容就不好使了。这时用browser_vision直接问视觉模型:
from tools.browser_tool import browser_vision, browser_screenshot answer = browser_vision("这个报价单里总价和折扣各是多少?", task_id="daily_report_acme") img = browser_screenshot(task_id="daily_report_acme") # 截图留档图表读数、验证码识别、布局判断都走这条路。另外两个工具我偶尔用:browser_get_images批量拿页面图片 URL 和 alt 文本,browser_console看控制台报错或执行一行 JS。用完想立刻释放资源,调一次browser_close即可,不调也没关系。
坑与对策
@e 引用点不中。页面跳转或刷新后,旧快照的编号就作废了。操作前重新执行一次browser_snapshot,拿新编号再点。
⏱ 闲置几分钟操作失败。会话默认 300 秒不活动就自动释放,可以用环境变量BROWSER_INACTIVITY_TIMEOUT调大。关键步骤加一层重试,失败后带原 task_id 重连。
访问竞品被拦。headless 浏览器容易被识别。换云模式开隐身和代理,同时把请求频率降下来;抓数据时留意目标站的 robots 条款,别踩线。
收尾
浏览器自动化把"手动抄数据"变成一句话任务。下一步:装好本地模式,挑一个你每天要看的页面跑通它。
【免费下载链接】hermes-agentThe agent that grows with you项目地址: https://gitcode.com/GitHub_Trending/he/hermes-agent
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考