企业官网建设流程全解析

如何用Open-AutoGLM实现外卖APP自动下单？

1. 这不是科幻，是今天就能跑通的手机自动化

你有没有过这样的时刻：深夜加班饿得发慌，打开外卖APP，翻了15分钟菜单，比写代码还累；或者要批量测试5个不同城市的配送地址，手动点开、输入、确认，重复20次——手指酸了，耐心没了，错误却多了。

现在，这些事AI能替你做了。

Open-AutoGLM 不是另一个“概念演示”模型，而是一个真正能在你手机上动手干活的AI助理。它不靠截图识别+规则匹配这种老办法，而是用视觉语言模型“看懂”屏幕上的每一个按钮、文字和图标，再像真人一样思考：“我现在在哪？下一步该点哪？输入框在哪？怎么填地址？”——然后，它就真的伸出手（通过ADB），帮你点、滑、输、确认。

重点来了：**它不需要你写一行UI自动化脚本，也不需要你提前录制操作流程。你只要说一句自然语言，比如：“帮我用美团点一份宫保鸡丁，送到公司前台，备注不要香菜”，它就能从打开APP开始，一路完成登录（如需）、搜索、加购、填地址、选支付方式、提交订单——全程自动。

本文不讲大道理，不堆技术参数，只带你一步步把这套能力装进自己的工作流。从零开始，30分钟内让AI替你下第一单。小白友好，真机实测，所有命令都可直接复制粘贴。

2. 先搞清楚：它到底怎么“学会用手机”的？

2.1 三层能力，缺一不可

Open-AutoGLM 的核心不是单一模型，而是一个协同工作的系统。理解这三层，你就知道为什么它比传统自动化更可靠：

• 看得清：它不是靠坐标或ID找按钮，而是用多模态视觉语言模型（VLM）实时分析手机当前屏幕截图。就像你一眼扫过去能认出“立即下单”按钮在哪，它也能。
• 想得对：接收到你的指令后，它先做意图解析（“点外卖”是核心目标），再结合当前界面状态（比如APP已打开但未登录），动态规划出完整操作链：登录 → 搜索 → 选择商品 → 填地址 → 提交。
• 做得准：规划好后，它通过 ADB（Android Debug Bridge）向手机发送精准指令——点击坐标、滑动距离、输入文本。整个过程无需root，不依赖APP内部接口，兼容99%的主流安卓应用。

关键区别：传统自动化工具（如Appium）像一个死记硬背的实习生，你必须教它每一步“点哪个ID”；而Open-AutoGLM像一个刚入职但学习能力极强的新同事，你只需告诉它目标，它自己观察、思考、执行。

2.2 外卖下单，它具体会做什么？

我们以“用饿了么点一杯冰美式，送到工位，备注加双份浓缩”为例，它实际执行的步骤远比你想象的细：

1. 环境检查：先确认饿了么APP是否已安装；若未安装，会提示你；若已安装但未登录，自动进入登录流程（支持短信验证码人工接管）；
2. 首页导航：识别首页的搜索框图标，精准点击；
3. 搜索执行：调用ADB Keyboard输入“冰美式”，触发搜索；
4. 结果筛选：分析搜索结果页，识别出评分高、距离近、营业中的咖啡店；
5. 商品选择：进入店铺页，找到“冰美式”商品，点击进入详情页；
6. 规格配置：识别“规格”选项，点击展开，选择“双份浓缩”；
7. 加购结算：点击“加入购物车”→跳转至购物车页→点击“去结算”；
8. 地址填写：识别“收货地址”栏，点击后自动填充预设的“公司前台”地址（支持自定义）；
9. 备注提交：在“订单备注”输入框中，准确输入“加双份浓缩”；
10. 最终确认：识别“提交订单”按钮，点击完成。

整个过程，它每一步都在“看”屏幕、“想”下一步、“做”动作。你看到的，只是手机自己在动。

3. 真机实操：三步搞定本地控制端部署

别被“云服务器”“GPU”吓到。本文提供两种路径：轻量级本地运行（推荐新手）和高性能云部署（适合批量任务）。我们先走最简单的本地路，确保你能亲眼看到AI下单。

3.1 你的电脑需要什么？（极简清单）

避坑提醒：很多失败源于Python版本不对或ADB没配好。这两步花5分钟搞定，后面省2小时。

3.2 5分钟速配ADB（Windows/macOS通用）

Windows用户：

1. 下载 platform-tools（解压后得到adb.exe等文件）；
2. 右键“此电脑”→“属性”→“高级系统设置”→“环境变量”→在“系统变量”里找到Path→“编辑”→“新建”→粘贴你解压的platform-tools完整路径（如C:\adb）；
3. 打开CMD，输入adb version，看到版本号即成功。

macOS用户：

1. 终端执行：

# 下载并解压后，假设路径为 ~/Downloads/platform-tools echo 'export PATH=$PATH:~/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc adb version

看到版本号即成功。

3.3 手机端三步设置（1分钟搞定）

1. 开开发者模式：手机“设置”→“关于手机”→连续点击“版本号”7次，弹出“您现在是开发者”；
2. 开USB调试：“设置”→“系统”→“开发者选项”→打开“USB调试”（部分机型还需开“USB调试（安全设置）”）；
3. 装ADB Keyboard：下载APK，安装后，在“设置”→“语言和输入法”→“默认输入法”中切换为 ADB Keyboard（这步漏掉，AI无法打字！）。

3.4 本地运行控制端（3条命令）

一切就绪，打开终端（CMD或Terminal），逐行执行：

# 1. 克隆代码（国内用户建议加 --depth=1 加速） git clone --depth=1 https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM # 2. 创建虚拟环境并安装（自动处理依赖冲突） python -m venv venv source venv/bin/activate # macOS/Linux # venv\Scripts\activate # Windows pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/ pip install -e . # 3. 运行外卖下单示例（替换为你的真实设备ID） adb devices # 查看设备ID，如 "ZY223456789" python main.py \ --device-id ZY223456789 \ --base-url https://api.zhipu.ai/v1 \ --model autoglm-phone-9b \ "用美团点一份宫保鸡丁，送到公司前台，备注不要香菜"

设备ID在哪找？
执行adb devices后，输出第一列就是你的设备ID（如ZY223456789）。如果显示unauthorized，请在手机弹窗点“允许”。

首次运行会自动下载模型（约1.2GB），等待5-10分钟。之后，你会看到终端滚动日志：“正在分析屏幕...”“识别到搜索框...”“正在输入‘宫保鸡丁’...”，同时手机屏幕开始自动操作。

4. 外卖场景深度实践：从下单到批量管理

光跑通demo不够。我们聚焦真实需求，给出可直接复用的方案。

4.1 让AI记住你的常用地址和偏好

每次下单都要说“送到公司前台”，太啰嗦。Open-AutoGLM 支持预设上下文，只需在指令前加一段描述：

python main.py \ --device-id ZY223456789 \ --base-url https://api.zhipu.ai/v1 \ --model autoglm-phone-9b \ "我的常用地址是：北京市朝阳区建国路88号SOHO现代城A座10层，公司前台；常用备注：不要香菜，打包盒。现在用饿了么点一份黄焖鸡米饭，送到这个地址。"

它会把这段信息作为背景知识，自动填充地址和备注，不再需要你重复口述。

4.2 批量测试不同城市配送（运营/测试人员刚需）

假设你是外卖平台的产品经理，需要验证北京、上海、深圳三地的配送时效。传统方式要手动切城市、改地址、下单、截图——10分钟/城。用AI：

# batch_order.py from phone_agent.main import run_agent cities = [ ("北京市朝阳区", "黄焖鸡米饭"), ("上海市浦东新区", "小笼包"), ("深圳市南山区", "肠粉") ] for city, dish in cities: instruction = f"用美团点一份{dish}，送到{city}，备注：测试订单，请勿实际配送" run_agent( device_id="ZY223456789", base_url="https://api.zhipu.ai/v1", model="autoglm-phone-9b", instruction=instruction ) print(f" {city} 订单已提交")

保存为batch_order.py，运行python batch_order.py，AI会自动循环执行，每单间隔30秒，全程无人值守。

4.3 敏感操作人工接管（安全底线）

涉及支付、登录时，AI不会强行操作。它内置了安全确认机制：

• 当检测到支付密码输入框、短信验证码页面时，它会暂停执行，终端输出：“ 检测到敏感操作：短信验证码。请人工输入后按回车继续”；
• 你只需在手机上手动输入验证码，回到终端按回车，AI继续后续步骤。

这是它与“黑产脚本”的本质区别：它尊重人的决策权，只在安全范围内自动化。

5. 云部署进阶：让AI 24小时为你抢单

本地运行适合体验和小规模使用。若你需要：

• 同时控制10台手机批量下单（电商大促备货）；
• 让AI在凌晨3点自动抢购限量版咖啡券；
• 集成到企业微信，销售发消息“帮客户下单”，AI自动执行；

那么，云部署是必选项。这里给出最简路径（基于AutoDL，30分钟搞定）：

5.1 云主机配置（抄作业版）

5.2 关键一步：手机映射到云主机

本地电脑能连手机，是因为USB直连。云主机没USB口，怎么办？用AutoDL SSH隧道工具：

1. 下载 AutoDL-SSH-Tools；
2. 登录你的AutoDL账号；
3. 找到你的云主机，点击“USB映射”→“连接”；
4. 在云主机终端执行adb devices，看到你的手机ID，即映射成功。

此时，云主机就“拥有”了你的手机，所有操作和本地完全一致。

5.3 运行效果对比（实测数据）

云部署不是为了炫技，而是让自动化从“玩具”变成“生产力工具”。

6. 常见问题与实战解决方案

6.1 “手机没反应，终端卡在‘正在分析屏幕’”

90%是ADB Keyboard没启用。
解决：手机“设置”→“语言和输入法”→确认“ADB Keyboard”是默认输入法（不是“已安装”，是“正在用”）。

6.2 “识别错了按钮，点了广告不是搜索框”

这是多模态模型的正常现象。给它更明确的指令：
❌ “搜美食” → 模糊，易误判
“在美团APP首页，点击顶部的搜索框图标” → 明确APP、位置、目标

模型越具体，成功率越高。

6.3 “下单成功了，但地址填错了”

检查两处：

1. 指令中地址是否精确：写“朝阳区”不如写“朝阳区建国路88号”；
2. APP是否已保存该地址：首次使用，先手动在美团APP里添加一次“公司前台”地址，AI才能复用。

6.4 “想让它自动回复外卖骑手消息，可以吗？”

可以，但需额外配置。Open-AutoGLM 本身专注“界面操作”，消息回复属于“APP内功能”。你需要：

• 先用AI打开聊天窗口（点击最新一条骑手消息）；
• 再调用另一个轻量模型（如Qwen2-0.5B）生成回复文本；
• 最后由Open-AutoGLM执行“输入文本+发送”动作。
  这是一个典型的“Agent编排”场景，我们在后续文章详解。

7. 总结：自动化不是替代人，而是让人回归创造

我们用Open-AutoGLM实现了外卖自动下单，但这只是冰山一角。它的真正价值在于：

• 把人从重复劳动中解放出来：测试工程师不用再点20次“提交订单”，运营人员不用手动改10个地址；
• 让复杂操作变简单：不懂ADB、不学Python的人，也能用自然语言指挥手机；
• 构建可扩展的自动化基座：今天是外卖，明天可以是自动挂号、自动抢票、自动填报表。

它不承诺“100%完美”，但提供了足够高的起点——第一次运行成功，你就会相信：手机，真的可以成为你的AI分身。

现在，合上这篇文章，拿起你的手机，连上电脑，复制那三条命令。30分钟后，你会看到屏幕自己动起来，完成人生第一单AI外卖。那一刻，你不是在用工具，而是在指挥一个新同事。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。