UI-TARS 桌面版使用指南:改 3 处配置,第一次就能让 AI 替你点鼠标
【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop
每天总有那么几件事不复杂、但很耗时间:打开五个窗口、翻到一个设置项、逐项点过去、再检查结果。UI-TARS 桌面版(UI-TARS Desktop)是一个开源的 GUI 自动化桌面应用,你在输入框里打一句"帮我把 VS Code 的自动保存打开",它自己看屏幕、找按钮、动鼠标。这篇文章带你从安装一路做到跑通第一个任务。
它到底是个什么工具
一句话说清楚:UI-TARS 桌面版是装在你电脑上的一个"数字手",替你把点鼠标、敲键盘这些事做掉。
- 装完即用的桌面应用:官方提供 Windows 和 macOS 安装包,不需要写代码、不用配运行环境。
- 靠"看"屏幕来操作:底层的视觉语言模型(VLM)每步都拿到一张屏幕截图,自己判断"按钮在哪"。传统自动化脚本要写死每个控件的位置,它不需要。
- 两种执行模式:Local Computer 直接操作桌面应用,Local Browser 操作 Chrome / Edge / Firefox。首页另有远程模式的免费试用入口(官方远程试用服务会到期下线,日常以本地模式为主)。
它其实就是在扮演"另一个坐在你工位上的人":看屏幕、出主意、动手点,每一步都在你眼皮底下发生。
四步装好并授权
下载安装包。macOS 有 Homebrew 的话一条命令搞定:
brew install --cask ui-tars其他情况从官方 Releases 页面下载对应系统的安装包即可。
安装。macOS 把 UI TARS 图标拖进 Applications;Windows 双击安装程序,按向导走。
给两个权限(macOS 必做)。系统设置 → 隐私与安全性,把 UI TARS 同时加进"辅助功能"和"屏幕录制"并打开开关,官方 docs/quick-start.md 里也是这么写的。
打开应用。你会看到首页的 "Welcome to UI-TARS Desktop" 欢迎页,下面摆着 Computer Operator 和 Browser Operator 两张卡片。
首次启动要填哪几处
应用本身不带模型,需要在设置里接一个 VLM 服务。官方文档给出两条路:Hugging Face 上的 UI-TARS-1.5-7B,或火山方舟(VolcEngine Ark)上的 Doubao-1.5-UI-TARS,选一条你拿得到的就行。
路径:左下角齿轮图标 → Settings → VLM Settings,填四个字段:
| 字段 | 填什么 |
|---|---|
| VLM Provider | 如 Hugging Face for UI-TARS-1.5 |
| VLM Base URL | 部署平台给的地址,必须以 /v1/ 结尾 |
| VLM API Key | 部署平台的密钥 |
| VLM Model Name | 如 UI-TARS-1.5-7B |
三个值的来源:去模型平台点 "Deploy from Hugging Face",选 UI-TARS-1.5-7B 部署,控制台会给你 Endpoint、API Key 和模型名。填完点Check Model Availability,提示连通即可。每个参数的详细说明在 docs/setting.md。
最容易踩的点:Provider 和模型版本必须配对。模型用的是 1.5,Provider 却选了 1.0 的选项,动作解析会整体跑偏。
跑通第一个任务
回到首页,点Use Local Computer(浏览器任务则点 Use Local Browser)。
在底部输入框直接打第一句指令,比如:
Could you help me check the latest open issue of the UI-TARS-Desktop project on GitHub?
回车后右侧是实时画面流,左侧是对话记录。你能看着它自己打开浏览器、定位到项目页面、把最新 issue 读出来。它每步走的都是"看截图 → 决定动作 → 执行鼠标键盘"这个循环,中途走偏了随时可以打断,再补一句说明就行。
任务结束后点右上角的 Share,可以把执行报告存成本地 HTML 文件,里面是每一步的截图和动作,方便复盘哪一步出了问题。
两个顺手就能用的功能
预设配置。不想每次换机器都手填一遍四个字段的话,把配置打包成 YAML 预设,在 Settings 里点 "Import Preset Config" 导入即可,支持本地文件和远程 URL。仓库里有一份可直接抄的示例模板:examples/presets/default.yaml,规则说明见 docs/preset.md。
场景切换与历史。输入框左下角的小图标可以在 Computer Use 和 Browser Use 之间切换;左侧 History 列表保存每一次执行过的任务,点进去能看到完整回放。
最容易踩的四个坑
1. 画面不动、指令没反应现象:应用开着,但输入指令后电脑毫无动作。 原因:macOS 的"屏幕录制"权限没开,模型根本拿不到画面。 办法:隐私与安全性 → 屏幕录制里加上 UI TARS 并勾选,然后重启应用。
2. Check Model Availability 报错现象:设置页检查模型时连不通。 原因:Base URL 少了 /v1/ 后缀,或者 Provider 和模型版本不匹配。 办法:对着部署平台控制台核对 Endpoint,保留 /v1/ 结尾,Provider 按模型版本选(1.5 就选 1.5 那项)。
3. 点错位置、坐标漂移现象:双屏环境下有时操作落到另一块屏幕上。 原因:官方文档明确说明目前只支持单显示器配置。 办法:暂时用单屏模式,把任务集中在主屏完成。
4. 浏览器模式起不来现象:点 Use Local Browser 后报错。 原因:Browser Operator 依赖本机装着 Chrome、Edge 或 Firefox。 办法:装好其中任意一个浏览器再重试。
看完先做什么
别急着上复杂任务。先挑一个你天天用的应用里的设置项(自动保存、语言、亮度都行),让 UI-TARS 桌面版把它改掉。等它当着你的面完成"找到入口 → 展开选项 → 改掉值 → 汇报完成"这一整套,你就对它的速度和能力边界有体感了。跑顺之后,再换成浏览器任务、更长的指令逐步加码。
【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考