☰
UI-TARS 桌面版使用指南:改 3 处配置,第一次就能让 AI 替你点鼠标
2026/10/17 19:51:57 网站建设 项目流程

UI-TARS 桌面版使用指南:改 3 处配置,第一次就能让 AI 替你点鼠标

【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop

每天总有那么几件事不复杂、但很耗时间:打开五个窗口、翻到一个设置项、逐项点过去、再检查结果。UI-TARS 桌面版(UI-TARS Desktop)是一个开源的 GUI 自动化桌面应用,你在输入框里打一句"帮我把 VS Code 的自动保存打开",它自己看屏幕、找按钮、动鼠标。这篇文章带你从安装一路做到跑通第一个任务。

它到底是个什么工具

一句话说清楚:UI-TARS 桌面版是装在你电脑上的一个"数字手",替你把点鼠标、敲键盘这些事做掉。

  • 装完即用的桌面应用:官方提供 Windows 和 macOS 安装包,不需要写代码、不用配运行环境。
  • 靠"看"屏幕来操作:底层的视觉语言模型(VLM)每步都拿到一张屏幕截图,自己判断"按钮在哪"。传统自动化脚本要写死每个控件的位置,它不需要。
  • 两种执行模式:Local Computer 直接操作桌面应用,Local Browser 操作 Chrome / Edge / Firefox。首页另有远程模式的免费试用入口(官方远程试用服务会到期下线,日常以本地模式为主)。

它其实就是在扮演"另一个坐在你工位上的人":看屏幕、出主意、动手点,每一步都在你眼皮底下发生。

四步装好并授权

  1. 下载安装包。macOS 有 Homebrew 的话一条命令搞定:

    brew install --cask ui-tars

    其他情况从官方 Releases 页面下载对应系统的安装包即可。

  2. 安装。macOS 把 UI TARS 图标拖进 Applications;Windows 双击安装程序,按向导走。

  3. 给两个权限(macOS 必做)。系统设置 → 隐私与安全性,把 UI TARS 同时加进"辅助功能"和"屏幕录制"并打开开关,官方 docs/quick-start.md 里也是这么写的。

  4. 打开应用。你会看到首页的 "Welcome to UI-TARS Desktop" 欢迎页,下面摆着 Computer Operator 和 Browser Operator 两张卡片。

首次启动要填哪几处

应用本身不带模型,需要在设置里接一个 VLM 服务。官方文档给出两条路:Hugging Face 上的 UI-TARS-1.5-7B,或火山方舟(VolcEngine Ark)上的 Doubao-1.5-UI-TARS,选一条你拿得到的就行。

路径:左下角齿轮图标 → Settings → VLM Settings,填四个字段:

字段填什么
VLM Provider如 Hugging Face for UI-TARS-1.5
VLM Base URL部署平台给的地址,必须以 /v1/ 结尾
VLM API Key部署平台的密钥
VLM Model Name如 UI-TARS-1.5-7B

三个值的来源:去模型平台点 "Deploy from Hugging Face",选 UI-TARS-1.5-7B 部署,控制台会给你 Endpoint、API Key 和模型名。填完点Check Model Availability,提示连通即可。每个参数的详细说明在 docs/setting.md。

最容易踩的点:Provider 和模型版本必须配对。模型用的是 1.5,Provider 却选了 1.0 的选项,动作解析会整体跑偏。

跑通第一个任务

回到首页,点Use Local Computer(浏览器任务则点 Use Local Browser)。

在底部输入框直接打第一句指令,比如:

Could you help me check the latest open issue of the UI-TARS-Desktop project on GitHub?

回车后右侧是实时画面流,左侧是对话记录。你能看着它自己打开浏览器、定位到项目页面、把最新 issue 读出来。它每步走的都是"看截图 → 决定动作 → 执行鼠标键盘"这个循环,中途走偏了随时可以打断,再补一句说明就行。

任务结束后点右上角的 Share,可以把执行报告存成本地 HTML 文件,里面是每一步的截图和动作,方便复盘哪一步出了问题。

两个顺手就能用的功能

预设配置。不想每次换机器都手填一遍四个字段的话,把配置打包成 YAML 预设,在 Settings 里点 "Import Preset Config" 导入即可,支持本地文件和远程 URL。仓库里有一份可直接抄的示例模板:examples/presets/default.yaml,规则说明见 docs/preset.md。

场景切换与历史。输入框左下角的小图标可以在 Computer Use 和 Browser Use 之间切换;左侧 History 列表保存每一次执行过的任务,点进去能看到完整回放。

最容易踩的四个坑

1. 画面不动、指令没反应现象:应用开着,但输入指令后电脑毫无动作。 原因:macOS 的"屏幕录制"权限没开,模型根本拿不到画面。 办法:隐私与安全性 → 屏幕录制里加上 UI TARS 并勾选,然后重启应用。

2. Check Model Availability 报错现象:设置页检查模型时连不通。 原因:Base URL 少了 /v1/ 后缀,或者 Provider 和模型版本不匹配。 办法:对着部署平台控制台核对 Endpoint,保留 /v1/ 结尾,Provider 按模型版本选(1.5 就选 1.5 那项)。

3. 点错位置、坐标漂移现象:双屏环境下有时操作落到另一块屏幕上。 原因:官方文档明确说明目前只支持单显示器配置。 办法:暂时用单屏模式,把任务集中在主屏完成。

4. 浏览器模式起不来现象:点 Use Local Browser 后报错。 原因:Browser Operator 依赖本机装着 Chrome、Edge 或 Firefox。 办法:装好其中任意一个浏览器再重试。

看完先做什么

别急着上复杂任务。先挑一个你天天用的应用里的设置项(自动保存、语言、亮度都行),让 UI-TARS 桌面版把它改掉。等它当着你的面完成"找到入口 → 展开选项 → 改掉值 → 汇报完成"这一整套,你就对它的速度和能力边界有体感了。跑顺之后,再换成浏览器任务、更长的指令逐步加码。

【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询