Aria-UI

Aria-UI是聚焦GUI指令视觉定位方向的大规模多模态模型展示与应用平台，核心面向UI交互自动化、智能代理研发等领域的开发者与研究人员，提供模型能力演示、技术文档、基准测试结果查询等功能。平台支持纯视觉模式下的界面元素定位，无需依赖AXTree等辅助输入，可适配PC端软件、移动端APP、网页等多种界面的交互指令识别需求，可应用于智能助手研发、UI自动化测试、无障碍交互工具开发等场景，帮助相关从业者降低GUI交互智能模型的研发与落地门槛。

主要功能

• 纯视觉定位：该功能无需接入AXTree、界面底层节点信息等辅助输入，仅通过界面截图即可完成指令对应的元素定位。用户上传目标界面截图并输入自然语言指令后，模型会自动识别界面内的各类交互元素，匹配指令需求后输出对应元素的坐标与边界框信息，无需额外获取界面的开发层数据，适配无权限获取底层接口的第三方界面识别场景。
• 多指令适配：支持多样化的用户指令表达形式，覆盖操作类、查询类、定位类等不同指令类型。用户可输入“点击登录按钮”“找到设置入口”“查看最新消息通知”等不同表述的指令，模型会结合界面内容理解指令意图，不受指令表述方式差异的影响，适配不同用户的指令输入习惯，降低指令输入的规范要求。
• 基准测试展示：平台公开模型在离线、在线两类代理基准测试中的完整测试数据与结果对比。用户可查看模型在不同测试集下的准确率、召回率、响应速度等核心指标，以及与其他依赖视觉、依赖AXTree的基线模型的对比数据，直观了解模型的性能表现，为相关研究与技术选型提供参考依据。
• 样本生成工具：内置指令样本合成工具，可生成多样化、高质量的GUI交互指令样本。用户选择目标界面类型、任务场景后，工具会自动生成对应场景下的指令与标注对样本，涵盖不同表述方式、不同交互目标的样本类型，可直接用于模型训练、测试等环节，减少用户自行标注样本的工作量。
• 多界面适配：支持适配PC端软件界面、移动端APP界面、网页界面、车载系统界面等多种不同类型的GUI界面。用户上传对应类型的界面截图后，模型会自动适配界面的布局规则、元素样式特征，无需针对特定界面类型单独调整参数，可覆盖多数常见的GUI交互场景的定位需求。
• 技术文档查询：提供完整的模型技术文档，包含模型架构说明、调用接口文档、部署教程等内容。用户可在文档板块查看模型的训练方法、技术实现逻辑，以及接口调用的参数说明、返回值示例，还有本地部署的步骤指引，帮助用户快速掌握模型的调用与部署方法，推进落地应用。

怎么使用

1. 第一步，访问Aria-UI官方网站https://ariaui.github.io，在首页了解模型的核心定位与基础能力介绍，确认是否符合自身的使用需求。第二步，点击导航栏的“演示”板块，上传需要识别的GUI界面截图，支持常见的PNG、JPG等图片格式，大小不超过平台规定上限。第三步，在指令输入框中输入需要执行的自然语言指令，明确表述要定位的界面元素或要完成的操作需求，比如“找到页面顶部的搜索框”。第四步，点击“运行识别”按钮，等待模型处理，处理完成后即可在截图上查看识别到的元素边界框，以及对应的坐标和置信度信息。第五步，若需要接入模型到自有项目，可进入“文档”板块查看接口调用说明，按照指引申请调用权限，完成接口对接与测试。

适合什么人群

• UI自动化测试工程师（自动化测试脚本开发场景）
• 智能代理研发人员（桌面/移动端智能助手开发场景）
• 多模态模型研究者（GUI视觉定位方向研究场景）
• 无障碍工具开发者（屏幕阅读器等辅助工具开发场景）
• 产品经理（智能交互功能原型验证场景）
• 前端开发者（界面交互逻辑自动化验证场景）

总结

该平台聚焦GUI领域的视觉交互定位需求，区别于多数依赖底层界面数据的同类模型，其采用的纯视觉定位路径解决了很多第三方界面无法获取AXTree等辅助数据的痛点，在实际落地场景中适配性更强。平台不仅提供了直观的在线演示功能，用户上传截图输入指令就能快速验证模型能力，还公开了完整的基准测试数据和技术细节，对于研究人员来说可参考性较强，配套的样本生成工具也能帮助开发者降低训练数据的准备成本。目前该模型在多类界面的识别准确率表现突出，无论是做自动化测试工具开发，还是智能助手的交互模块研发，都可以将其作为技术选型的参考选项，平台的文档和接口支持也比较完善，对接落地的门槛不高。

价格与免费额度

Aria-UI提供免费使用额度，个人非商业使用可申请每月固定的接口调用次数，在线演示功能完全免费开放，免费版足够用于模型能力验证和小规模测试场景。付费版采用按量计费模式，根据调用次数阶梯定价，每千次调用价格在20-50元区间，具体根据调用量、是否需要定制化训练等需求有所调整，同时还提供企业级部署方案，价格根据部署规模和支持服务等级单独核算。建议个人研究者、小规模测试用户使用免费版即可，企业级商用、高并发调用需求的用户可根据实际调用量选择对应阶梯的付费套餐，有定制需求的可联系官方咨询专属部署方案。

优点与不足

能帮你做的 8 件事

1. 01纯视觉定位
2. 02多指令适配
3. 03基准测试展示
4. 04样本生成工具
5. 05多模态模型场景的常用方案
6. 06GUI视觉定位场景的常用方案
7. 07UI自动化测试工程师（自动化测试脚本开发场景）的日常效率工具
8. 08先用免费额度验证需求再决定付费

更新历史

• 2026.06.14Aria-UI 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题