Midscene.js

Midscene.js 是一款基于AI技术的UI自动化工具，核心定位是借助多模态大语言模型降低UI自动化测试与脚本维护的门槛。核心功能包括自然语言指令转自动化操作、多场景自动化框架集成、可视化调试报告生成三类，主要面向前端开发人员、测试工程师、自动化运维人员等群体，可应用于Web应用回归测试、UI交互流程验证、页面数据批量提取、跨端自动化流程搭建等场景，无需依赖传统元素选择器编写繁琐脚本，仅通过自然语言描述即可完成自动化任务搭建。

主要功能

• 自然语言指令：用户无需掌握复杂的元素定位语法，只需用中文/英文自然语言描述想要执行的操作步骤，比如“点击页面右上角的登录按钮，输入账号test@example.com和密码123456后提交”，AI会自动识别页面元素并执行对应操作，降低脚本编写的学习成本。
• 多框架集成：支持对接Puppeteer、Playwright等主流自动化测试框架，也可直接使用浏览器插件模式运行，用户可以根据现有技术栈选择适配的集成方式，无需重构现有自动化体系，即可快速接入AI驱动的自动化能力。
• 可视化调试报告：每次自动化任务执行完成后，会自动生成包含操作步骤截图、执行日志、元素识别结果的可视化报告，用户可以直观查看每一步操作的执行情况，定位执行失败的具体原因，无需翻看冗长的文本日志排查问题。
• 页面数据提取：用户只需描述期望提取的页面数据格式，比如“提取页面所有商品的名称、价格和销量，输出为JSON数组”，AI会自动解析页面内容并按照指定格式返回结构化数据，无需编写复杂的页面爬虫解析规则。
• 开源可私有化：项目采用MIT开源许可证，所有代码完全开放，用户可以自主部署在本地或私有服务器运行，所有页面数据和操作指令都不会上传到第三方服务器，满足企业级的数据安全与隐私合规需求。
• 元素智能识别：依托多模态大语言模型的视觉理解能力，即使页面样式、元素ID或类名发生变更，AI也能根据元素的视觉特征、位置和功能描述识别对应的操作对象，减少界面重构后脚本的修改工作量。

怎么使用

1. 访问Midscene.js中文官网，在文档板块查看快速开始教程，根据自身使用场景选择浏览器插件、Puppeteer集成或Playwright集成三种接入方式中的一种。
2. 如果选择浏览器插件模式，直接下载对应Chrome插件安装到浏览器中，打开需要自动化操作的目标网页，启动插件即可开始使用。
3. 如果选择框架集成模式，按照文档指引通过npm安装Midscene.js依赖包，在现有Puppeteer或Playwright脚本中引入对应的SDK模块。
4. 在脚本或插件输入框中用自然语言编写操作指令，比如“填写搜索框内容为‘前端测试’，点击搜索按钮，提取前10条结果的标题和链接”，也可同时指定数据输出格式。
5. 运行自动化任务，等待执行完成后查看生成的可视化报告，核对操作结果和提取的数据，若有执行失败的步骤可根据报告提示调整指令后重新运行。

适合什么人群

• 前端开发人员（Web项目功能自测）
• 测试工程师（UI自动化回归测试）
• 自动化运维人员（后台系统批量操作）
• 数据采集人员（网页结构化数据提取）
• 产品经理（产品流程走查验证）
• 低代码开发人员（自动化流程搭建）

总结

这款工具的核心优势是打破了传统UI自动化对元素选择器的强依赖，过往UI自动化脚本维护的最大痛点就是界面迭代后元素ID、类名、XPath路径变更，导致大量脚本失效需要重写，而它借助多模态大模型的视觉理解能力，直接通过元素的外观、位置和功能描述识别操作对象，大幅降低了脚本的维护成本。同时它没有强制用户切换全新的自动化体系，而是兼容市面上主流的Puppeteer、Playwright框架，用户可以在现有自动化流程中平滑接入AI能力，降低了迁移成本。作为开源项目采用MIT许可证，用户可以私有化部署，避免了页面敏感数据上传到第三方服务的风险，对于有数据合规要求的企业用户比较友好。不过它目前主要针对Web端场景，原生App端的自动化支持还在迭代中，适合Web项目测试、页面数据采集等场景的用户尝试使用。

价格与免费额度

Midscene.js为完全开源项目，所有核心功能均免费开放使用，无功能限制和使用次数限制，也没有商用付费版本。用户可以直接从开源仓库获取源代码，或通过npm安装官方包免费使用，也可根据自身需求对代码进行二次开发。如果需要官方技术支持服务，可联系项目开发团队定制企业级支持方案，适合所有需要UI自动化能力的个人开发者和企业用户免费使用。

优点与不足

能帮你做的 8 件事

1. 01自然语言指令
2. 02多框架集成
3. 03可视化调试报告
4. 04页面数据提取
5. 05UI自动化场景的常用方案
6. 06AI测试工具场景的常用方案
7. 07前端开发人员（Web项目功能自测）的日常效率工具
8. 08先用免费额度验证需求再决定付费

更新历史

• 2026.06.14Midscene.js 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题