第250117期 - midscene
3k star,字节开源，让 AI 给你写 UI 自动化测试，更愉悦的 UI 自动化体验
Midscene.js 是一个由 AI 驱动的浏览器自动化 SDK，旨在通过 Chrome 扩展、JavaScript 和 YAML 脚本实现自动化操作。这个项目的目标是简化用户界面控制、数据提取和断言操作，使开发者能够以自然语言描述操作步骤，从而实现自动化。
项目简介
Midscene.js 提供了一种全新的自动化体验。通过自然语言交互，用户可以描述所需的操作步骤，Midscene.js 会自动规划并控制用户界面。它能够理解用户界面，并以 JSON 格式返回预期的响应。此外，Midscene.js 还支持直观的断言，用户可以使用自然语言进行断言操作，所有这些都基于 AI 的理解能力。
项目特点
- 自然语言交互：用户只需描述操作步骤，Midscene.js 会自动规划并控制用户界面。
- 理解用户界面，返回 JSON：提供关于所需数据格式的提示，并以 JSON 格式返回预期的响应。
- 直观的断言：用户可以使用自然语言进行断言操作，所有这些都基于 AI 的理解能力。
- 通过 Chrome 扩展体验：用户可以立即开始使用 Chrome 扩展，无需编写代码即可探索。
- 可视化报告：通过可视化报告文件，用户可以轻松理解和调试整个过程。
- 开箱即用的 LLM：支持使用公共多模态 LLM，如 GPT-4，无需进行任何自定义训练。
- 完全开源：体验全新的自动化开发世界，尽情享受！
快速开始
要快速开始使用 Midscene.js，可以按照以下步骤操作：
- 安装 Chrome 扩展：首先，安装 Midscene.js 的 Chrome 扩展。这样可以立即开始使用，无需编写代码。
- 描述操作步骤：使用自然语言描述你想要执行的操作步骤。Midscene.js 会自动规划并控制用户界面。
- 查看 JSON 响应：Midscene.js 会根据你的提示，以 JSON 格式返回预期的响应。
- 进行断言：使用自然语言进行断言操作，确保操作结果符合预期。
- 查看可视化报告：通过可视化报告文件，轻松理解和调试整个过程。
结论
Midscene.js 通过 AI 驱动的自动化技术，简化了用户界面控制、数据提取和断言操作。它的自然语言交互、直观的断言和可视化报告等特点，使得开发者能够更高效地进行自动化操作。无论是初学者还是经验丰富的开发者，都可以通过 Midscene.js 体验到全新的自动化开发世界。
地址：github.com/web-infra-dev/midscene