Cradle框架

Cradle框架是由北京智源人工智能研究院推出的通用具身智能框架，核心定位为让大语言模型通过与人类一致的视觉和键鼠交互接口完成复杂计算机任务。其核心功能包括通用人机交互接口适配、复杂环境推理决策、多模态感知信息处理三大模块，支持多场景下的智能体自主操作。该框架面向人工智能研究者、游戏AI开发者、具身智能研究人员为主要目标用户，可应用于游戏AI开发、自动化办公流程研发、通用具身智能算法验证、复杂软件自动化测试等多个场景，目前已通过《荒野大镖客2》游戏任务执行案例验证了其环境泛化与自适应能力。

主要功能

• 通用交互接口：该功能支持框架直接以计算机屏幕的视觉画面作为输入源，无需对接软件内部API或获取底层数据，输出端直接模拟人类的键盘点击、鼠标移动点击等常规操作，实现与各类软件、游戏的无差异对接。使用者无需针对特定软件做定制化接口开发，仅需配置基础的屏幕捕捉参数，即可快速接入不同的计算机应用场景，降低跨平台适配能力覆盖Windows、Linux等主流操作系统环境。
• 多模态感知处理：框架可对输入的屏幕画面进行多维度信息解析，包括界面元素识别、文本OCR提取、场景语义理解、动态目标追踪等操作。首先对实时屏幕截图进行分层处理，区分界面控件、动态内容、静态背景三类信息，再结合大语言模型的语义理解能力，将视觉信息转化为结构化的决策依据，可识别包含游戏场景、办公软件界面、网页界面在内的多种类型屏幕内容。
• 推理决策引擎：该功能基于多模态感知得到的结构化信息，结合预设的任务目标，通过大语言模型完成推理生成后续操作序列。首先会分析当前环境状态与目标的差距，拆解出多个子任务节点，再根据过往操作的反馈结果动态调整后续动作，支持长周期复杂任务的分步执行，可自动处理任务执行过程中出现的随机异常情况，无需人工干预需求较低。
• 游戏场景验证：框架内置《荒野大镖客2》的完整测试案例模块，使用者可直接调用该案例快速验证框架的任务执行能力。案例包含游戏内包含资源收集、任务NPC交互、战斗操作、路径规划等多个复杂子任务场景，可直观展示框架在开放世界、高自由度环境下的适应能力，使用者也可基于该案例扩展适配其他同类型开放世界游戏的AI开发。
• 可扩展插件体系：框架支持开发者根据自身需求扩展自定义功能模块，提供标准化的插件接入规范，包括自定义感知模块、自定义决策模型、自定义操作规则等都可以快速接入原有框架体系。开发者只需按照文档给出的接口规范编写对应模块代码，即可替换原有功能模块，适配不同研究方向的定制化需求，降低二次开发门槛较低。
• 操作日志溯源：框架会完整记录任务执行过程中的所有操作数据，包括每一步的屏幕输入画面、感知解析结果、决策推理过程、键鼠操作指令、操作后的环境反馈结果等全链路数据。使用者可通过日志回溯任务执行的完整流程，定位决策过程中的问题点，为算法优化提供数据支撑，也可用于生成操作过程的复盘分析。

怎么使用

1. 第一步，打开Cradle框架官方文档页面，查看环境配置说明，按照指引安装Python运行环境、相关依赖库，完成框架基础运行环境的部署工作，确认所有依赖项安装成功。第二步，根据自身使用场景，选择对应的接口配置方案，完成屏幕捕捉权限、键鼠控制权限的基础配置，测试框架是否可以正常获取屏幕画面与控制外设。第三步，设置具体任务目标，可选择内置的《荒野大镖客2》测试案例，或者自定义其他计算机任务，将目标以自然语言形式输入到框架的任务配置模块中。第四步，启动框架运行，观察任务执行过程中的状态展示页面，查看实时感知解析结果、决策推理过程、操作执行反馈等信息，确认框架运行状态正常。第五步，任务执行完成后，导出完整的操作日志与结果报告，查看任务完成情况，根据日志信息进行算法优化或者功能调整，完成整个使用流程。

适合什么人群

• 具身智能研究人员（进行通用具身智能算法验证）
• 游戏AI开发者（开发开放世界游戏智能NPC）
• 大语言模型研究者（探索大模型落地具身场景研究）
• 自动化测试工程师（软件自动化测试脚本开发）
• RPA开发人员（研发无API自动化办公流程）
• 计算机科学专业学生（学习具身智能相关课程实践）

总结

这款具身智能框架跳出了传统AI需要对接软件内部接口的限制，直接采用人类的输入输出逻辑，让AI可以像人一样通过看屏幕、操作键鼠完成任务，这种思路打破了AI只能在特定软件适配的局限。其开放世界游戏的测试案例很有代表性，开放世界游戏中任务流程复杂、随机事件多、操作要求高，能在这类场景下完成指定任务，足以说明框架的泛化能力。文档的插件体系也给研究者提供了很高的灵活度，不同方向的研究人员都可以基于这个框架做二次开发，不用从零搭建基础架构。目前很多具身智能项目大多针对特定场景，这款框架的通用属性更强，适配多场景的研究需求，不管是做游戏AI、自动化办公还是软件测试，都能找到对应的使用切入点。

价格与免费额度

Cradle框架为完全开源项目，所有基础功能全部免费开放，无使用人数、使用时长限制，使用者可直接下载源代码进行部署、修改、二次开发，无商业使用限制，可用于学术研究与商业项目开发。项目暂无付费版本，所有功能更新与维护均通过GitHub开源社区进行，适合所有研究人员与开发者免费使用，使用者可参与社区贡献共同完善框架功能。

优点与不足

能帮你做的 8 件事

1. 01通用交互接口
2. 02多模态感知处理
3. 03推理决策引擎
4. 04游戏场景验证
5. 05具身智能框架场景的常用方案
6. 06开源AI框架场景的常用方案
7. 07具身智能研究人员（进行通用具身智能算法验证）的日常效率工具
8. 08零成本体验完整核心功能

更新历史

• 2026.06.14Cradle框架 收录进 Toolifai 目录
• 页面资料核验与信息更新

常见问题