阿里云百炼平台近日公布一套结合本地桌面自动化引擎（RPA）的完整技术方案，将大模型从“会聊天”推向“能办事”。该方案在百炼智能体应用与本地自动化执行端之间建立闭环，实现“大模型决策→API触发→界面操作→结果回调”的全流程贯通，并针对企业内网环境提供离线部署与EXE打包分发能力，为AI智能体在真实业务场景中落地提供了可复用的工程路径。
在实际业务中，大模型擅长拆解任务、生成策略，却无法真正操控软件界面。例如让智能体“把昨天CRM里的新增客户同步到财务系统，生成Excel报表发我邮箱”，百炼能完美规划步骤，却无法亲自打开CRM、点击按钮、填写表单或导出文件。这一“最后一公里”鸿沟，决定了智能体究竟是“问答玩具”还是“数字员工”。RPA技术恰好补齐短板——它不依赖API，直接模拟人类在软件界面上的操作，将百炼的“决策大脑”与本地RPA的“操作手脚”结合，才构成AI智能体的完整形态。
云脑加本地手脚的分层架构
该方案采用“云脑+本地手脚”的分层设计。百炼作为云端大脑，负责意图理解与策略生成；本地执行端则承担稳定、安全地操作各类软件界面的任务。用户通过钉钉、飞书或Web端发出自然语言指令，百炼智能体应用接收后，经Function Calling完成任务拆解，生成结构化指令，再通过HTTP API触发本地桌面自动化引擎离线执行端，由执行端模拟点击、输入、OCR识别等操作，最终将执行结果回调至百炼，由大模型以自然语言回复用户。
架构的核心原则是“离线更安全，自愈更稳定”。执行端支持全离线内网部署，即使云端断网，已配置的定时任务依然能正常运行。这一设计对企业内网环境尤为重要，既满足数据不出域的安全要求，又保证关键业务流程的连续性。
百炼侧配置与Function Calling工具定义
在百炼控制台创建智能体应用时，模型选择有明确建议：通用任务选用通义千问-Plus，复杂推理可选用DeepSeek-V4（百炼已内置），成本敏感场景则使用通义千问-Turbo。在“工具”标签页添加自定义工具rpa_executor，用于将结构化指令发送给本地自动化执行端。工具描述明确：当用户提出需要操作本地软件界面（如打开Excel、填写表单、发送企业微信消息）时调用。
输入参数Schema设计细致，包含task_id（任务唯一标识）、action_plan（执行步骤列表）、callback_url（回调地址）和timeout（单步超时时间）。其中action_plan每步包含step_id、action_type（枚举值涵盖open_app、click_element、input_text、read_ocr、send_keys、wait、screenshot、execute_script）、target（目标元素描述或应用名称）、value（输入值或脚本内容）以及fallback_strategy（元素失效时的备用策略，默认visual_ocr）。这种结构化设计让大模型生成的指令可被本地执行端精确解析与执行。
系统提示词模板与执行端生产踩坑
百炼智能体的“人设与回复逻辑”中，官方提供了可直接复制的提示词模板。智能体被设定为办公自动化助手，工作流程包括：解析用户指令提取关键信息（目标软件、操作类型、数据位置、接收人）、拆解为可执行步骤、调用rpa_executor工具传入action_plan、等待回调结果并向用户汇报。约束条件明确：涉及敏感操作（删除文件、修改系统配置）时必须二次确认；生成action_plan时优先使用元素定位，若目标软件无标准元素接口（如微信、千牛），则需采用视觉OCR等备用策略。
生产环境踩坑实录是方案的重要组成部分。文中特别强调元素失效时的降级策略：当目标软件界面变动导致元素定位失败时，执行端自动切换至visual_ocr（视觉识别）、coordinate（坐标点击）或retry（重试）策略，保证任务在复杂桌面环境中的成功率。这一机制解决了RPA实施中最常见的界面变动问题，提升了系统的鲁棒性。
内网离线部署与EXE打包分发方案
针对企业内网部署难题，方案提供了完整的EXE打包分发路径。本地桌面自动化引擎可被打包为独立EXE程序，通过内网分发至目标机器，无需额外安装运行时环境。这种交付方式大幅降低了部署门槛，使非技术岗位的业务人员也能在授权机器上快速启用智能体执行端。结合百炼云端大脑的远程指令下发，企业可构建“总部决策、分支执行”的分布式自动化网络。
该方案的意义在于为AI智能体从对话走向实际操作提供了完整技术路径。它解决了两个长期困扰企业的问题：一是大模型无法直接操作既有软件系统（尤其是无API的老旧系统）的困境；二是内网环境下的安全部署与分发难题。通过“百炼决策+RPA执行”的组合，企业可以将AI能力注入CRM、ERP、财务系统、企业微信等日常业务工具，推动业务流程自动化从概念验证走向规模化落地。
数据来源：阿里云开发者社区(原文)
