数字员工会话
浏览器实时看手机屏,右侧 AI 对话里下指令,左屏视频流 + 右屏分析过程同步进行。
WebCodecs 硬解码像调度团队成员一样把日常重复任务交给 AI Agent。自主看屏、自动操控、异常自理 —— 浏览器里就能管 N 台真实设备。
兼容 · AutoGLM · OpenAI-Compatible · MCP 客户端 · 本地 Agent
user@yunji ~ $ agent.dispatch("帮我领今天所有 App 签到奖励")[INFO] 规划路径 -> 8 个 App, 预计 2m 18s→ open(支付宝) tap(签到) +5 积分→ open(京东) tap(领金豆) +10 金豆→ open(美团) tap(领券) 异常·已自愈[OK] 8/8 完成 · 累计 +78 积分 · 用时 1m 47suser@yunji ~ $
从屏幕识别到动作执行,每一步都是真实链路、可观测、可重放。
浏览器实时看手机屏,右侧 AI 对话里下指令,左屏视频流 + 右屏分析过程同步进行。
WebCodecs 硬解码把一串手机任务编排成流水线,多设备可跑不同任务,单设备预览和控制保持互斥稳定。
任务可调度平台统一模型和用户自有模型分层管理,设备可以绑定默认模型,任务执行不串用户。
模型可绑定后续素材、账号、任务上下文和 MCP 能力都按用户归档,供 worker 执行时安全引用。
用户隔离从一台手机到一支数字员工小队,全链路标准化。
首次 USB 注册设备身份,写入用户档案与额度
本地 Agent 长连接云端,持续上报设备快照
接入 OpenAI Compatible、AutoGLM worker 或平台模型
截图、分析、点击、验证,全程进入 DeviceRuntime
实时屏幕 · AI 对话 · 异常告警,三栏同步,鼠标手势直推到设备。
设备截图、UI 分析、触控、Shell、文件 —— 全部走 MCP 标准协议。Claude Desktop、Cursor、自研 Agent 都能直接调度。
// 任何 MCP 客户端
{
"mcpServers": {
"yunji": {
"url": "https://api.yunji.example/mcp/YOUR_KEY",
"timeout": 30000
}
}
}数字员工不是固定脚本,而是结合实时画面、UI 结构、模型分析和设备控制,在任务过程中处理异常。
不需要。手机插在用户电脑,本地 Agent 连接云端,云端负责身份、任务、预览和控制转发。
当前按 Android 设备设计。首次注册建议 USB 连接,后续可按 Agent 和无线 ADB 能力继续扩展。
免费测试适合绑定 1 台设备验证链路;多设备、工作流、模型绑定和高频任务建议使用标准或企业方案。
设备归属、模型归属、任务归属都会绑定用户;后续上线域名后统一切换 HTTPS/WSS。
设计上支持平台统一模型和用户自有 OpenAI-Compatible 模型,也会继续接入 AutoGLM worker。