以前一年，AI 与手机的关系正在被重新界说：OpenAI AI Phone / AI Agent Phone 把「AI 原新手机」推到台前，Gemini on Android 也在把系统级助手从问答带向跨 App、多递次任务协助。

这些信号指向归并个趋势：AI 不再仅仅聊天框里的回应者，而是正在进脱手机这个最闲居、最复杂、也最具景况性的揣摸环境。

腾讯混元牵头，结合 The Chinese University of Hong Kong、The Chinese University of Hong Kong， Shenzhen、Tsinghua University 等机构的最新磋商 PhoneHarness: A Mixed-Action Orchestration Harness and Benchmark for Phone Agents across CLI， GUI， and MCP Tools 柔和一个更基础的问题：当 AI 真实在手机上活动，咱们如何让它真实完成任务，并考证它确乎完成了？

作家团队给出的论断是：

手机 Agent 的中枢不仅仅「更会点屏幕」，而是能根据任务聘请 CLI、GUI、MCP 器具等合适的活动面；

真实手机 workflow 需要可考证的反作用：文献是否生成、耕作是否转换、邮件 / 日期对象是否真实创建，王人不可只靠模子表面回应；

PhoneHarness 提供 mixed-action 践诺 harness；PhoneHarness Bench 则用 trace、系统景况、App 纵容和安全政策评估任务是否真实完成。

形态主页：https://phoneharness.github.io/

GitHub：https://github.com/PhoneHarness/PhoneHarness

HuggingFace Dataset：https://huggingface.co/datasets/PhoneHarness/phoneharness-bench

先看三个践诺片断：手机 Agent 不仅仅点屏幕

底下三个 demo 展示了 PhoneHarness 念念抒发的中枢互异：真实手机任务往往不是一条更长的 GUI 点击链，而是 CLI、GUI、MCP-style tools 与 verifier 共同组成的践诺 workflow。

Demo 1｜CLI-first：先读蛊惑景况，再决定是否投入 GUI

视频团结：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 2｜Mixed workflow：MCP 检索 + GUI 践诺 + verifier 复核

视频团结：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 3｜Virtual display：后台 GUI 践诺与经过留痕

先把第一个问题讲明晰：手机 Agent 真实「作念了」吗？

在许多手机 Agent 评测里，任务被拆成一连串 GUI 操作。模子不雅察屏幕，决定下一步点那处、滑那处、输什么。要是临了 UI 景况看起来对，就算任务完成。

这套范式固然有价值。毕竟，手机确乎是一个强 GUI 环境，真实 App 的搜索、浏览、点击和输入王人需要视觉 grounding。

但关于 AI 手机期间的 Agent 来说，只会 GUI 操作远远不够。

传统 GUI-centric 视角：

把手机任务手脚 screenshot → tap /swipe/type；

视觉感知险些是悉数动作践诺的前置操作；

更允洽单 App、强视觉、低反作用任务。

PhoneHarness 的 mixed-action 视角：

把手机任务手脚跨 CLI、GUI、MCP 器具的竣工 workflow；

评估重心不是「看起来完成」，而是反作用是否真实发生、trace 是否可审计；

更允洽系统耕作、文献、搜索、邮件、日期和跨 App 任务。

举例，「查一个 App 内的信息，再结合网页搜索补充布景，并整理成邮件」这类任务，不是一个更长的点击链。它同期包含 App 内 GUI 交互、外部信息检索、文本搞定、邮件反作用，以及最终纵容考证。

要是评测只看最终回应，就会漏掉最关键的问题：模子到底有莫得核对着手、有莫得真实创建文献、有莫得真实发出邮件、有莫得绕过了应该被阐述的高风险操作？

中枢判断：PhoneHarness 的起点很平直：手机 Agent 的评测不可只问「它会不会点屏幕」，而要问「它能不可在真实手机环境里把一件事作念完，并留住可考证凭据」。

PhoneHarness：让手机 Agent 的活动空间不啻 GUI

PhoneHarness 的中枢不是再造一个 GUI 点击器，而是把手机任务放进一个搀杂动作空间里。

关键区别：问题不是「纯 GUI 表面上能不可作念」，而是「纯 GUI 是否是可靠、高效、可考证的动作轮廓」。真实手机 workflow 往往同期逾越系统景况、App 界面、文献、网页、邮件、日期和安全畛域。GUI 是进军进口，但不应该是惟一进口。

因此，mixed-action 不是给 GUI agent 加几个外挂器具，而是让 agent 在践诺经过中为不同子主义聘请合适的 action surface：能用细则生号召读取景况，就毋庸反复点耕作页；必须投入 App 内完成交互时，才交给 GUI；需要外部信息、文献搞定或纵容复核时，则调用 host-side tools 或 verifier。

为什么 mixed-action 比纯 GUI 更稳

PhoneHarness 架构图：host-side orchestration 与 Android device-side execution 共同组成 mixed-action harness。

在 PhoneHarness 中，agent 不错在三类活动面之间切换：CLI /device-side commands、GUI delegation、以及 MCP-style host tools。

图解：PhoneHarness 的三类活动面

PhoneHarness 的 mixed action space：CLI、GUI 与 MCP-style tools 在归并个 phone-agent loop 中共存。

这意味着，PhoneHarness 里的 agent 毋庸把悉数任务王人硬塞进 GUI 点击链。它不错判断：什么时分该走系统号召，什么时分该交给 GUI worker，什么时分该调用搜索、文档、邮件、日期等器具。

这种联想更接近 AI 手机期间的真实需求。AI 手机不是「在手机里放一个聊天机器东谈主」，而是让智能体能在复杂手机环境里调处主义、聘请活动、践诺任务，并产生可查验的纵容。

PhoneHarness Bench：如何构建并考证手机 workflow

有了 mixed-action harness，还需要一个能真实西宾践诺纵容的 benchmark。原因很简短：敌手机 Agent 来说，能活动不即是真实完成了任务。

PhoneHarness Bench 耕作在 PhoneHarness 之上，乐动(中国)app不把任务写成轮廓问答题，而是写成一段不错践诺、纪录和复核的 phone workflow。Agent 在践诺经过中会留住截图、CLI / MCP 操作、文献变化、系统景况和 App 侧纵容；benchmark 再通过 task-specific verifier 判断任务反作用是否真实发生。

Bench 的关键：PhoneHarness Bench 不问「模子有莫得说我方作念完」，而是看「任务凭据链是否补助它真实作念完」。这亦然它区别于纯问答式评测和纯 GUI 景况评测的关键。

PhoneHarness Bench 如何考证任务完成

Bench 是如何构建的？

每个 PhoneHarness Bench task 王人包含一个用户主义、一组可调用活动面，以及一个面向反作用的 verifier。这么，benchmark 评估的不是单步 GUI 操作，而是竣工 workflow：任务输入、agent loop、搀杂动作践诺、trace 纪录、纵容考证和失败归因。

PhoneHarness Bench 的任务散布：粉饰 device/system、single-app GUI、tool-assisted workflow 与 cross-app workflow。

为什么这能匡助分析失败？

这条链路让失败不再仅仅一个依稀的「没作念对」。咱们不错进一步分辩：是外层 controller 莫得规划好，是 GUI worker 莫得点对，是器具调用失败，是环境不相识，依然 verifier 莫得看到预期反作用。

代表性践诺轨迹：截图、CLI / MCP 操作卡片与 verifier 信号共同组成可审计凭据链。

实验发现：收益来自 mixed-action routing，不是单纯更会点屏幕

在论文实验中，咱们莫得把 PhoneHarness 形色成一个「悉数场景王人更强」的 GUI agent。相悖，实验更明晰地线路了它的畛域和价值。

PhoneHarness 的收益主要来自那些存在细则性旅途、器具辅助旅途或可考证反作用的任务。比如蛊惑景况查询、文献搞定、网页检索、日期 / 邮件 / 文档干系 workflow，以及需要跨活动面组合的手机任务。

关于纯 GUI-heavy 的任务，视觉 grounding、权限弹窗、登录景况、告白、搜索纵容不相识等问题仍然会带来挑战。

实验解读：这个论断反而更进军：手机智能体的将来不是「把 GUI 点击模子作念得更大」，而是要让 agent 学会聘请合适的活动面，并让每一步践诺王人能被考证。

mixed-action affordance 任务上的活动空间拆解。

不同任务类型下的践诺步数，辅助调处成果互异。

当 AI 手机真实到来，咱们会看到什么新瓶颈？

OpenAI AI Phone 和 Gemini on Android 之是以值得柔和，不仅仅因为「大厂要作念 AI 手机」。更进军的是，它们共同指向了一个产物范式变化：手机正在从 App-centric device 走向 Agent-centric device。

在 App-centric 期间，用户我方正经拆罢免务：大开哪个 App、点那处、复制什么、搜什么、阐述什么。

在 Agent-centric 期间，用户抒发主义，agent 正经调养活动。

AI 手机期间的新瓶颈

PhoneHarness 的切入点恰是在这里：AI 手机期间需要的不仅仅更强的模子，还需要能承载真推行诺的 harness，以及能考证践诺纵容的 benchmark。

PhoneHarness 和 PhoneHarness Bench，到底股东了什么？

PhoneHarness 与 PhoneHarness Bench 的单干

这两个产物是互相依赖的。

莫得 harness，benchmark 很难粉饰真实搀杂任务。莫得 benchmark，harness 的践诺才调也很难被系统性评估。

要是说以前手机 Agent 的竞争更像「谁更会看屏幕点按钮」，那么 AI 手机期间真实进军的问题会造成：谁能把真实手机 workflow 作念完，谁能留住着实凭据，谁能在安全畛域内相识践诺。

PhoneHarness 回应的是「如何让手机 Agent 真实活动」。PhoneHarness Bench 回应的是「如何阐述它真实作念成」。

写在临了

AI 手机不是简短地把大模子塞进系统。它意味入辖下手机从 App-centric device 走向 Agent-centric device：用户抒发主义，agent 正经聘请旅途、调用器具、操作 App，并完成可考证的纵容。

这背后的基础设施问题，比「模子会不会点屏幕」更复杂，也更关键。

PhoneHarness 和 PhoneHarness Bench 念念股东的，恰是这一层基础设施：让手机 Agent 的活动空间更接近真实寰宇，也让评测更接近真实完成。

一句话回首：AI 手机期间，关键问题不仅仅模子能不可调处屏幕，而是它能否在真实手机环境里聘请正确活动面、完成可考证任务，并留住可审计的践诺轨迹。

作家信息

共归并作：Jason、Zhengyao Fang、Zhengyang Tang、Pengyuan Lyu。

竣行状家：Jason， Zhengyao Fang， Zhengyang Tang， Pengyuan Lyu， Xingran Zhou， Xin Lai， Fei Tang， Liang Wu， Yiduo Guo， Weinong Wang， Junyi Li， Yi Zhang， Yang Ding， Huawen Shen， Sunqi Fan， Shangpin Peng， Zheng Ruan， Anran Zhang， Benyou Wang， Chengquan Zhang， Han Hu.

机构：Tencent Hunyuan; The Chinese University of Hong Kong; The Chinese University of Hong Kong乐动中国手机app官网， Shenzhen; Tsinghua University.