快资讯丨500行代码，让智能体操作iPhone：会用App，但还不能完全放手
2026-08-14 17:31:12来源：网易智能
出品 | 网易智能
(资料图片)
作者 | 小爪
编辑 | 王凤枝
现在，Claude Code和Codex也能操作iPhone了。
近日，开发者肖恩·帕纳（ShawnPana）发布了一个只有约500行核心代码的开源项目phone-harness。它不要求每款App开放接口，也不需要给iPhone越狱，而是借助苹果自带的"iPhone镜像"，让Claude Code或Codex直接查看并操作一部真实手机。
截至8月13日，项目在GitHub已获得约1660个星标，作者的发布帖浏览量接近69万次。
在项目给出的最小工作流中，智能体如果要打开天气App，会先截取iPhone镜像窗口，用苹果Vision框架识别屏幕上的"天气"及其坐标，再模拟一次点击。等页面稳定后，它重新截图和识别文字，确认天气预报已经出现。
整个过程没有读取App的内部结构，也没有调用天气App的专用接口。对智能体来说，屏幕上能看到的内容就是操作依据。
过去要让软件替人办事，通常需要App提供API，或者由开发者针对某个界面单独写脚本。phone-harness走的是另一条路：既然人可以看着屏幕点按钮，智能体也可以把同一套图形界面当通用接口用。理论上，只要一项功能能通过iPhone镜像完成，它就不必等App厂商专门接入。
这种做法的代价也很直接：智能体面对的不是结构清晰、权限分明的程序接口，而是一块随时可能变化的手机画面。它可能认错按钮，还可能碰到发送、支付或删除等敏感操作。为降低风险，项目在使用说明中要求，执行发消息、购买、删除和修改设置等操作前，智能体必须先询问用户。
这个刚走红的开源项目展示了手机智能体的可能性，也把一个现实问题摆了出来：AI能自己动手了，那它每一步能做什么，由谁来决定？
01没有DOM，也没有App API，它怎样找到按钮
phone-harness约500行核心代码之所以能让智能体操作iPhone，是因为它没有重新实现一套手机控制系统，而是建立在苹果现成的"iPhone镜像"之上。项目真正控制的不是iPhone系统本身，而是Mac上已经打开的镜像窗口。
苹果负责把手机画面投到Mac，并将鼠标和键盘操作转发到手机；phone-harness则负责识别屏幕、判断点击位置并发出操作指令。它做的，是把苹果原本提供给人的控制入口接给智能体。代码因此可以很短，但识别错误、异常页面和敏感动作授权等问题，并不会随之消失。
第一步是看屏幕。
项目截取镜像窗口，用苹果Vision框架进行OCR（光学字符识别），得到屏幕上的文字及其大致坐标。它拿到的不是App内部结构，而是一张截图和一组文字坐标：不知道哪个元素是按钮、哪个属于输入框，也看不到像网页DOM那样的页面层级。
智能体拿到的仍是一张图片，只是图片上的部分文字被标出了坐标。
第二步才是操作。
智能体根据任务和当前截图选择目标位置，phone-harness再通过macOS的CGEvent输入事件，把点击、长按、拖动和键盘输入发送给Mac上的镜像窗口，由iPhone镜像转发到手机。项目因此不必为天气、备忘录或第三方App分别写控制接口。
智能体完成点击后，还要确认操作是否生效。界面变化后，项目会重新截图、再次识别文字，判断目标页面是否已经打开、所需内容是否出现，再决定继续输入、滑动，还是停止。看屏幕、选坐标、执行动作、核对结果，由此组成一个反复运行的操作闭环。
这也是它与API调用最大的不同。API会直接告诉智能体有哪些数据、当前处于什么状态，以及操作为什么失败；phone-harness能依赖的，只有屏幕上显示的内容。它省去了逐个接入App的麻烦，却要由智能体自己看懂界面、判断操作是否成功，并应对随时可能出现的弹窗或页面变化。
02所有App都像能用了，所有App也都可能点错
这套方法最吸引人的地方，是同一种操作方式可以跨App复用。无论天气、备忘录还是第三方应用，phone-harness都不必预先为它们编写专用接口，只需识别当前画面，再找到要点击的文字、图标或按钮。对它来说，不同App的差异，首先只是屏幕布局不同。
但这种通用性，恰恰是因为它对App内部结构一无所知。项目文档明确写道，OCR能看到文字，却不理解界面元素的语义；没有文字标签的图标，还要结合截图交给具备视觉能力的模型判断。
按钮换了位置、弹窗遮住页面，或者同一个词同时出现在几个地方，智能体拿到的都是一张需要重新猜的画面，没有明确的错误提示。
比如，iPhone镜像闲置一段时间后，会停在一个锁定页面，要求用户通过Touch ID或输入Mac密码才能继续。按理说，phone-harness此时应该停止操作；但有用户报告，它仍把这个页面判断为"可以操作"。这样一来，智能体下一步原本要输入搜索框的文字，就可能被误填进当前的密码框。问题不在于智能体获取了密码，而在于它没有认出自己已经进入了错误页面。
虽然个案不能证明所有用户都会遇到同样的问题，但它说明依赖画面文字判断状态时，少识别一种中间页面，后续动作就可能被送到完全不同的地方。
此外它还有很多局限。按照项目说明和苹果文档，phone-harness一次只能控制一部手机和一个镜像会话，不能完成双指缩放等多点触控；相机、面容ID流程无法通过镜像使用，受数字版权保护的视频还可能只显示黑屏。这条路线省掉了逐个App接入的麻烦，但苹果镜像层本身的限制还在。
查看天气、翻找设置时，识别错了还可以重新截图再试。但下一步如果是发消息、确认购买或删除内容，点错之后就没有"再试一次"这回事了。
03真正缺的不是手，而是每一步的确认
phone-harness并没有绕过苹果和macOS的安全机制。要让它操作手机，用户必须先主动打开两道权限。
第一道是苹果的设备授权。Mac与iPhone需要登录同一个苹果账户并开启双重认证，首次配对还要在实体手机上确认。用户可以要求每次连接都通过Touch ID或Mac密码认证，也可以随时撤销某台Mac的镜像权限。
第二道是macOS的终端授权。运行phone-harness的终端必须获得"屏幕录制"权限，才能看见镜像窗口；还要获得"辅助功能"权限，才能发送点击和键盘输入。没有用户在系统设置中放行，项目既看不到屏幕，也无法操作手机。
但这两道权限解决的都是范围较大的问题：哪台Mac可以连接手机，哪个终端可以控制镜像窗口。用户一旦放行，它们不会在智能体每次准备发消息、下单或删除内容时重新确认。
phone-harness因此在使用说明中增加了一条规则：遇到发送消息、公开发帖、购买、删除和修改设置等对外或难以撤销的操作，智能体必须先停下来询问用户；浏览照片、邮件等个人内容时，也只能查看完成任务所需的部分。
问题在于，"敏感操作前先问用户"目前主要是一条使用规则，还不是程序中的强制关卡。如果智能体没有停下来询问，phone-harness的核心程序不会自动弹窗拦截，仍然可以继续点击、输入或滑动。ClaudeCode和Codex的权限提示，主要确认一段命令能不能执行，通常不会把命令里的发送、购买和删除等手机动作逐个拆开，再分别询问用户。
简单来说，苹果和macOS解决的是"能不能把手机交给这台Mac和这个终端"，phone-harness仍要解决"眼前这一步能不能做"。目前，后一个问题主要依赖智能体遵守使用说明。若要让智能体安全地进入用户手机，项目还需要把这种逐步确认做成程序无法跳过的功能。
04从"能操作"到"能托付"，中间还差一层
phone-harness目前仍是一个刚发布的开源项目，还不能证明智能体已经可以稳定操作所有手机App。但它展示了一种新的可能：即使App没有为AI开放接口，只要功能能出现在iPhone镜像里，智能体就有机会像人一样看着屏幕完成操作。
不过，查天气和发送消息不是一回事，打开App和确认付款也不是一回事。手机智能体接下来要解决的，不只是还能操作多少App，更重要的是分清哪些动作可以自动完成，哪些动作必须停下来，让用户看清后果并再次确认。
用户允许智能体控制手机，不等于同时允许它发送每一条消息、完成每一笔购买或删除每一份内容。这件事并不难做：只要在敏感动作执行前停一下、说明后果、让用户确认，智能体才能真正被放进用户的日常任务里。
责任编辑：hnmd003
相关阅读
-
-
港股异动 | 优然牧业(09858)早盘涨近5% 奶肉双周期共振驱动扭亏 利润弹性有望进一步释放
智通财经APP获悉，优然牧业(09858)早盘涨近5%，截至发稿，涨4 55%，报4
2026-08-14 -
-
每日快播:港股异动 | 新特能源(01799)午后跌超8% 多晶硅市场继续观望 连续两周处于无成交状态
智通财经APP获悉，新特能源(01799)午后跌超8%，截至发稿，跌7 96%，报4
2026-08-13 -
-
相关阅读
-
快资讯丨500行代码，让智能体操作iPhone：会用App，但还不能完全放手
500行代码，让智能体操作iPhone：会用App，但还不能完全放手,iphone,ap
-
今日讯！诱多后再破3900点
沪市大盘日线图上的MACD指标线与KDJ指标线没有形成死叉共振状态，显示
-
阿拉善：中小微企业享补贴 重点群体就业更安心
今年，阿拉善盟严格落实自治区延续实施扩大社会保险补贴范围政策，通过
-
杨艺东获批担任青海省农村信用社联合社风险总监|快资讯
杨艺东获批担任青海省农村信用社联合社风险总监
-
奕东电子等成立新公司 含半导体照明器件业务
,证券时报网
-
热推荐：东山精密成交额超100亿元
数据宝统计，截至14:33，东山精密成交额100 56亿元，超100亿元。最新股
-
6-4！斯诺克中国公开赛：周跃龙狂轰四杆破百，世界冠军2-6出局
6-4！斯诺克中国公开赛：周跃龙狂轰四杆破百，世界冠军2-6出局,周跃龙,
-
前沿热点:森保一：世界杯我们本应战胜巴西，我的战术安排应该更巧妙些
森保一：世界杯我们本应战胜巴西，我的战术安排应该更巧妙些,巴西,森保
-
三星Galaxy S26手机已测试One UI 9.5，原生应用锁上线
三星GalaxyS26手机已测试OneUI9 5，原生应用锁上线,手机,三星,ui,固件,
-
【独家焦点】人口结构重塑十五五乳业 乳香为何越来越浓
CFi CN讯：最新数据显示，规模以上工业增加值增长5 4%，服务业生产指数
-
《驾驶者说》第六期：来看吐鲁番火焰山下的越野车高温试炼
在2026中国数字汽车大赛·数字环驾中国征途上，长安大学汽车学院副教授
-
港股异动 | 优然牧业(09858)早盘涨近5% 奶肉双周期共振驱动扭亏 利润弹性有望进一步释放
智通财经APP获悉，优然牧业(09858)早盘涨近5%，截至发稿，涨4 55%，报4
-
2026年实测对比借呗和微粒贷哪个划算
在日常生活中，我们难免会遇到需要资金周转的时刻。大家熟知的小额
-
动态:每体：西甲新赛季将引入Puma智能球和新技术辅助裁判判罚
每体：西甲新赛季将引入Puma智能球和新技术辅助裁判判罚,足球,点球,西
-
重力星球推出破茧K98雾桃机械键盘：1.65寸TFT彩屏，599元
重力星球推出破茧K98雾桃机械键盘：1 65寸TFT彩屏，599元,重力,机械键
-
即时：张展硕泛太平洋游泳锦标赛200米自由泳摘铜
北京时间8月13日，2026年泛太平洋游泳锦标赛在美国加州尔湾结束了首个
-
每日视讯:8月13日机构席净卖出 买入15股
CFi CN讯： 截至8月13日龙虎榜显示的机构动向看，39只股票被机构关
-
银行理财扎堆参与配售！宇树科技引爆机构打新潮 动态
银行理财扎堆参与配售！宇树科技引爆机构打新潮
-
热门:湿地鹤影绘生态画卷
这是8月13日拍摄的黑龙江扎龙国家级自然保护区内的丹顶鹤。立秋时节，
-
凯尔特人中锋和前尼克斯锋线将加盟英国男篮，他们的实力或将大增
凯尔特人中锋和前尼克斯锋线将加盟英国男篮，他们的实力或将大增,英国
-
【时快讯】NBA新赛季四大焦点战：詹库对决或成绝唱，布朗复仇老东家
NBA新赛季四大焦点战：詹库对决或成绝唱，布朗复仇老东家,库里,詹库,泰
-
每日消息!10月23日杜兰特重返奥斯汀，火箭能否突破首轮？
10月23日杜兰特重返奥斯汀，火箭能否突破首轮？,火箭,奥斯汀,马刺队,汤
-
微头条丨京东单甦：预计公司AI研发费用将在一段时间内保持增长态势
京东单甦：预计公司AI研发费用将在一段时间内保持增长态势,零售,蓝鲸,
-
罗马诺：那不勒斯正与阿森纳谈热苏斯转会，但需先清理阵容_每日快看
罗马诺：那不勒斯正与阿森纳谈热苏斯转会，但需先清理阵容,罗马诺,热苏
-
美股异动 | 存储板块集体走高 闪迪(SNDK.US)涨超4% 快播报
周四，存储板块集体走高
-
今日关注:阿森纳还不收手：刚花7500万英镑签下巴西悍将，又想狂追孔德
阿森纳还不收手：刚花7500万英镑签下巴西悍将，又想狂追孔德,英超,阿森
-
格里马尔多亮相马竞：我和库库雷利亚有着深厚友谊，这不会变-微动态
格里马尔多亮相马竞：我和库库雷利亚有着深厚友谊，这不会变,足球,马竞
-
DeepSeek将于8月17日涨价，最高涨幅达500%
DeepSeek将于8月17日涨价，最高涨幅达500%,涨价,deepseek
-
焦点热文：应星控股(01440.HK)发盈喜，预期上半年净溢利不少于约2400万元 同比扭亏为盈
应星控股(01440 HK)发布公告，本集团估计截至2026年6月30日取得净溢利
精彩推荐
阅读排行
精彩推送
- 昀冢科技(688260.SH)：上半年净...
- 机构称AI仍是中期景气主线，关注...
- 【热闻】哈铁科技(688459.SH)：...
- 华虹宏力：执行副总裁周卫平离任...
- 花旗：维持越秀房产基金(00405)...
- 【新要闻】PriceSeek提醒：8月13...
- 吉利汽车(00175)发行于2028年到...
- 夏日燃起滑雪消费热，今年已注册...
- 上证综指8月13日跌0.50% 热闻
- 每日快播:港股异动 | 新特能源...
- 国电南自：预计2026年实现营业收...
- 每日热议!图片报：汉堡试图签下...
- 科学家发现宇宙黎明时期“黑洞星”
- 咸味零食成量增核心 银发健康市...
- 焦点速讯：国新证券四周年成绩单...
- 热讯:港元拆息涨跌不一 隔夜拆...
- 大行评级｜高盛：腾讯加大AI资本...
- 实测正式版 DeepSeek V4 Pro...
- 光轮智能与源策未来探索全身智能...
- 利物浦旧将尼科尔：阿劳霍加盟说...
- 全国总工会推出“工间太极操”
- 读懂高龄生育真相，科学守护生育力
- 8月13日生意社废纸基准价为1998....
- 8月12日化工ETF天弘基金份额减少...
- “冰雹砸身上砰砰作响”，香格里...
- 泰兴市艺柘再生资源经营部（个体...
- 场均25分钟，轰20+15！火箭26岁...
- 湖人队再被出售后，最新的老板称...
- 离谱！因天赋爆炸拆队！太无奈了！
- 速递！高碑店市竹玟箱包厂（个人...
营业执照公示信息