发布日期：2026-06-23 01:02点击次数：101
这项由卡内基梅隆大学主的探讨发表于2026年6月，论文编号为arXiv:2606.09764，有好奇入了解的读者不错通过该编号查询好意思满论文。
你有莫得念念过，若是手机里住着个委果懂你的AI助手，它能帮你作念什么？不是那种你说"帮我查下天气"、它老真挚实回答"今天20度"的简单助手，而是个委果了解你活命的助手——它知说念你常去哪餐厅、你跟哪些一又友借过钱、你下周有个飞往纽约的航班、你的银行卡余额不太够再多刷次。这样的助手，才算委果有效。
问题在于：现存的AI测试，根柢没法考出这种智商。现存的测试式就像让厨师考试时只问"奈何切洋葱"，从不考"若是锅里如故有了昨天剩下的食材，你今天该作念什么菜"。这即是卡内基梅隆大学的探讨团队翔实到的中枢缺口。他们决定躬行开头，建造个能委果测出"懂你"这件事的手机AI基准测试，这个测试叫作念**iOSWorld**。
、为什么要造个假的手机宇宙来测AI
探讨团队发现，现时所有针敌手机AI助手的测试，都把任务罢休在个"一身的沙盒"里——就好比让个东说念主在生分的旅店房间里膨大任务，房间里莫得任何属于他我方的东西，他不知说念我方是谁、不知说念我方平时有什么风尚，也不知说念外面的宇宙发生了什么。这种测试的成果，只可评释AI能不可按按钮，而不可评释AI是否真实帮到了你这个委果的东说念主。
具体地说，现存的测试简直一齐皆集在安卓手机或者电脑桌面上，而iOS（苹果手机操作系统）虽然占据了好意思国过58的手机商场份额、寰球活跃确立过25亿台，却简直莫得门针对它的AI测试。这个空缺相配明。
于是探讨团队作念了件听起来有点狂但骨子上很合理的事：他们从新驱动建造了26个好意思满的iOS运用举止，这些App涵盖了个委果东说念主类数字活命的简直一齐场景——银行、车、外、旅行预订、叮咛聊天、健身纪录、餐厅订位、购物、待工作项……然后，他们给这26个App注入了同个虚构东说念主物的好意思满活命数据。这个东说念主叫**乔丹·艾弗里（JordanAvery）**，居住在旧金山，在叫NorthstarStudio的公司作念自动化工程师，正在老师半程马拉松，下周有班从旧金山飞纽约的航班，每月给一又友Arnav转650好意思元房租，近在Chipotle点了外……
这26个App里的数据相互关联、相互印证，就像委果活命样。在外App里点了单Chipotle，银行账单里就会出现对应的扣款，邮件收件箱里也会有收条。SkyTrip里纪录的航班，和StayFinder里的旅店预订日历对得上，Notes里还有教导。每条数据都不是一身存在的，它们组成了乔丹这个东说念主好意思满的数字萍踪。
这即是iOSWorld的中枢探讨：不单是测试AI能不可完成个动作，而是测试AI能不可归并个东说念主。
二、三种难度的考题，层层递进锻练AI助手
探讨团队瞎想了133个测试任务，按照难度分红三大类，就像学校里的小查验、期中考和期末考样，逐递进。
基础的类叫"单App任务"，共27说念。这类题只触及个App，考的是基本的操作智商，举例在DineSpot（类似OpenTable的订餐App）里搜索旧金山有户外座位的餐厅，然后给HarborlineSeafood订个今晚7点、两东说念主的位子；或者在QuickChat（类似WhatsApp）里搜索"BrooklynHalf"，找到提到这个词的对话，然后回答证明如故报名。这类任务的场所是证明AI能宽泛使用个App。
二类叫"多App任务"，共60说念，亦然三类中数目多的。这类题要进步2到8个App，把信息从个地搬运到另个地。举个例子：搜检QuickBite（类似DoorDash）里近次Chipotle的订单，然后去MyBank（类似Chase银行App）查找对应的刷卡纪录，接着在Mail里找到收条邮件，后把有莫得价钱相反这件事纪录在Notes里。另说念题则是这样：稽查StayFinder里卡塔利娜岛的行程（4月18日到21日），稽查那几天的天气预告，再翻出TasteRank（类似Beli好意思食榜单App）里"念念去尝试"清单上有莫得近邻的餐厅，后把所有信息整理进Notes。
三类叫"系念与个化任务"，共46说念。这类题是委果锻练"懂你"的障碍。题目不会告诉AI应该去那里找谜底，AI必须我方去探索、发现、断。比如：望望CityRide（类似Uber的车App）的使用纪录，分析我常走哪条道路，然后按照这条道路叫辆车。或者：翻阅TrailBlaze（类似Strava的畅通纪录App）里的跑步数据，断出我平时的跑步礼貌和偏的道路，稽查天气App看我平时跑步本事段的天气景况，然后给我的跑步群发条音信。这类任务平均需要进步4.4个App，因为断个东说念主的风尚，经常需要从多个数据源里拼凑痕迹。
这133说念题并非造谣抓造，而是由个AI编程助手（ClaudeCode）仔细阅读每个App的源代码和种子数据之青年景的，确保每说念题都有委果谜底。然后，东说念主工标注员把每说念题都在模拟器上躬行走了遍，考证可行。初生成的175说念候选题里，有44说念因为存在问题——比如不存在的航路、对不上的食品称号、指向法到达的App界面——被修正或淘汰，终留住133说念有题目。
三、AI助手的两种"概念"：只可看屏幕，如故还能看远离数据
在测试这些AI的时候，探讨团队瞎想了两种不同的条目，就像测试个外科医师——种是让他用普通灯光作念手术，另种是给他配上清头灯和放大镜。
种条目叫"仅视觉模式"。在这种模式下，AI每步只可看得手机的截图，就像普通东说念主用眼睛盯着屏幕。它必须从像素里判断那里有按钮、那里有笔墨、点那里才智前进。屏幕截图鉴别率为706×1536像素，坐标系统是0到1000的规模。AI能作念的操作包括：某个坐标、输入笔墨、滑动屏幕、按Home键、恭候几秒、以及文牍任务完成并给出谜底。
二种条目叫"视觉+XML模式"。在这种模式下，AI除了看截图，还能额外收到份由苹果诱骗者器具XCUITest索取的"远离树"——这是份以XML时局呈现的界面元素清单，告诉AI现时屏幕上每个可交互元素的类型（比如按钮、文本框、列表项）、它的称号、现时示的值、在坐标系统里的精准位置，以及个用于举止识别的ID。在这种模式下，AI额外得回了两种智商：不错径直用元素ID，需估算坐标；还不错用App的包名径直跳转开某个App，无须在主屏幕上用眼睛找图标。
这两种模式的区别很热切。探讨团队明确指出：在委果部署的环境里，个消费AI助手唯有"仅视觉"这种智商，因为XCUITest是苹果供诱骗者的器具德宏设备保温工程临，普通App法调用。是以"仅视觉"的得分反馈的是本质中能达到的水平，而"视觉+XML"则代表个表面上限——若是系统有特权探询界面数据，AI能达到多好。
四、六个AI选手的委果阐发：从不足格到勉强合格
探讨团队测试了六个AI系统，包括五个营业前沿模子和个开源模子。营业模子面，测试了Anthropic公司的ClaudeOpus4.6和ClaudeSonnet4.6、OpenAI的GPT-5.4和GPT-5.4Mini，以及Google的Gemini3Flash。开源模子则是Qwen3.535B-A3B，这是阿里巴巴团队发布的个搀和架构模子，总参数目350亿但每次激活的唯有30亿。每个模子在两种条目下各跑遍，共12种配置，每次任务多允许走50步。
收获说出来可能有点令东说念主不测。在"视觉+XML"模式下，阐发好的是ClaudeOpus4.6，全体通过率达到了52。它在单App任务上拿到了81.5，在系念与个化任务上拿到54.3，但在多App任务上唯有36.7。ClaudeSonnet4.6紧随自后，全体46.6，单App任务以至达92.6。GPT-5.4全体39.8，而Gemini3Flash全体唯有28.6。
开源模子Qwen3.5在两种模式下都阐发欠安，"视觉+XML"全体唯有10.5，"仅视觉"也唯有12.8。奇特的是，当你给它加上XML数据，它的阐发不但没进步，反而在多App任务上从6.7径直跌到了0。
从"仅视觉"模式来看，所有前沿营业模子的全体通过率都挤在20到29之间，Sonnet和Opus以29和26跑，而Gemini虽然通过率唯有27.8，但每说念题平均只需要21步就能杀青，而Anthropic和OpenAI的模子平均要走42到45步，率上Gemini。
还有个真义的回转表象：GPT-5.4Mini在加上XML数据后，通过率从26.3跌到了15.8，有22说念正本能过的题酿成了失败。探讨团队发现，XML数据约略每步会多增多约3100个token（不错归并为AI处理信息的基本单元），这对GPT-5.4Mini来说如故过了它有处理的上限，信息越多反而越乱。这评释某些模子在容量上存在瓶颈，多信息不定带来好阐发。
五、为什么XML的匡助如斯雄壮，以及失败的三种式
加上XML数据之后，强模子的进步幅度相配著：Opus从26.3高潮到51.9，整整涨了25.6个百分点；Sonnet从28.6涨到46.6；GPT-5.4从20.3涨到39.8。
这样大的进步背后，原因其实并不机要。在只可看截图的情况下，iOS手机存在几个让AI特殊头疼的问题。密密匝匝的界面让坐标估算相配容易出错，个小小的切换开关可能唯有几像素宽，视觉判断稍有偏差就点错了位置。从主屏幕切换App需要找到图标，但图标也可能在不同页面，这自己即是好几个要领的远离。iOS莫得安卓那种通用的复返键，复返必须靠界面左上角的按钮或者从屏幕左角落向右划，铁皮保温施工这个操作好多AI基本不会主动用——探讨数据示，在估量12255次滑动操作里，唯有133次（1.1）是左角落向右的复返滑动。
探讨团队统计了422个前沿模子在"视觉+XML"模式下的失败案例，把失败原因分红三类。常见的是"恣虐步数"，占51——AI没干完就用收场50步的预算，世俗发生在多App任务（55）和系念任务（52）上。二类是"舍弃了"，占26，指AI在没完成任务的情况下提前住手，终得分低于67，GPT-5.4Mini有47的失败属于这种。三类是"过早住手"，占23，指AI差未几快作念收场但停早了，终得分在67以上，这种情况在单App任务里多（48）。
Qwen3.5的失败模式则不同。它在加上XML之后，有约50的失败案例是堕入了类似动作的死轮回——比如在树立6:45闹钟这个简单任务里，它在本事滚轮上团结发出了38次风光的向下滑动操作，从6步到46步，既没改成正确本事，也没树立标签，也没点保存，就这样把50步预算一齐恣虐掉了。
六、个五运用抽象财务分析的告捷案例，以及三个让东说念主扼腕的失败案例
探讨团队在论文里展示了几个具体的运行轨迹，让东说念主对AI的骨子阐发存直不雅的感受。
Opus在"视觉+XML"模式下告捷完成了项需要进步五个App的财务汇总任务。任务要求是："给我个的财务情况总览。搜检MyBank的账户余额、SplitPay的待处理恳求、MegaMart的订阅情况、FreshCart的行将送货订单，以及CloudDocs里的预算表格，并预测下个月的开销。"Opus在3步就从MyBank里拉出了账户余额，7步稽查了SplitPay里的待还款纪录，22步开了CloudDocs里的预算跟踪表格，28步写收场进步五个App的抽象分析，全程只用了29步，满分通过。
另个告捷案例是Opus完成了个DineSpot订位加TeamChat示知的团结任务——在DineSpot找到旧金山有户外座位的餐厅并订了位，然后跑去TeamChat的#general频说念把预定细节发给团队。"视觉+XML"版Opus用22步完成，而同个模子在"仅视觉"模式下则卡在了外结账页面的个小小支付证明开关上，用完50步都没开TeamChat，终得分唯有0.20。
失败的案例通常具体。Opus在个通勤模式分析任务里走到了24步才到达MyBank的来往纪录界面，但比及50步预算用完时，CloudSheets里的数据还没录完，终得分0.45。GPT-5.4在个叫车任务里，把启程本事和瞻望用度都核对了，却在走了8步之后停在了后"恳求车"的按钮眼前，莫得点阿谁按钮就文牍完成，得了0.80分。还有个系念任务，Opus翻查了Notes里的寿辰信息、在QuickChat里找到了东说念主的参谋、在MegaMart里找到了相宜预算规模内的礼物，但等它念念去DineSpot订餐厅时，50步如故恣虐，被加入等候名单了事，得分0.50。
七、用步数换精度，以及评分的刚正若何保证
每说念题多50步的适度，并不是安适定的。探讨团队绘画了"步数预算-通过率弧线"，发现单App任务在走到20步时就基本弥漫了，再多走也没什么进步空间。多App任务则直到40步都还在赓续，评释这类任务自己需要多操作空间。系念与个化任务的弧线则错落不皆，Opus在走到30步时全体通过率唯有17，但到50步时跳到了54，评释这类任务的后半段存在宽阔要津梗阻，截断太早会严重低估其智商。
至于评分的刚正，探讨团队选拔了"LLM-as-a-Judge"的式——用GPT-5.4Mini来删改每说念题。删改时，它会看到整条操作轨迹（包括每步的截图和操作纪录）以及AI终给出的谜底，然后把柄配套的评分举止（每说念题有4到13条可立核查的评分详情，平均8.4条）给出个通过或失败的判断。
为了考证这个自动删改有莫得偏差，探讨团队找了4个东说念主工标注员，在128条Opus轨迹上立分，然后与AI删改良行对比。论断是：任务别的致达到89，Cohen'skappa值为0.77（这是预计两个评判者之间致的统计宗旨，0.77属于"度致"的规模）。详情别的kappa为0.69，Pearson相干所有为0.85，评释两者对同批数据的判断度吻合。148责罚歧里，AI偏宽松（把失败判成通过）79次，偏严格（把通过判成失败）69次，莫得明的系统偏向。
探讨团队还测试了换用其他AI来当删改员会不会影响论断，成果发现Gemini3Flash、GPT-5mini等换用其他删改员后，论断基本致。唯的很是是GPT-5.4（好意思满版）当删改员时，它会过度严苛地拒，在128条轨迹里唯有1个误判为通过，却有27个误判为失败，是所有删改员里阐发差的。
八、给开源模子装上属器具，阐发能翻倍
探讨团队还作念了项真义的额外实验，门针对阐发差的Qwen3.5开源模子。这个实验的宗旨是考证个猜念念：Qwen3.5之是以阐发差，到底是因为它脑子不够用（模子智商不足），如故因为给它的操作器具太稚子（界面器具分歧适）？
实验作念法是：保持模子、任务、评分和50步预算都不变，只把操作器具换掉——把原来那7个通用动作（、滑动、输入等）换成门为每个App定制的层器具，比如caltrack.log_food（纪录餐到CalTrack里）、mybank.send_zelle（用MyBank发笔Zelle转账）。这套定制器具通过MCP（模子凹凸文合同）服务器提供，截图依然保留，但操作的颗粒度从"点这个坐标"酿成了"膨大这个语义动作"。
成果很评释问题：通过率从12.8跳升到24.8，平均评分详情完成度从0.33进步到0.683，简直翻了倍。通常个Qwen3.5模子，濒临通常的133说念题，只是因为手里拿到了好用的器具，收获就大幅进步。不外即便如斯，它依然逾期于所有前沿营业模子，评释器具诚然热切，基础智商亦然瓶颈。
从论文附录里展示的具体案例不错看出差距的
九、这项探讨还留住了什么，以及改日还能走多远
iOSWorld动作个开源测试平台，在发布时包含了所有26个App的好意思满源代码、乔丹·艾弗里这个东说念主物的一齐种子数据、133说念测试题极端评分详情，还有评估代码和个AWS云跑通案——因为跑这个测试需要macOS和Xcode，不是东说念主东说念主都有Mac电脑，是以探讨团队提供了EC2处罚的Mac云实例，让莫得苹果硬件的探讨东说念主员也能提交任务。
从数字的角度来看现时的局限也很光显：好的模子组合（Opus+视觉+XML）全体才过了52，而多App任务唯有37。51的失败案例是在走完50步之后依然没作念完任务。这意味着现时的AI在处理委果活命的复杂连环任务时，依然存在特殊大的智商缺口。探讨团队在论断中指出，要关闭这个缺口，需要三面的进展：强的轮回检测与自我纠错智商（避反复作念通常的事）、的视觉定位智商（在密集界面里准确点到场所），以及能够感知用户历史数据的贪图智商（委果把乔丹是谁、有什么风尚融入理经由）。
此外，iOSWorld目下唯有个虚构用户（乔丹·艾弗里）。探讨团队如故通达了种子数据框架和任务生成活水线，任何东说念主不错按照通常的式创造个新的虚构东说念主物并生成对应的任务集，复旧改日的多用户、多场景评测扩展。
归根结底，这项探讨作念的事情听起来很简单：造了26个假App，塞进个虚构东说念主物的活命数据，然后考了几个AI助手。但它委果挑战的问题却很刻——个AI助手，到底算不算懂你？目下的谜底是：懂点，但远远不够。单用个App时还拼集，旦任务需要进步多个App、调用你的历史和风尚，灵巧的AI也只可作念到半。手机里阿谁"懂你的助手"，还需要走很长段路。
Q&A
Q1：iOSWorld测试和现存的手机AI测试有什么不同？
A：iOSWorld的大不同在于它给AI注入了个委果用户的好意思满活命数据。现存测试世俗是让AI在空缺App里完成一身任务，而iOSWorld里的26个App一齐分享同个虚构用户乔丹·艾弗里的数据——银行账单、聊天纪录、外历史、航班预订等相互关联，就像委果的手机样。测试的任务也因此难，需要AI跨多个App归并用户风尚并作念出断。
Q2：视觉+XML模式为什么能让AI阐发好这样多？
A：加上XML数据之后，AI不错径直知说念屏幕上每个按钮的精准位置和称号，不需要从截图里估算坐标。还能用App的举止ID径直跳转开任何App，不必在主屏幕上找图标。这摈弃了iOS界面里的好多远离，比如小按钮难点、切换App容易走错、莫得通用复返键等问题。数据示，Opus的全体通过率因此从26.3进步到51.9，涨了快要26个百分点。
Q3：Qwen3.5开源模子为什么在加上XML之后反而阐发变差了？
A：主要原因是XML数据让每步需要处理的信息量大幅增多，约莫每步多出3100个token。关于Qwen3.5这个范畴的模子来说，这过了它能有处理的上限，信息太多反而致它世俗堕入类似动作的死轮回——比如在同个地团结滑动38次都不知说念换动作。这评释多的输入信息并不老是有匡助，模子的处贤人商自己才是瓶颈。邮箱：215114768@qq.com相关词条:铁皮保温施工 隔热条设备 锚索 离心玻璃棉 万能胶生产厂家
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。
