🔥 今日头条:Fooling LLM Safety Guards into Judging the Wrong Text
LLM应用的安全护栏通常把待检内容粘贴进纯文本提示,攻击者可追加伪造查询和诱饵,让护栏去判断最后一个完整任务(无害诱饵),从而放行有害请求。这种“目标重绑定”在预注册测试中绕过Shieldstral-1.0-3B对75条AdvBench请求的全部拦截;在GuardRebind基准上,五款护栏各有一个攻击家族清除至少93%的已标记项。训练护栏按内容最有害部分评分,可将攻击成功率从75%压到0.8-1.6%,AUROC仅降0.01,但非劣性检验尚不结论。
🚀 行业速递 Top 10
- MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
提出全自动框架MISCONCEPTDIALOGUE,用LLM模拟学生与5个7B-14B开源模型导师进行5000+轮对话,检验其检测错误、诊断误解并补救的能力。关键发现是指标影响巨大:精确匹配评分给出42.1%补救成功率,而人类校准的LLM评审给出81.3%,相差39.2个百分点,超过导师模型、教学策略和诊断信息的总效应;四个独立LLM评委与200条人工标注收敛在几点内(kappa达0.91)。能力层面,告诉导师真实误解或故意调换的误解,得分几乎不变。
- Understanding Tool-Mediated Interaction Failures in Agentic GUI Software: An Empirical Study
研究LLM智能体通过工具操作GUI时的失败模式:模型无法直接操作界面,依赖截图、UI树和动作翻译工具,导致智能体对任务的视图与实时GUI偏离。构建Malva缺陷库,从40个开源应用收集335个真实失败,归纳为11种缺陷模式,根植于状态表示、状态转换和同步问题。90%的应用含不止一种缺陷,86.6%的失败表现为不正确,其中119例无故障停止信号而静默出错。据此提出MalvaGuard静态契约检查器,精度57.3%、召回76.8%。
- Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents
提出Compact-Bench,从共享仓库状态配对全历史与仅摘要续写,评估长程编码智能体上下文压缩对任务完成的影响,覆盖35个SWE-bench修复、146个智能体会话和106条生产链。14个摘要骨干中稳定损害5%-64%的全历史成功案例;Claude Opus 4.8保留修复最多,DeepSeek-Flash损害最大。LLM摘要最多保留16.0%的复现细节,机械抽取达79.1%;生产摘要在首个边界仅保留15.7%。失败跨方法复现,说明可靠压缩需保留任务进展而非仅相关信息。
- Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability
提出Omni-UBench,首个全模态安全评估框架,从安全、效用、可靠性三维度评测护栏模型。数据集含183k+样本,来自35+异构源,覆盖文本、图像、音频、视频及跨模态组合,按统一风险分类标注。对15个代表性全模态LLM与护栏的评测发现:现代全模态LLM即使未经护栏微调也有较强内容审核潜力;现有护栏仍难识别隐藏有害意图或复杂越狱的跨模态查询;并表现出明显安全幻觉和对文本模式的过度敏感。
- Cursor 发布 Agent SDK,支持以代码定义智能体
Cursor宣布Agent SDK正式可用。开发者可用Markdown编写提示词、用TypeScript定义工具,将智能体部署到Cursor托管基础设施或自建环境;内置evals可衡量每次改动,帮助智能体持续改进。
- Reuse, Rewrite, or Reject: Evidence-Constrained Trace Reuse for Repeated Mobile GUI Control
针对移动GUI智能体重复任务,提出图-文本模板选择性复用执行轨迹:图捕获UI状态与动作转换,文本编码任务意图、流程结构和变量槽。记录-模板-回放框架依据当前指令与实时UI状态复用、调整或丢弃单个转换。在AndroidWorld上五个基座智能体平均减少约80%的LLM推理token,多数实现至少1.5倍加速;Android与HarmonyOS真机评估动作复用率70.7%-79.8%,多数配置保持2倍以上加速。
- MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability
提出MBABench-2.0,含101个原创电子表格构建任务,最难任务估计需3年以上经验建模师33小时。不同于填空式评测,它考察从零构建工作簿的建模决策、格式设计与布局。引入12类129条标准,覆盖可读性、可维护性、可审计性等超出准确性的质量维度。评测20+智能体(8模型、4种框架)发现,前沿智能体很少能同时满足准确性与质量标准,最佳通过率仅16%。
- Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection
观察到额外模态的收益因查询而异,提出按查询选择模态,保持全模态LLM固定,将问题建模为精度-成本优化并用成本敏感学习选择模态。在WorldSense上用Qwen2.5-Omni和Qwen3-Omni按输入token、延迟、费用三种成本评估,均改善精度-成本权衡,甚至可超过全模态设置。Qwen2.5-Omni下匹配或超过全模态精度,仅需约41%输入token、39%延迟和61%费用。
- Benchmarks Are Surprisingly Compaction-Friendly
在OpenCode脚手架内实现五种压缩策略,用三个前沿模型在PaperBench、ProgramBench、PostTrainBench三个长程基准上系统评估上下文压缩。对两个1M上下文模型,压缩阈值对任务性能无可测影响;上下文窗口最小的GPT-5.3-Codex在低阈值下PaperBench表现变差。没有压缩方法优于默认自摘要,丢弃更多内容的方法使部分模型损失达20分。压缩会静默移除任务约束:ProgramBench首份摘要平均丢弃约三分之一反作弊规则,且随压缩次数单调上升。
- See What I Need, Dream What I Want: A Navigation Foundation Model on a Self-Constructed Representation Space
提出RepresentNav导航基础模型,用策略自身目标从视觉基础模型构建表征空间:Representation Residuals以三层Transformer注意力聚合多模型全深度特征;动作前用潜在思维链预测下一时刻场景表征,以JEPA联合嵌入预测架构端到端训练。在VLNVerse、VLN-CE R2R、EVT-Bench和两个点目标基准上刷新SOTA,并迁移到杂物与行人环境中的实体机器人。VLNVerse细粒度成功率83.80%,超先前SOTA 20.05个百分点;EVT-Bench干扰跟踪单相机达85.5%(+10.1)。