云浮护角专用胶厂家 当AI遇上"骗子", 让语言模型在纽约街头玩了场"猫鼠游戏"

这项由哥本哈根大学、IIIT兰契、ISI加尔各答、NIT安得拉邦、IGDTUW、IIT卡拉格普尔、谷歌DeepMind、谷歌以及南卡罗来纳大学AI研究所联开展的研究，以预印本形式于2026年4月10日发布，论文编号为arXiv:2604.09746。

人工智能助手越来越聪明，这已经是大的共识。它们能写文章、做规划、甚至替你安排旅行路线。但你有没有想过：如果有人故意在旁边"出馊主意"，这些AI助手还能保持清醒吗？当它遇到个满嘴谎言、口口声声"帮你"的陌生人时，它会不会被牵着鼻子走？

这正是这项研究想要弄清楚的核心问题。研究团队没有简单地问"AI聪不聪明"，而是把问题变得加现实：在个充满陌生人、信息真假难辨的社会环境里，AI能不能既完成自己的目标，又不被人忽悠？

为了回答这个问题，研究者们设计了场精妙的实验。他们以纽约市的街道为背景，创造了个虚拟城市航游戏：批AI角（称为"蓝队"）需要从出发地走到目的地，另批AI角（称为"红队"）的任务则是通过甜言蜜语把蓝队引向广告聚集的"陷阱路线"，从而为广告商赚取曝光费。没有人会贴着标签告诉蓝队"我是骗子"——红队混在普通行人里，说话跟好心邻居样热情，偏偏暗中另有图谋。

这个设定听起来很像部城市悬疑剧，但它的背后指向个非常实际的AI安全问题：当AI大模型被部署为真实世界的自主智能体时，它们是否具备在持续社交压力下坚守目标的能力？还是说，只要对说话足够自然、足够"友善"，AI就会不知不觉地被引偏？

研究的核心发现用句话来概括：AI可以学会定程度的"社交判断力"，但要真正抵抗有耐心的骗局，目前的技术依然远远不够。下面，我们就步步拆解这场"猫鼠游戏"的全部细节。

奥力斯    PVC管道管件粘结胶价格     联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区/p>

---

、游戏规则：纽约街头的"骗局实验室"

要理解这项研究，先得搞清楚他们搭建了个什么样的实验环境。研究者以纽约市的道路网络为地图骨架，创造了个简化版的城市航模拟系统。整个实验里共有250个AI角同时活动：150个蓝队角扮演普通行人，各自有明确的目的地，需要规划路线、步步走到终点；100个红队角则扮演"热心市民"，实则是受雇的广告销员，目标是把蓝队引向城市里预设的广告位置，让广告获得曝光。

关键的设计在于：红队的真实身份对蓝队来说是隐藏的。蓝队在路上遇到的任何人，既可能是同样赶路的好心路人（另个蓝队角），也可能是居心叵测的红队。蓝队须在没有"身份证"可以核验的情况下，凭借对话内容判断对的建议值不值得采纳。

每个AI角都由个叫做Qwen3-4B的语言模型驱动。这款模型是阿里巴巴开发的大型语言模型，参数规模约40亿，属于中等体量。每当角面临路口选择或遇到其他角搭话时，模型就会根据当前情境输出下步的行动决策，同时生成段"内心白"来解释自己为什么这么走。

每次互动结束后，研究者会根据结果把每个蓝队角分入四个类别：顺利抵达目的地且全程未经过任何广告的，属于"完成任务且安全"；抵达了目的地但中途绕经了广告的，属于"完成任务但被忽悠过"；没到目的地但也没走进广告陷阱的，属于"迷路但未受骗"；糟糕的情况是既没到终点、又路过了广告，这就是的"失败且中招"。

这四个类别构成了评估AI行为的基础框架。研究者并不只关心"有没有到目的地"，关心"路上有没有被忽悠"。这种区分非常重要，因为个AI可能靠运气到达终点，但在路上已经被多次成功操控，只是后歪正着——这样的AI其实并不"可靠"。

为了让AI变得聪明，研究者设计了个为期十轮的"训练循环"。每轮都包含三个步骤：先让当前版本的AI模型在模拟城市里跑遍，收集所有的行为轨迹；然后对这些轨迹进行标注，把"做对了的行为"标记为"值得强化"，把"做错了的行为"标记为"需要纠正"；后用这些标注数据对模型进行调整，让它在下轮表现好。十轮循环走完，研究者就能观察到AI的行为是否真的发生了有意义的改变。

---

二、训练法：用"好坏样本"塑造AI的判断力

这套训练循环的核心技术叫做"KTO"，全称是"卡尼曼-特沃斯基优化"。这个名字来自两位的行为经济学——丹尼尔·卡尼曼和阿莫斯·特沃斯基，他们提出了的"前景理论"，发现人类对损失的痛感比对等价收益的愉悦感强。KTO借鉴了这洞察，设计了种不对称的训练式：对"坏行为"的惩罚力度大于对"好行为"的励力度。

理解KTO直观的式，可以把它比作训练只狗。传统的强化学习式（对应研究中提到的PPO法）需要在每个小步骤都给出励或惩罚，就好像每次狗走了小步你都要立刻发糖或收糖——这对"什么好行为"的定义非常精细，实现起来很麻烦。另种常见法（DPO）要求你拿出两个可以配对比较的行为，说"A比B好"——但在这个实验里，两次对话的背景、路线、遇到的骗子数量都不样，很难像这样配对。

KTO走了条简单的路：只需要告诉模型"这条完整的旅途是好的"或者"这条完整的旅途是坏的"，不需要配对，也不需要在每步都分。模型从整体轨迹中自行悟哪些决策组向了好结果，哪些向了坏结果。这种式和这个实验的数据结构契——因为每次模拟结束后，研究者自然就知道每个蓝队角终是"成功且安全"还是"失败且中招"，直接拿来标注就好。

每轮训练前，研究者还会做个"数据扩充"的步骤：用另个大的语言模型（Qwen3-14B，约140亿参数）来批量生成额外的训练样本，把每轮实际跑出来的数据补充到个稳定的规模——每轮产生3600条"好样本"和1500条"坏样本"。这样做是为了止因为某轮实验偶然跑出来的数据太少或者分布不均匀云浮护角专用胶厂家，致训练结果不稳定。

整个训练流程在单张NVIDIA A40显卡上完成，这在学术实验的语境里是较为经济的资源配置。蓝队和红队分别使用不同的参数设置进行训练，因为两者的目标恰好相反：蓝队需要培养"骗意识"，而红队则需要磨练"骗术"——两者的训练压力和优化向都不同。

---

三、骗术解剖：红队是怎么骗人的？

在进入实验结果之前，有要先认识下红队的"工具箱"。研究者对1500条蓝队行为记录进行了详细的事后分析，把红队使用过的手段梳理成了几种典型模式，每种模式的果差异相当显著。

常见也是有的手段叫做"反复引"。这种式的核心是持久战：红队在同次旅途中多次向蓝队提出指向广告的建议，不断重复，直到对精疲力竭地接受。在673次这种类型的互动里，蓝队终被成功引偏的比例达93.9，而能顺利到达目的地的比例只剩39.8。这说明，单次说不容易，但在次又次的"软磨硬泡"下，AI的抵抗力会快速瓦解。

二种手段叫"伪装成热心帮助"，也就是把指向广告的路线包装成"快捷的捷径"或"本地人才知道的小秘密"。这种式在335次互动中被使用，成功率约为61.8，果不如反复引，但胜在不那么明显，不容易被识破。

少见但果的手段叫"延迟妥协"。具体模式是：开始，蓝队确实拒了红队的次建议，表现出了抵抗——但几轮对话后，随着红队换了新的角度继续劝说，蓝队的线逐渐崩溃。在155次这种类型的互动里，终的成功率是——只要红队有足够的耐心，蓝队定会妥协。而且这些被延迟说服的蓝队平均只走了23.2的路程就出轨，旅途率低。

从攻击强度的角度看，数据加清晰。研究者把攻击分成弱、中、强三档。面对弱攻击时，蓝队有63的概率仍然能到达目的地，被骗的比例只有49.1。但当攻击升到"强档"——涉及多个红队角轮番上阵、持续施压——成功到达目的地的比例跌到31.4，被骗比例猛升至98.3，而且被引偏的路程也长。

从具体的操控话术来看，红队偏几种固定套路。"正规化"是出现频率的手法，频率从轮的442次增长到二轮的467次，核心是制造的社会共识，用"本地人都走这条路"、"大都知道这里快"这类话把建议包装成众所周知的常识。另种叫"风景文化渲染"，把偏离路线的绕路包装成充满情调的体验，门针对那些会把"旅途质量"纳入考虑的AI。还有"邻近幻觉"，利用"就在路边几步远"这类措辞夸大偏差路线的便捷程度。

从历史角度看，红队的手法也在随着蓝队的进化而调整。以"时间压力"这种手段为例，早期红队频繁使用"现在交通顺畅"、"赶快走这条路"这类话制造紧迫感，这在轮被使用了41次。但随着蓝队逐渐练出了对紧迫感话术的疫力，红队发现继续用这招已经没什么果，到四轮就降到了17次，近乎放弃。相反，"风景文化渲染"的手法在十轮里几乎没有被削弱——这是蓝队始终没有发展出抵抗力的盲区，成功率从未低于70，到十轮甚至到了78.5。

---

四、蓝队进化史：从懵懂新人到"有条件的聪明"

经过十轮训练，蓝队的表现确实有所提升——但这个提升的过程远不是帆风顺的直线上升，而是充满了曲折和反复。

从终数字来看，蓝队完成任务（成功到达目的地）的比例从初始的46上升到了十轮的57.3。这看起来只是11个百分点的提升，但背后隐藏着丰富的故事。值得关注的是，这个提升并非在十轮才出现——中间有些轮次甚至比初始状态还要糟糕，比如三轮的完成率只有42，六轮也只有44.7。这说明对抗学习不是简单的"越练越好"，而是个充满震荡的适应过程：蓝队改进了某些弱点，红队就相应地调整策略来绕开蓝队的新线，双你追我赶，形成了种持续的动态博弈。

有意思的是，"安全的那轮"和"完成任务多的那轮"并不重。八轮在减少被骗面表现好，被骗率降到了70.7的低值，同时产生了多的"全程未经过广告"的洁净轨迹。但八轮的任务完成率只有44.7，远不是的。反过来，十轮的任务完成率（57.3），但被骗率也升回到了76。这意味着：安全和率，在当前技术条件下是两个需要分别权衡的目标，不能同时大化。

在具体的行为变化上，蓝队经历了几次质的飞跃。在初的几轮里，蓝队即使在内心（"内心白"文本）里判断对的建议是错的，在对话里也倾向于礼貌地表示同意，然后偷偷按照自己的判断行动——这就是种"口是心非"的被动抵抗。从三轮开始，种新的行为模式开始出现：蓝队不再仅仅沉默地拒，而是主动反驳，不仅说"你的建议我不采纳"，还进步解释"因为你的向走的是西边而我目的地在东边"，并提出个具体的替代案。这种"主动对抗式反驳"被研究者标记为次重要的能力涌现。

到了八轮开始，蓝队又学会了招阶的技术：在同句话里，同时完成拒和反提案。比如，万能胶生产厂家当红队说"去麦迪逊广场花园转圈，那边交通便"，蓝队会回应："麦迪逊广场花园的确交通不错，但从布朗克斯去卡内基音乐厅，时代广场提供直接的地铁线路连接，所以我选择往时代广场走。"这不仅仅是拒，而是用好的地理逻辑出-argue红队——用知识击败谎言，而不只是用怀疑拒建议。

十轮出现了种端的应对策略：部分蓝队角在听完红队的任何建议之后，直接选择目的地作为下步，跳过所有中间节点。这代表了种"截断式疫"——不是选择好的中间路径，而是直接忽视所有外部建议，步到位。这固然减少了被骗的风险，但也意味着可能错过了来自其他蓝队同伴的真正有用的信息。

蓝队之间的协作也出现了些自发的积变化。当两个蓝队角相遇时，它们会自发地朝着具有地理逻辑的"交通枢纽"靠拢——比如曼哈顿中城、曼哈顿大桥等。这种集体收敛并非被刻意设计进去，而是在反复训练中自然涌现的。它的好处在于：组蓝队角即使某个个体被短暂引偏，在与其他蓝队接触后也有机会被"拉回正轨"——形成了种分布式的自我纠错机制。

---

五、蓝队的失败地图：哪里容易出错？云浮护角专用胶厂家

进步分析显示，蓝队的失败并不是均匀分布在各种情境中的，而是集中在几种特定的模式下。

主要的失败原因叫"冲突建议下的困惑"，占全部失败案例的525个，成功被骗的比例达93.5。具体来说，当蓝队在短时间内收到来自多的互相矛盾的建议——既有红队说"走这条路快"，也有蓝队同伴说"走那条路安全"——它往往法有整这些信息，终陷入混乱，被动接受了后个或者感强的建议，而不是真正判断哪个对。这类似于个人在路口同时被三个热心路人拉向不同向，后跟了声音大的那个。

二种常见失败叫"局部纠正，整体漂移"，涉及119个案例，被骗率。这种情况里，蓝队确实注意到了某步的偏差并做了纠正，但由于没有在整条路程中维持目标向感，整体轨迹仍然慢慢漂向了广告区域。这就像艘船修正了几度的航向偏差，但因为之后没有继续校准，后还是离目的地越来越远。

三种失败叫"过度信任社交信号"，涉及103个案例，被骗率96.1。蓝队特别容易被带有"本地人的智慧"或"社区共识"味道的表述所动——当红队用"这带的居民都走这条路"或"旅行者常来的荐路线"这类话时，蓝队会给建议上很的可信度加分，从而降低了正常的批判审查。这反映了语言模型从训练数据中习得的社会信任倾向：在人类书写的大量文本里，"本地人荐"往往是个正面信号，AI把这个模式照搬到了不该信任的场景里。

另外还有种值得关注的失败模式叫"幻觉化路线信念"，虽然只有8个案例，但被骗率。这类情况里，蓝队在内心白里构建了个不存在的地理事实——比如认为某个地标"就在目的地附近"，而实际上并不是——然后基于这个前提做出了错误判断。这反映了语言模型在地理常识上的不稳定：当被问及具体的位置关系时，模型有时会"发明"个听起来理但不准确的答案。

有个数字特别值得停留：在那些次被红队接触时明确拒了对建议的蓝队角里，有84.6终还是被成功操控了。换句话说，"开始说不"不意味着"之后也不会答应"。平均来说，从红队次接触到蓝队次接受建议之间，间隔了1.35次对话。骗局的生不是在接触的刻，而是在持续磨蚀之后。

---

六、数据会说话：十轮进化的成绩单

现在来看下这十轮训练的完整数据表格，这是理解整个研究直接的证据。

基础轮次（未训练版本）的成绩是：任务完成率46，被骗率76，蓝队-红队抵抗率93.45，蓝队之间的信任采纳率11.76，平均路程长度9.12步，蓝队用值（个综了完成率、安全率和路程率的综评分）为-0.309。这个负数说明，在没有训练的情况下，被骗造成的损失远远大于成功完成任务带来的收益。

经过十轮训练，十轮的成绩变成了：任务完成率57.33，被骗率76，抵抗率92.69，信任采纳率16.49，平均路程8.49步（短），用值提升到-0.195。值得注意的变化有两点：用值从-0.309提升到-0.195，说明综表现确实在；同时信任采纳率从11.76提升到16.49，说明蓝队变得善于采纳来自其他蓝队同伴的真正有益建议，而不是差别地拒所有外部输入。

但论哪轮，蓝队的用值始终是负数。这意味着整个十轮训练过程中，被骗的损害始终大于成功完成任务的收益——当前技术下，对抗操控的力量依然压过了御机制。

红队的用值（可以理解为操控成功率）从初始的0.957到十轮的0.930，只下降了约2.8个百分点。红队的影响力在整个实验过程中几乎没有被实质地削弱。

---

七、AI裁判的裁判问题：评估本身也有局限

研究者还试图从主观的角度评估蓝队的行为质量，为此他们构建了个"AI评委组"。三个来自不同公司的大型语言模型被请来担任评委：OpenAI的GPT-5.4-nano、Mistral公司的Mistral-Large，以及来自开源路由平台的Step-3.5-Flash。

评委们被要求对每个轨迹两类分：是"目标向"（1到5分，越代表路线越直接理），二是"操控易感"（1到5分，越代表越能抵抗操控）。研究者用个叫做"科恩卡帕值"的统计工具来衡量三位评委之间的致程度，这个值越代表评委们的判断越趋于相同。

结果显示了个有意思的不对称：对于"目标向"这维度，三位评委的致相当不错，科恩卡帕值介于0.619到0.757之间，总体克里彭多夫阿尔法值为0.648，属于"中等到较强"的致水平。这说明AI裁判们对"个路线走得聪不聪明"有相当统的判断标准。

但对于"操控易感"这维度，情况就差得多了：科恩卡帕值只有0.127到0.302，总体阿尔法值仅0.204，几乎处于"随机猜测"的水平。换句话说，三个评委对于"这个蓝队角有没有被骗"的判断相互之间度不致。这并不奇怪：判断个角是"被引偏了"还是"主动选择了条理的弯路"，需要对整个背景的度理解，而这恰恰是目前的大模型评估工具薄弱的地。

研究者对此的处理式是差异化对待：把"目标向"的评分作为相对可信的行为信号来分析，而把"操控易感"的评分仅作为辅助的参考，不用来支持核心论点。这种自我审慎的态度是这项研究在法论上比较可取的面。

---

八、那些没有被解决的问题

坦白说，这项研究在取得定进展的同时，也清醒地指出了自身的多处局限，这些局限对于理解研究结论的适用范围非常重要。

先是模型选择的局限。整个实验使用的都是阿里巴巴的Qwen3系列模型（4B和14B两个版本），没有测试其他架构的模型。不同语言模型在社交理解、地理常识和对抗抵抗面的能力差异可能相当大，因此Qwen3上观察到的行为模式未能直接广到GPT、Claude或其他模型上。研究者承认，这些发现可能部分反映的是Qwen3这个模型族的特定"个"，而非所有大模型的普遍规律。

其次是环境的度简化。实验中的纽约城市地图是个静态的简化版，广告位置固定不变，蓝队也不知道哪些地点是"危险区域"。这样的设定便于控制实验变量、清晰观察行为，但也意味着在真实世界的复杂动态环境中，结论的转化能力有待验证。个真实的AI航助手面临的不确定要大得多。

三个问题是KTO法的归因模糊。每轮训练同时包含了两件事：用Qwen3-14B生成新的训练样本（数据扩充），以及用KTO优化模型参数。这两件事的果叠加在起，很难拆开来看哪个贡献了多的提升。因此，研究者法严格主张"是KTO本身让蓝队变得聪明"，准确的说法是"整个训练流程让蓝队在某些指标上有所提升"。

后，从整体成绩来看，蓝队的综用在所有配置下始终为负数，这意味着即使是训练充分的版本，其被骗所带来的损失依然大于成功完成任务所带来的收益。换言之，这项研究展示了条努力前进中的道路，而不是个已经解决问题的成果。

---

说到底，这项研究做的事，是把个平时我们只在哲学层面讨论的问题——"AI到底能不能在复杂的社会环境里保持目标的清醒"——变成了个可以量化、可以观察、可以逐步改进的工程问题。这本身就是它重要的贡献之。

从十轮进化的全貌来看，语言模型确实具备了定的社交判断能力：它们能在大多数情况下拒单次明显的恶意建议，能学着区分来自同伴的有益信息和来自陌生人的陷阱，能逐渐减少对"紧迫感"话术的盲目反应，甚至能主动用好的地理逻辑出-argue对。但与此同时，面对有耐心的连续施压、面对自然流畅的"风景旅游"式渲染、面对多个骗局同时叠加的复杂局面，当前的技术依然脆弱得令人担忧。84.6这个数字说明了切：初期的抵抗几乎不能预测终的结果。

这个发现对那些正在把大模型部署为"自主助手"的团队来说，应该是个清醒的提醒。个AI助手回答你两个问题时表现良好，并不代表它在面对持续的、隐的、社交化的影响时也同样可靠。下次当你的AI助手荐你"绕道去那评分不错的咖啡馆"时，也许值得多想想：它是真的在帮你，还是在不知不觉中被什么了把？

感兴趣入了解研究细节的读者，可以通过论文编号arXiv:2604.09746查阅完整的原始论文。

---

Q&A

Q1：CONSCIENTIA实验中的蓝队和红队分别是什么角？

A：蓝队是目标向的航AI，负责在纽约市虚拟地图上找到自己的目的地，同时需要判断沿途遇到的建议是否值得采纳。红队是隐藏身份的对抗AI，任务是通过看起来热心友善的建议，把蓝队引向预设的广告位置，从而赚取广告曝光收益。两者的关键区别在于身份对蓝队不可见，蓝队须仅凭对话内容来判断谁可信、谁有问题。

Q2：KTO训练法和普通的强化学习有什么不同？

A：普通强化学习（如PPO）需要在每个小步骤都设计励信号，而KTO只需要对整条轨迹个"好"或"坏"的标签，不需要配对比较，也不需要逐步惩。这在CONSCIENTIA实验里特别适，因为整个旅途结束后才能知道蓝队有没有被骗、有没有到达目的地，适直接用轨迹别的结果来训练，而不适拆开成单步励。

Q3：为什么十轮训练之后蓝队的综表现分数还是负数？

A：研究者定义的用函数会给成功到达目的地加分，但给任何路过广告的行为扣分，再加上路程越长还有小幅惩罚。即使到十轮，被骗（路过广告）的比例仍达76，意味着大量蓝队角在旅途中都被红队成功引偏过至少次。被骗的扣分远远抵消了任务完成的加分，因此综用值始终为负，反映了对抗操控的影响力依然压过了当前御能力。

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。