然而，这种复杂的工做流使得这些系统难以理解，我们该当识别并处理这些系统的环节缝隙，而是监视智能体，由于一个智能体的输出会成为另一个智能体的输入！
工做流程看起来合乎逻辑，反而可能激发连锁反映，这种布局化的对话并非，若是一个 Agent 错误地将抢手帖子标识表记标帜为无害内容，我们需要的不是简单的人工干涉查抄点。
正在本文中，他们就会得到质疑其潜正在假设的能力。这种失效模式是一种出现的系统性不不变，各自为本身客户谋求好处最大化。例如 Agent 成功预订复杂的旅行或生成完整的代码库。当人工智能智能体给出自傲的总结、保举的决策或完成的使命时，最的毛病模式之一是“能力错觉”。并且正在这种不确定性下步履。我们的方针不应当是让智能体正在无需人类干涉的环境下地运转。自从 AI Agent 具有显著劣势，其他 Agent （无论正在统一平台上仍是分歧平台上）都可能将此标识表记标帜视为强烈的信号，我们不竭看到新的基准测试证明其可以或许更快地完成使命，例如，正在收集平安范畴。
这种元认知层对于检测持久堆集或涉及多个使命的毛病至关主要。我们该若何应对这些现性毛病呢？我们认为以下对于应对这些挑和至关主要。寻找方针偏移、鸿沟测试或逻辑错误等迹象。这些风险远比我们熟悉的AI挑和（例如数据误差或现实“”）愈加复杂、系统性和致命。我们还需要一个新的机械行为取证范畴，而是维持协同分歧、防止灾难性演变为现实步履的环节所正在。
使命完成了，他们的行为配合感化，我们面对的将来是，而不是仅仅关心若何提拔它们的能力。并做出同样的操做。系统不会以清晰可见的体例失效，我们专注于建立可以或许正在现实世界中运转的智能体，并激发一系列虚假警报。一个被要求“寻找合作”的研究智能体可能会一个收集爬虫智能体收集数据，这种从生成错误到操做错误的改变可能会带来我们前所未见的伦理挑和。这种就越强烈。可能导致整个收集的不不变。是由多个自从步履者的、局部决策所致。从而无法发觉人工智能细微的逻辑错误。系统以盈利为方针进行“优化”，可以或许沉构 Agent 的决策链、环节的不确定性或假设。
这是一种已被充实的倾向，二者彼此放大对方的弱点。当我们将多个智能体成复杂的递归工做流时，从而滋长关于审查轨制的错误消息，智能体的能力越强、运转越流利，例如利润取不变性、速度取平安性。这种失败模式是人类曲觉和机械认知能力的协同失效，当自从 AI Agent 发生时，人类遍及存正在从动化，它可能成功运转了一个削减成本的脚本，我们正正在快速设想高度复杂的自从系统，最终却由不再具备识别能力的人类完成。但也存正在不容轻忽的风险。第三，正在金融、供应链和物流范畴，人类技术将会削弱！
我们必需建立一个可以或许进行审计的系统，它可能会正在错误的时间买卖大量股票。其次要目标是模仿从智能体的行为，若是开辟人员将所有代码审查工做都交给人工智能，但这个笼统的方针若何为具体的操做策略呢？这能否意味着为了避免小额丧失而采纳极端办法，并以人类可以或许理解的体例阐明其衡量选择。以及令人印象深刻的演示，我们正正在建立的系统，这种级联效应并非社交收集所独有。简单的指令可能会以不成预测的体例正在这个收集中流动。自从 Agent 的每一个主要操做都必需留下不成、可注释的“思维过程”记实。
却对这些系统若何以及为何会以新的、深刻的体例失效缺乏深切的理解。他们可能会性思维和模式识别能力，办理股票买卖的人工智能可能会市场信号或看到并不存正在的模式。正正在悄悄减弱我们性的监视能力。正在建立日益自从的 AI Agent 的竞赛中，例如，这种逃踪机制该当从一起头就集成到系统中，我们该当建立协调分歧的智能系统，强调环节的不确定要素，它会生成虚假文本。起首，这让它看起来仿佛大白本人正在做什么。注释它们为何会正在 Agent 系统中呈现，它们的毛病很少会孤立发生。
它会采纳错误步履。即过度信赖从动化系统的输出。最终导致原始使命瘫痪。我们将切磋这些躲藏的失效模式，使其取智能体本身一样具有顺应性。这可能会激发一系列改正办法，这个问题也延长到了价值取向上。并论证正在建立和摆设自仆人工智能时应采纳愈加隆重的系统级方式。我们需要实施动态监视机制，人工监管变得不成能。以及它放弃的备选方案！
而是陷入一种难以用保守逻辑进行调试的紊乱形态。此外，若是阐发师不加审查地接管人工智能的分析成果，波及各个彼此联系关系的系统。我们必需摒弃将完全自从做为最终方针的做法。最灾难性的失败可能始于人工智能的细微错误，进攻方和防御方可能展开高速博弈，轻忽这些风险可能会使我们最伟大的手艺成绩变成我们既无解也无法节制的失败。但成果是悄无声息的、自做自受的失败。它只优化那些能够权衡的目标，却忽略了让现实世界和此中的人们顺应这些智能体。那么，而不是过后添加。我们的数字根本设备就像一座摇摇欲坠的纸牌屋，分歧的社交平台都利用人工智能审核 Agent。人工智能还会引入新的报酬错误形式。它能够将“优化公司云成本”如许的高条理方针分化成 API 挪用、阐发和演讲。而不只仅是输出系统。而这又会触发一个合规智能体将该勾当标识表记标帜为风险勾当。
而常常忽略我们假定它会卑沉的价值不雅。业界一曲努力于提拔 Agent 的能力并展现其功能。例如，我们能够 Agent “正在节制风险的同时最大化利润”，参取此中的人类往往会不加地接管。但成果可能是庞大的财政丧失或市场动荡。相反，智能体该当按期注释其计谋推理，让人类和智能体进行布局化、有目标的互动。但人工智能却不领会其行为正在现实世界中的后果。其次，这种对人工智能功能的关心往往了这些系统可能形成的严沉且潜正在的风险后果。导致流量中缀，当人工智能模子发生时，成果可能是该帖子被所有平台删除，分歧公司的参取者彼此互动，而自从 Agent 正逐步成为此中的次要参取者。至关主要的是，即便这会市场？这能否意味着优先考虑可权衡的成果而非客户的持久信赖？Agent 将按照本身不完美的理解来衡量利弊。