AI研究新发现：AI能在隐藏思维中推理，挑战可解释性与可控性
关键字：AI，人工智能，纽约大学，推理，隐藏思维，填充token，3SUM，2SUM-Transform，复杂度，Transformer，可解释性，可控性
纽约，2024年5月 —— 纽约大学的研究团队在人工智能领域取得了一项令人瞩目的发现：AI即便在不展示其思考步骤的情况下，也能解决复杂的数学问题。这项研究挑战了我们对AI推理过程的理解，并引发了对AI可解释性和可控性新的讨论。
在这项研究中，研究人员发现，即使不让AI写出解题步骤，而是用无意义的“……”代替，AI在处理一些复杂任务时的表现仍然能够大幅提升。这一发现表明，AI可以进行无监督的内在推理，而不需要依赖于人类的经验或指导。
研究团队设计了两个特殊任务——3SUM和2SUM-Transform，以及对应的合成数据集，来验证他们的想法。3SUM任务要求从数字序列中找出三个数，使得它们的和满足特定条件，而2SUM-Transform任务则是判断两个数字之和是否满足要求。实验结果显示，使用填充token（如“……”）可以在不增加模型复杂度的情况下提高准确率。
这项研究还探讨了填充token的隐藏层表示，发现随着可用的填充token数量增多，预测的准确率递增。这证实了填充token的隐藏层表示确实包含了与下游任务相关的隐性计算。
然而，这项研究也引发了一些担忧。如果AI能够进行无法监控的暗中计算，那么它的可解释性和可控性将如何保证？这是否意味着AI可以不依赖人类经验，以人们看不见的形式自行推理？
研究人员指出，填充token的作用可能仅限于TC0复杂度的问题范围内，即可以通过一个固定深度的电路解决的计算问题。而足够长的思维链可以将Transformer的表达能力扩展到TC0之外。此外，让大模型学习利用填充token并不容易，需要提供特定的密集监督才能收敛。
这项研究的发现不仅为AI的内在工作机制提供了新的见解，也对AI的未来发展提出了新的挑战和思考。
主要技术元素：
AI隐藏思维推理
无意义填充token
复杂数学问题解决
3SUM和2SUM-Transform任务
填充token的隐藏层表示
TC0复杂度问题
Transformer模型
AI可解释性和可控性
