研究人员说人工智能的紧急能力只是一个海市蜃楼

摘要 当计算机最终决定将事情掌握在自己手中(或者我们应该说,他们自己的处理器)时,风暴云的预测似乎没有尽头。人工智能的发展可能意味着人类的

当计算机最终决定将事情掌握在自己手中(或者我们应该说,他们自己的处理器)时,风暴云的预测似乎没有尽头。

“人工智能的发展可能意味着人类的终结,”斯蒂芬霍金警告说。

“[AI]把我吓坏了。它的能力比几乎任何人都知道的要多得多,而且改进的速度是指数级的,”OpenAI联合创始人埃隆马斯克说。

根据今年早些时候1,000多名技术领导者签署的一封信,人工智能技术给“社会和人类带来了深远的风险”,敦促暂停人工智能研究,直到对潜在风险有更多了解。

“我们需要非常小心,”蒙特利尔大学教授兼人工智能研究员YoshuaBengio说。

尽管人工智能将给工业、经济、教育、科学、农业、医学和研究等广泛领域带来巨大好处,但媒体报道越来越多地对这种新兴的颠覆性技术的意外后果发出警告。

一个值得关注的领域是突发行为,定义为系统中一系列未预料到的、未编程的交互,这些交互源于各个部分的更简单的编程行为。

研究人员表示,在自主学习语言的模型中可以看到这种行为的证据,当受过下棋和围棋训练的系统生成原始策略以前进时,或者当机器人表现出最初未编程的运动模式的可时。

谷歌计算机科学家EthanDyer在回应一项AI实验时说:“尽管我试图期待惊喜,但我对这些模型能做的事情感到惊讶的表情符号。

但戴尔本人可能会惊讶地发现,斯坦福大学的一个研究团队正在对突发行为的报告泼冷水。

RyanSchaeffer、BrandoMiranda和SanmiKoyejo在上周发表的一篇论文中表示,突发行为的证据是基于可能被误解的统计数据。

“我们的信息是,之前声称的紧急能力……可能是研究人员分析引起的海市蜃楼,”他们说。

在他们发布在arXiv预印本服务器上的论文中,研究人员解释说,大型语言模型的能力是通过确定其正确预测的百分比来衡量的。

统计分析可以用多种方式表示。研究人员争辩说,当结果以非线性或不连续的指标报告时,它们似乎显示出急剧的、不可预测的变化,这些变化被错误地解释为紧急行为的指标。

然而,使用线性指标测量相同数据的另一种方法显示“平滑、连续”的变化,与前一种测量相反,它揭示了可预测的——非紧急的——行为。

斯坦福团队补充说,未能使用足够大的样本也会导致错误的结论。

“现有的紧急能力声明是研究人员分析的创造,而不是特定任务模型行为的根本变化,”该团队说。

他们补充说,虽然过去研究中的方法可能会产生误导性结论,但“本文中的任何内容都不应被解释为声称大型语言模型不能显示紧急能力”,这表明适当的方法可能会很好地揭示这种能力。

“主要的收获,”研究人员说,“对于固定任务和固定模型系列,研究人员可以选择一个指标来创建紧急能力,或者选择一个指标来消除紧急能力。”

或者正如一位著名评论者所说,“算法的输出仅与其创建者设置的参数一样好,这意味着AI本身存在潜在偏差的空间。”

那位著名的评论员是谁?微软Bing的ChatGPT。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。