站长网 动态 谷歌让 NLP 模型也能 debug,只要给一张草稿纸就可以

谷歌让 NLP 模型也能 debug,只要给一张草稿纸就可以

现在的大型语言模型,能力个个都挺强。但,它们的计算能力都不太行:比如 GPT-3,没法做超过三位数的加法。再比如它们当中的大多数都可以写代码,但是理解代码却很费劲 稍微遇到点带循环的程序就GG。 不过,来自 MIT 和谷歌的研究人员发现:不用修改模型的

现在的大型语言模型,能力个个都挺强。但,它们的计算能力都不太行:比如 GPT-3,没法做超过三位数的加法。再比如它们当中的大多数都可以写代码,但是理解代码却很费劲 —— 稍微遇到点带循环的程序就“GG”。
 
不过,来自 MIT 和谷歌的研究人员发现:不用修改模型的底层架构,只需训练它们学会像程序员 debug 时那样“打断点”,读代码的能力就唰唰唰地涨上去了。
  
 
将同样的思路用于大数加法、多项式计算,那就更不在话下了。所以,语言模型的数学能力终于也要跟上了?!
  
前面说的“打断点”,其实指的是在计算步骤较多的程序中,让模型把每一步都编码为文本,并将它们记录到一个称为“便签”的暂存器中,或者叫“草稿纸”。

本文来自网络,不代表站长网立场,转载请注明出处:https://www.tzzz.com.cn/html/xinwen/dongtai/2021/1204/33445.html

作者: dawei

【声明】:站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。
联系我们

联系我们

0577-28828765

在线咨询: QQ交谈

邮箱: xwei067@foxmail.com

工作时间:周一至周五,9:00-17:30,节假日休息

返回顶部