Meta发布科研者的福音，上线仅三天被骂到撤退

　　整理 | 何苗
　　出品 | CSDN（ID：CSDNnews）
　　上周，Meta 推出了一种名为 Galactica 的新型大型语言模型（large language model，LLM），它由 4800 万篇科学文章、网站文章、教科书、讲义和维基等训练而成。其本意是想解决学术界信息过载，帮助研究人员做信息梳理、知识推理和写作辅助，一度被认为是＂科研者的福音＂。Meta 将其模型宣传为＂可以总结学术论文，解决数学问题，生成维基文章，编写科学代码，为分子和蛋白质做注解，等等。＂
　　但是，它并没有像 Meta 所希望的那样大放异彩。MIT Technology Review 报道，三天后，在激烈的争议中，Meta 撤下了它的在线演示版本。
　　时至今日，围绕 Galactica 的讨论并没有停止。
　　人工智能or科学造假制造机
　　人们是如何发现 Galactica 有问题的？
　　Galactica 一经开放使用，就吸引了大波网友和研究人员开始试用，有科研人员发现它确实能为自己生成的内容引用文献，但有时这个文献并不存在，作者却是真实存在的人。
　　也有科学家实验过后发现 LLM 即使能产出看似有条理的文本，但其实并无法理解其中意义。因此科学家发现 LLM 模型可能产出具有偏见的文章，或是出现事实谬误。
　　著名的 AI 学者 Gary·Marcus 表示，Galactica 把他的出生日期、教育经历和研究领域等信息全搞错了。
　　类似的讨论也发生在 Twitter 上。如果你让AI生成一篇关于＂生活在太空的熊＂的维基页面，AI 也会试着生成。
　　除了生成论文，Galactica 也可以生成词条的百科查询、对所提问题作出知识性的回答，除了文本生成外，还可以执行涉及化学公式和蛋白质序列的多模态任务。例如在化学反应中，要求 Galactica 在化学方程 LaTeX 中预测反应的产物，模型仅根据反应物就能进行推理，结果如下：
　　总体来看，Galactica 有点问题，也有点意思。
　　科学家与网友怎么看
　　在模型发布当天，Meta AI 的首席 AI 科学家 Yan LeCun 表示：＂输入文本，Galactica 将生成包含相关参考文献、公式和所有内容的论文。＂
　　而知名 AI 学者、Robust.AI 创始人 Gary Marcus 对 Galactica 模型测试过后表达了强烈的质疑：大型语言模型（LLM）混淆数学和科学知识有点可怕。高中生可能会喜欢它，并用它来愚弄他们的老师。这应该令我们感到担忧。
　　有网友提出一些反对意见，与其带来的好处相比，Galactica 会带来更多负面后果，想想这对学生写论文会有什么影响。它产出的伪论文可能危害真正的科学研究。
　　有人将其归因于深度学习的局限性：深度学习的本质是从数据中学习，这本来就不同于人类的智能，根本无法实现通用人工智能（AGI）。
　　马克斯普朗克智能系统研究所所长 Michael Black 则认为这不是个好的导向：＂它提供了听起来是权威的科学，但没有科学方法的基础。Galactica 根据科学写作的统计特性产生伪科学，很难区分真假。这可能会开启一个深度科学造假的时代。这些被生成的论文将被其他人在真实的论文中引用。这将会是一团乱麻。我赞赏这个项目的初衷，但提醒大家还是要注意，这不是科学的加速器，甚至也不是科学写作的有用工具。这对科学来说是潜在的扭曲和危险。＂
　　三天后 Galactica 被撤，Yan LeCun 在推特上写道：＂ Galactica 演示暂时下线。不再可能通过随意滥用它来获得一些乐趣。开心吗？＂
　　这位大拿的反应有些耐人寻味，自此引发了后续人们对＂研究批评＂的讨论。
　　开放研究批评，再给 AI 通用化一些时间
　　近日，有国外技术评论文章表示：
　　图灵奖获得者、Meta 首席科学家 Yann LeCun 为 Galactica 的撤退而辩护的态度是荒谬的，他不允许外人去批评产品是有问题的。而 Meta 官方对 Galactica 被撤的反应比较平和中正。
　　LeCun 曾回应 AI 评论家 Gary Marcus：或者它 （Galactica）被删除是因为像你（Marcus）这样的人滥用模型并歪曲它。感谢您删除了一个有用且有趣的公共演示，这就是我们不能拥有好东西的原因。
　　他认为官方对自己使用自己的代码所做的事情负责，而不是在指责批评家。而Yann LeCun 的反应有些过度，我们应该允许大众对学术领域批评，而不是压制，研究批评不该被视为人身攻击。
　　与所有语言模型一样， 夭折的 Galactica 看起来是一个无法分辨事实与虚构的无意识机器人，距离它宣传中的能力尚有距离。
　　近年来，新型软硬件计算系统、大数据、机器学习的发展，使得人工智能的潜能得到了很大发挥，形成了新的生产力，在社会发展各方面发挥巨大作用。但目前人工智能应用的瓶颈仍在于怎样向各行各业推广，将人工智能工具做到易用、安全，使知识获取像互联网搜索那样简单，并以一种容易理解、安全可靠的方式加以运用。当一个新事物出现，我们可能需要以更平和的心态来看待。
　　参考来源：
　　https://statmodeling.stat.columbia.edu/2022/11/23/bigshot-chief-scientist-of-major-corporation-cant-handle-criticism-of-the-work-he-hypes/
　　https://www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/
　　https://twitter.com/GaryMarcus/status/1593264844412977158?s=20&t=Gw8PrA_Ytku9_9TaubsHyw
　　https://twitter.com/paperswithcode/status/1593259033787600896