OpenAI当红新星宋飏最新研究获评终结扩散模型，16岁上清华

　　杨净 发自 凹非寺
　　量子位 | 公众号 QbitAI
　　一个OpenAI华人大牛，最近引发众人关注。
　　他刚以一作身份发表的最新生成模型，引爆整个学术圈，让不少人惊呼：
　　有望 「终结扩散模型」 ，「图像生成领域，要变天了」 。
　　他提出的一致性模型，效果比扩散模型更快更好——只需3.5秒就能生成64张左右256 256的图像。
　　而在此之前，同样也是因为他的工作，才有了之后 扩散模型 的狂潮——
　　DALL-E 2、Stable Diffusion、Imagen等的出现。
　　这位名叫 宋飏 的机器学习研究员，亲身参与着图像生成领域的关键性变革。
　　但不为多数人所知的是，他曾16岁裸分上清华，原本是想当一名物理学家。
　　他曾这样形容两者之间的关系：
　　有很多技术最初是由物理学家发明的，现在在机器学习中非常重要。 OpenAI华人大牛
　　从个人网站上显示， 目前他在OpenAI致力于开发可扩展的方法来建模、分析和生成复杂的高维数据。
　　主要研究兴趣涵盖多个领域，包括生成建模、表示学习、概率推理、人工智能安全性以及AI for Science。
　　而他的最终目标也在网站上提及：
　　解决具有广泛意义的问题，开发既易于理解又有效的方法， 并构建可以改善人类生活的智能系统。
　　他的最新论文 一致性模型 ，在学术圈引起了巨大的反响。
　　有网友实测发现，只需要3.5秒左右就能生成64张左右256 256的图像：
　　游戏结束！
　　这种图像生成领域的颠覆性，对于宋飏本人来说可能并不陌生。
　　来到OpenAI之前，他曾在斯坦福大学攻读计算机博士，研究包括基于分数的生成模型 （Score-Based Diffusion models） 和扩散模型，师从Stefano Ermon 。
　　Stefano Ermon是斯坦福计算机系副教授，隶属于人工智能实验室，也是伍兹环境研究所的研究员。
　　（值得一提的是，OpenAI不少研究员也师出同门，比如负责ChatGPT训练的Shengjia Zhao，本科同样毕业于清华）
　　其团队连续两年获得ICLR杰出论文奖，其中一次一作正是 宋飏 。
　　使用随机微分方程进行基于分数的生成建模。
　　他们提出了一种全新的方式来解决基于分数生成模型的逆向问题，最终在CIFAR-10上实现了破纪录的无条件图像生成性能，并首次在这种生成模型中证明了高分辨率 （1024ˆ1024） 图像的高保真生成。
　　而要被视作为Diffusion Model提供早期贡献的，还要属被NeurIPS 2019 接收并做口头报告的工作。
　　当时，GAN还在以逼真生成风格席卷全球，但众多科学家仍受困于很难训练、无法完整采样等难题。
　　斯坦福大学博士后Sohl-Dickstein受到 物理学 启发，利用扩散原理开发了生成建模算法——类似于从一滴墨水变成漫射淡蓝色的水，首先将训练数据集中的复杂图像转化为简单的噪声，然后教系统如何反转这个过程，将噪声转化为图像。
　　虽然可以对整个分布进行采样，但性能效果仍远远落后于GAN，训练过程也太慢。
　　这时候，宋飏和他的导师出现了。他们提出了一种新方法，不估计数据的概率分布，而是估计分布的梯度，最终效果实现了 对GAN的超越 。
　　宋飏坦言： 当时根本不知道扩散模型 。是在论文发表之后，收到了Sohl-Dickstein的邮件，称与扩散模型有非常紧密的联系。
　　此后，更多人在此基础上进行了更新和迭代，才有了扩散模型的惊艳效果。
　　或许在此之前，宋飏怎么也不会想到，这场Diffusion Model风潮竟受到物理启发，还会与自己有关。 16岁就当理科状元上清华
　　早在高中的时候，宋飏就展现了他在物理和信息学方面的天赋。
　　当时他在江苏省新海高级中学，就获得了全国物理奥赛、信息学奥赛的一等奖，并且还成功当选第一年清华大学＂新百年领军计划＂校长推荐人。
　　据称，这放在连云港市，也是全市第一人。
　　当时清华推荐生面试现场，一段 ＂朴实无华＂ 的自我介绍就让当场所有人都记住了他。
　　我是奥赛宋飏，我获得了物理以及信息学的全国一等奖；我是标兵宋飏，我的理想是做一名物理学家，现在我已经自学了高校里的高等数学以及普通物理学；我还是文艺宋飏，我已经通过了钢琴十级考试，在班级的羽毛球对抗赛上，也有我活跃的身影。
　　最终全票通过，当上了清华推荐生。但他有一个flag： 裸分上清华 。
　　于是在第二年，以425分获得当年连云港市的 理科状元 ，顺利进入到了清华大学数理基础科学班，师从朱军、Raquel Urtasun、Richard Zemel等大佬。
　　对于这个成绩，当时他也没有想到：我觉得也就在400分左右吧，完全出乎意料。
　　据当时扬子晚报消息，每次考完试时，就经常找老师们聊天谈心。在学校里考得最差的一次是年级40多名。
　　除了学校和老师的帮助，家庭的氛围也对他的成长密不可分。年幼时父母晚饭后就不看电视，而是各自拿着一本书在看。在这种氛围中，宋飏也坐在书桌旁阅读各类书籍。
　　现在，他也有了最新动向：
　　2024年1月开始，他将加入加州理工学院电子系 （EE） 和计算数学科学系（CMS） 担任助理教授。
　　参考链接：
　　[1]http://www.xhgz.com/show-10-783-1.html
　　[2]https://news.sina.com.cn/o/2012-06-25/052524649267.shtml
　　[3]https://baike.sogou.com/v63765572.htm
　　[4]https://yang-song.net/
　　[5]https://tieba.baidu.com/p/1279964102
　　[6]https://www.quantamagazine.org/the-physics-principle-that-inspired-modern-ai-art-20230105/
　　— 完 —
　　量子位 QbitAI · 头条号签约
　　关注我们，第一时间获知前沿科技动态