谷歌大模型团队并入DeepMind!誓要赶上ChatGPT进度(2)
发表于2023-02-27 19:45:00
明敏 发自 凹非寺
量子位 | 公众号 QbitAI

为应对ChatGPT,谷歌在大模型方面的动作还在继续。 最新消息,其旗下专注语言大模型领域的“ 蓝移团队 ”(Blueshift Team)宣布,正式加入DeepMind,旨在共同提升LLM能力! DeepMind科学家们在推特下面“列队欢迎”,好不热闹~ 蓝移团队隶属于 谷歌研究 ,和谷歌大脑实验室同等级。 之前谷歌耗时2年发布的大模型新基准BIG-Bench,就有该团队的重要贡献。 还有谷歌5400亿大模型PaLM,背后也有蓝移团队成员提供建议。 综合此前消息,DeepMind表示要在今年发布聊天机器人麻雀(Sparrow)内测版本。 如今又有擅长大模型研究的团队加入,强强联手,或许会加快谷歌应对ChatGPT的脚步? 这下有好戏看了。

蓝移团队是谁?

据官网介绍,蓝移团队主要关注的研究点是如何理解和改进大语言模型的能力。 他们专注于了解Transformer的局限性,并挑战将其能力扩展到解决数学、科学、编程、算法和规划等领域。 具体可分为如下几方面分支。 团队的代表性工作有数学做题模型 Minerva 。 它曾参加数学竞赛考试MATH,得分超过计算机博士水平 。 综合了数理化生、电子工程和计算机科学的综合考试 MMLU-STEM ,它的分数比以往AI高了 20分 左右。 并且它的做题方法也是理科式的,基于 谷歌5400亿参数大模型PaLM ,Minerva狂读论文和LaTeX公式后,可可以按照理解自然语言的方式理解数学符号。 作者透露,让该模型参加波兰的数学高考,成绩都超过了全国平均分数。 还有蓝移团队曾和MIT的科学家一起, 通过训练大模型学会程序员debug时“打断点”的方式 ,就能让模型读代码的能力大幅提升。 还有 谷歌耗时2年发布的 大模型新基准BIG-Bench ,蓝移团队全部成员均参与了这项工作。 BIG-bench由204个任务组成,内容涵盖语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等方面的问题。 以及如上提到的谷歌大模型PaLM,蓝移团队成员Ethan S Dyer也贡献了建议。 官网显示,蓝移团队目前有4位主要成员。 Behnam Neyshabur现在是DeepMind的高级研究员。他在丰田工业大学(芝加哥)攻读了计算机博士学位,后来在纽约大学进行博士后工作,同时是普林斯顿大学高等研究理论机器学习项目组的成员。 研究领域是大语言模型的推理和算法能力、深度学习和泛化等。 Vinay Ramasesh 在加州大学伯克利分校获得物理学博士学位,曾致力于研究基于超导量子比特的量子处理器,硕士毕业于麻省理工学院。 最近他主要在研究语言模型,职位是研究科学家。 Ethan Dyer博士毕业于麻省理工学院,2018年加入谷歌工作至今。 Anders Johan Andreassen同样是物理专业出身,博士毕业于哈佛大学。在哈佛大学、加州大学伯克利分校都做过博士后,2019年起加入谷歌。

投稿:99it.com.cn
Copyright © 2002-2022 99科技网