模型越大、表现越差反而能获奖？

奖金总计25万美金（折合人民币167万）？

这样“离谱”的事情还真就发生了，一个名叫Inverse Scaling Prize（反规模效应奖）的比赛在推特上引发热议。

该比赛由纽约大学的7位研究人员共同举办。

发起人Ethan Perez表示，本次比赛的主要目的，是希望能找到哪些任务会让大模型表现出反规模效应，从而找出当下大模型预训练中存在的一些问题。

现在，该比赛正在接收投稿中，第一轮投稿将截止到2022年8月27日。

人们似乎默认，随着语言模型越来越大，运行效果也会越来越好。

然而，大型语言模型并非没有缺陷，例如种族、性别和宗教偏见问题，以及产生一些模糊的错误信息等。

规模效应表明，随着参数数量、使用的计算量和数据集大小的增加，语言模型会变得更好（就测试损失和下游性能而言）。

我们假设有些任务的趋势是相反的：随着语言模型的测试损失的提高，任务性能变得单调、效果变得糟糕，我们将这种现象称为反规模效应，与规模效应相反。

本次比赛旨在寻找更多的反规模效应任务，分析哪些类型的任务容易表现出反规模效应，尤其是那些对安全性要求高的任务。

同时，反规模效应任务还将有助于研究当前语言模型预训练和规模范式中潜在的问题。

随着语言模型越来越多地应用于现实世界的应用程序，这项研究的现实意义也在增强。

对反规模效应任务的收集，将有助于降低大型语言模型带来不良后果的风险，并预防伤害到现实用户。

但针对这项比赛，有些网友提出了不同的看法：

软件工程师James对该观点表示赞同：

James甚至还进一步提出了“阴谋论”的看法：

对此，发起人Ethan Perez在评论里这样写道：

根据参赛者提交的任务，赛方将会构建一个包含至少300个示例的数据集，并使用GPT-3/OPT进行测试。

该比赛的评选将由一个匿名评审小组来完成。

评审们将从反规模效应的强度、通用性、新颖性、再现性、涵盖范围以及任务的重要性6个方面考量，对提交作品进全方位的审核，最终评出一等奖、二等奖和三等奖。

奖金设置如下：

一等奖最多1位，10万美金；

二等奖最多5位，每人2万美金；

三等奖最多10位，每人5000美金。

比赛已于6月27日开始，8月27日将进行第一轮评估，10月27日开始进行第二轮评估。

发起人Ethan Perez是一名科学研究人员，一直致力于大型语言模型的研究。

Perez在纽约大学获得自然语言处理专业博士学位，此前曾在 DeepMind、Facebook AI Research、Mila（蒙特利尔学习算法研究所）和谷歌工作过。

参考链接：1、https://github.com/inverse-scaling/prize2、https://twitter.com/EthanJPerez/status/15414549493970411543、https://alignmentfund.org/author/ethan-perez/

“