- · 《语言研究》栏目设置[09/30]
- · 《语言研究》数据库收录[09/30]
- · 《语言研究》投稿方式[09/30]
- · 《语言研究》征稿要求[09/30]
- · 《语言研究》刊物宗旨[09/30]
这项最新调查劝退效果拉满:67% 的 NLPer 怀疑自己
作者:网站采编关键词:
摘要:还有网友吐槽:连塔罗牌都比 NLP 靠谱。 Q3-2:大规模机器学习建模(例如语言建模和强化学习)的最新进展是 AGI 发展的重要表现。 在地区分布上,受访者中的 58% 来自美国,23% 来自欧
还有网友吐槽:连塔罗牌都比 NLP 靠谱。
Q3-2:大规模机器学习建模(例如语言建模和强化学习)的最新进展是 AGI 发展的重要表现。
在地区分布上,受访者中的 58% 来自美国,23% 来自欧洲,8%来自亚洲。其中,来自中国的 NLP 研究者占 3%。
过去 5 年发表的构建可解释模型的大多数研究都走错了方向;等等。
受访者被询问是否预计在不久的将来会出现一个“NLP 寒冬”,即资金和就业机会较峰值下降至少 50%。
有高达 82% 的人认为 NLP 研究需要借鉴更多相关领域科学。问题是,虽然有这么多的人嘴上都强调这一点,但实际上做得却并不怎么好,真正的问题可能不是 NLP 研究者没有意识到跨学科的重要性,而是我们还缺乏能推动实施的知识和工具。
Q3-4:在本世纪,由 AI/ML 系统做出的决策可能会引发一场全面核战争级别的严重灾难。
被引用最多的研究成果将来自工业界而不是学术界,如今工业界在引领 NLP 领域发展进程方面的影响力过大;
尽管 30 %不是一个大数字,但这也反映了这一部分 NLP 研究者的一种信念,即 NLP 研究将在不久的将来发生重大变化(至少在谁提供资金以及提供多少资金方面)。为什么他们的态度会相对悲观?背后有许多可能原因,比如由于工业界影响力过大而导致的创新停滞,工业界将凭借少量资源充足的实验室来垄断行业,NLP 和其他 AI 子领域之间的界限将消失,等等。
“NLP 寒冬”将在未来 30 年内来临;
Q1-2:未来 10 年被引用最多的论文更有可能来自工业界,而不是学术界。
相比之下,只有 36% 的人认为,纯文本评估可以衡量语言理解。这表明在很多人看来,评估是一个独立的问题,理解可能是可学习的,但不可测量。
73% 的受访者认为,AI 的自动化可能很快会带来革命性的社会变革,这也是有那么多人认为 AGI 是一个重要问题的原因。值得注意的是,有 23% 的人尽管认同这种变革,但并不同意 AGI 的重要性,所以,关于 NLP 的讨论或许没有必要牵扯进关于 AGI 的辩论中。
语言模型到底有没有理解语言?
有一半(51%) 的人同意 LM 理解语言,如果模型还可以访问多模态数据(图像等),同意的人则占比更多,为 67%。
一味追求大模型是不是走错了路?
在关于 AGI 的问题上,受访者的意见分布比较均衡,58% 的人认为 AGI 应当是 NLP 研究者的一个重要关注点,57% 的人相信最近的研究显著推动了我们向 AGI 方向发展。这两种观点具有高度正相关性。
NLP 方向走错了吗?
过于关注规模化和基准
首先简单介绍一下本次调查的受访者情况:
Q1-4:我预计未来 30 年内将出现“NLP 寒冬”。
然而,这项调查的结果表明,NLP 研究者对 Sutton 这种观点的认可程度实际上远远低于预期。仅有 17 % 的人同意或弱同意:鉴于本世纪算力和数据的可能发展程度,扩大现有技术的实施规模将足以解决 NLP 的所有重要问题。在人人似乎都对大模型趋之若鹜的当下,这个数字是极低的。
规模最大化是终极方案吗?
在许多人看来,一项工作的被引用次数并不能很好地代表其价值或重要性,而且,工业界对该领域的持续主导地位将产生负面影响,比如在基础系统方面的绝对控制地位,就像 GPT-3 和 PaLM。
未来最有影响力的进展是会来自工业界还是学术界?
此外,有 61% 的受访者表示,2030 年被引用次数最多的五个系统很可能会从过去 50 年语言学或认知科学研究中获取灵感。而事实上,当前系统对认知科学的借鉴还仅仅停留在对神经元、注意力、token 的粗略解释上。
73% 的受访者来自学术界,22% 的受访者来自工业界,4% 从事非营利组织或政府工作。其中,教师和高级管理人员占 41%,23% 是初级研究人员(包括博士后),33% 是博士生,2% 是硕士研究生或本科生。
文章来源:《语言研究》 网址: http://www.yyyjzzs.cn/zonghexinwen/2022/0831/1460.html