LaBSE：一套支持109种语言的新语言不可知论内嵌模 - 语言研究杂志社投稿

一、稿件要求： 1、稿件内容应该是与某一计算机类具体产品紧密相关的新闻评论、购买体验、性能详析等文章。要求稿件论点中立，论述详实，能够对读者的购买起到指导作用。文章体裁不限，字数不限。 2、稿件建议采用纯文本格式(*.txt)。如果是文本文件，请注明插图位置。插图应清晰可辨，可保存为*.jpg、*.gif格式。如使用word等编辑的文本，建议不要将图片直接嵌在word文件中，而将插图另存，并注明插图位置。 3、如果用电子邮件投稿，最好压缩后发送。 4、请使用中文的标点符号。例如句号为。而不是.。 5、来稿请注明作者署名(真实姓名、笔名)、详细地址、邮编、联系电话、E-mail地址等，以便联系。 6、我们保留对稿件的增删权。 7、我们对有一稿多投、剽窃或抄袭行为者，将保留追究由此引起的法律、经济责任的权利。二、投稿方式： 1、请使用电子邮件方式投递稿件。 2、编译的稿件，请注明出处并附带原文。 3、请按稿件内容投递到相关编辑信箱三、稿件著作权： 1、投稿人保证其向我方所投之作品是其本人或与他人合作创作之成果，或对所投作品拥有合法的著作权，无第三人对其作品提出可成立之权利主张。 2、投稿人保证向我方所投之稿件，尚未在任何媒体上发表。 3、投稿人保证其作品不含有违反宪法、法律及损害社会公共利益之内容。 4、投稿人向我方所投之作品不得同时向第三方投送，即不允许一稿多投。若投稿人有违反该款约定的行为，则我方有权不向投稿人支付报酬。但我方在收到投稿人所投作品10日内未作出采用通知的除外。 5、投稿人授予我方享有作品专有使用权的方式包括但不限于：通过网络向公众传播、复制、摘编、表演、播放、展览、发行、摄制电影、电视、录像制品、录制录音制品、制作数字化制品、改编、翻译、注释、编辑，以及出版、许可其他媒体、网站及单位转载、摘编、播放、录制、翻译、注释、编辑、改编、摄制。 6、投稿人委托我方声明，未经我方许可，任何网站、媒体、组织不得转载、摘编其作品。

LaBSE：一套支持109种语言的新语言不可知论内嵌模

作者:

关键词:

摘要：

据外媒报道，自transformer架构诞生以来，自然语言处理(NLP)和自然语言生成(NLG)领域就受益匪浅。Transformer模型如BERT及其衍生物已经被应用到一系列领域中，包括情绪分析和分类。近年来，为了让这些模型变得更加健全，相关人员付出了大量的努力，尤其是通过扩展蒙面语言模型(MLM)的预培训并将其跟翻译语言建模(TLM)结合起来从而使得模型变为语言不可知论。

尽管事实证明，这种MLM和TLM的联系有助于下游任务的微调，但截止到目前，它们还没有直接生成多语言句子嵌入，而这对于翻译任务是至关重要的。

考虑到这一点，谷歌的研究人员现在推出了一种多语言BERT嵌入模型，叫做“语言不可知论BERT句子嵌入(Language-agnostic BERT Sentence Embedding，简称LaBSE)”，它在一个单一模型上为109种语言生成语言不可知论的跨语言句子嵌入。简单地说，LaBSE将MLM和TLM预培训结合在一个12层transformer上，据悉，该转换器包含有500,000个带有使用双向双编码器完成的翻译排序任务的token。

为了训练这个模型，研究人员使用了170亿个单语句子和60亿对双语句子。一旦训练完成就会使用Tatoeba语料库对LaBSE进行评估，据悉,该模型的任务是利用余弦距离为给定的句子找到最近邻的翻译。

结果表明，即使在训练过程中没有数据可用的低资源语言上该模型也是有效的。除此之外，LaBSE还在多个并行文本或双语文本检索任务上建立了一个艺术新状态(SOTA)。具体地说，随着语言数量的增加，传统的模型如m~USE和LASER模型，其在平均精度上表现出比LaBSE更明显的下降。

据了解，LaBSE的潜在应用包括从网络中挖掘并行文本。研究人员则将其应用到CommonCrawl上，进而从LaBSE预处理和编码的77亿英语句子库中寻找潜在的翻译。有了这些嵌入，翻译模型显示出了极高的准确性，其分数达到了35.7和27.2。谷歌写道：“这跟目前在高质量并行数据上训练的先进模型只有几分之遥。”

现在，这个预训练模型可以在TensorFlow Hub找到。

文章来源：《语言研究》网址: http://www.yyyjzzs.cn/zonghexinwen/2020/1010/347.html