视觉Transformer BERT预训练新方法 中科大 MSRA等提出PeCo
基于大型语料库训练的 Transformer 模型在自然语言处理中取得了巨大的成功，作为 Transformer 构建块，self-attention 极大地改变了计算机视觉任务。NLP 的成功不仅依赖于 Transformer 的计算效率和可扩展性，还依赖于对大量文本进行自监督学习。目前 NLP
谷歌机器学习训练有史以来最大版本BERT模型 参数达4810亿
机器学习领域权威跑分MLPerf v1.1 训练榜单已出炉。 这次，在 BERT 模型的成绩表上有一个异常的数字：1196.638（分钟），来自谷歌。 谷歌机器学习训练有史以来最大版本 BERT 模型，参数规模 4810 亿 怎么？谷歌训练一个 BERT 要接近 1 天，别家都只要几分钟
