Transformer又来搞事情 百万像素高清图轻松合成 效果很好
你上一次听到用Transformer生成图像，应该还是iGPT刚问世的时候吧？当时OpenAI用GPT-2来分类和补全图像，取得了令人惊艳的成果。遗憾在于，iGPT生成的图像最大只有64×64像素。 图片 现在，我要告诉你，最上面这张图像也是Transformer生成的，分辨率有1280×4
视觉Transformer BERT预训练新方法 中科大 MSRA等提出PeCo
基于大型语料库训练的 Transformer 模型在自然语言处理中取得了巨大的成功，作为 Transformer 构建块，self-attention 极大地改变了计算机视觉任务。NLP 的成功不仅依赖于 Transformer 的计算效率和可扩展性，还依赖于对大量文本进行自监督学习。目前 NLP
何恺明MAE大火后，想梳理下视觉Transformer？这篇整理了100多个
这段时间，计算机视觉圈有点热闹。先是何恺明等人用简单的掩蔽自编码器（MAE）证明了 Transformer 扩展到 CV 大模型的光明前景；紧接着，字节跳动又推出了部分指标超过 MAE 的新方法iBOT，将十几项视觉任务的 SOTA 又往前推了一步。这些进展给该领域的研究
Transformer模型有多少种变体？复旦邱锡鹏教授团队做了全面回顾
自 2017 年 6 月谷歌发布论文《Attention is All You Need》后，Transformer 架构为整个 NLP 领域带来了极大的惊喜。在诞生至今仅仅四年的时间里，Transformer 已经成为自然语言处理领域的主流模型，基于 Transformer 的预训练语言模型更是成为主流。 随着
丢弃Transformer，全卷积网络也可以实现E2E检测
副标题#e# 在近来研究人员热衷于探索 Transformer 用于目标检测的尝试时，这篇论文提出了一种全新的观点，即利用全卷积网络也可以实现良好的端到端目标检测效果。 目标检测是计算机视觉领域的一个基础研究主题，它利用每张图像的预定义类标签来预测边界框。
