admin 管理员组

文章数量: 1184232

论文标题

RepViT: Revisiting Mobile CNN From ViT Perspective

论文链接：

https://arxiv/abs/2307.09283

论文作者

Ao Wang, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

内容简介

这篇论文探讨了在资源受限的移动设备上，轻量级视觉变换器（ViTs）与轻量级卷积神经网络（CNNs）的性能和延迟。作者发现，尽管轻量级ViTs在性能上优于轻量级CNNs，但在硬件和计算库支持方面存在实际挑战。因此，研究团队重新审视了轻量级CNN的设计，并强调了其在移动设备部署上的潜力。通过将轻量级ViTs的高效架构设计集成到标准轻量级CNN（MobileNetV3）中，研究者们提出了一个新的轻量级CNN系列——RepViT。实验结果表明，RepViT在各种视觉任务中超越了现有的轻量级ViTs，并在延迟方面表现出优势。

方法

1.架构设计：

研究者们从MobileNetV3-L开始，逐步将其“现代化”，通过整合轻量级ViTs的高效架构设计。这个过程包括将ViTs的MetaFormer结构和Reparameterization卷积整合到CNN中，形成了新的RepViT块。

2.延迟度量：

为了更准确地评估模型在移动设备上的性能，研究者们使用实际设备（iPhone 12）上的延迟作为基准度量，而不是依赖于FLOPs或模型大小等传统指标。

3.训练方案对齐：

为了公平比较，研究者们将MobileNetV3-L的训练方案与现有的轻量级ViTs对齐，包括使用AdamW优化器、余弦学习率调度器、Mixup、自动增强和随机擦除等技术。

4.块设计：

本文标签： 论文 revisiting RepViT ViT perspective

版权声明：本文标题：解读CVPR2024-论文分享|RepViT: Revisiting Mobile CNN From ViT Perspective 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1758704423a3089434.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。