admin 管理员组

文章数量: 1184232

一般情况下，深度神经网络的计算本质上是一对tensor的计算，例如常见的conv2d的计算本质上是一个7层的for循环，那么底层的硬件，例如内存大小，SM的数量，threads和blocks等都会对最终的for循环造成影响。

现存的深度学习框架（例如Tensorflow，PyTorch ，MXNet）会将DNN中的计算映射到其底层提供的向量计算内核库（例如cuDNN，MKL-DNN）来实现高性能。 但是，这些内核库存在以下几个问题：

  • 现存的加速库cuDnn,MKL-DNN针对Tensor的优化是需要耗费大量的人力和经验的。
  • 硬件的发展导致会有更多的硬件出现，这种情况下再去人工手写就很窒息。

因此，目前大家希望设计一套自动搜索的过程。

  • 搜什么：搜tensor计算的for循环如何部署，例如for循环如何安排，如何切割，如何和底层PE map，因此我们针对一个for循环，其实是可以得到一个模板的，每个模板是有参数的。因此搜索就分为两个：搜模板和搜参数。例如图a展示的就是现在模板定了（for循环的次序定了），只需要搜 for循环的参数；图b展示的是搜模板，是通过我规定模板的次序（譬如说先split循环的轴，然后reorder等），然后按照我们规定的顺序进行搜索。所谓的beam搜索是指站在当前的搜索节点上，我们选择最优的几个节点，站在这个节点上往下一个搜索节点走，这种beam 搜索会导致一个问题：局部最优解不一定是全局最优解。
  • 怎么搜：在搜模板的过程中，当前节点表示应用某些优化原语（例如split,unroll等）后的for循环那么当应用新的原语的时候，for循环变化了，此时就相当于节点的状态变化了，而添加新的原语的过程被称为action。那么问题就会转变为，每一个状态可能根据参数会有不同的状态值，有些运行的比较快，有些比较慢；而状态之间的转移决定着整体的搜索策略（for循环最后长什么样子）。状态组成了一颗树，我们

本文标签： 神经网络 编译器 tensor schedule tune

版权声明：本文标题：神经网络编译器的Tensor优化：auto tune和auto schedule 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1766278436a3450911.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。