玖富娱乐平台全网唯一指定1956注册开户网站

Group Convolution分组卷积,和Depthwise Convolution和Gl

日期:2019-01-09 浏览:
玖富娱乐是一家为代理招商,直属主管信息发布为主的资讯网站,同时也兼顾玖富娱乐代理注册登录地址。

目次

  • 写在前面
  • Convolution VS Group Convolution
  • Group Convolution的用处
  • 参考

博客:blog.shinelee.me | 博客园 | CSDN

写在前面

Group Convolution分组卷积,最早见于AlexNet——2012年Imagenet的冠军要领,Group Convolution被用来切分收集,使其在2个GPU上并行运转,AlexNet收集结构以下:

-玖富娱乐是一家为代理招商,直属主管信息发布为主的资讯网站,同时也兼顾玖富娱乐代理注册登录地址。-

Convolution VS Group Convolution

在引见Group Convolution前,先回忆下通例卷积是怎样做的,详细能够拜见博文《卷积神经收集之卷积盘算、作用与头脑》。若是输入feature map尺寸为(C*H*W),卷积核有(N)个,输出feature map与卷积核的数目雷同也是(N),每一个卷积核的尺寸为(C*K*K)(N)个卷积核的总参数目为(N*C*K*K),输入map与输出map的衔接体式格局以下图左所示,图片来自链接:

Group Convolution望文生义,则是对输入feature map举行分组,然后每组离别卷积。假定输入feature map的尺寸仍为(C*H*W),输出feature map的数目为(N)个,若是设定要分红(G)个groups,则每组的输入feature map数目为(frac{C}{G}),每组的输出feature map数目为(frac{N}{G}),每一个卷积核的尺寸为(frac{C}{G} * K * K),卷积核的总数仍为(N)个,每组的卷积核数目为(frac{N}{G}),卷积核只与其同组的输入map举行卷积,卷积核的总参数目为(N * frac{C}{G} *K*K),可见,总参数目削减为本来的 (frac{1}{G}),其衔接体式格局如上图右所示,group1输出map数为2,有2个卷积核,每一个卷积核的channel数为4,与group1的输入map的channel数雷同,卷积核只与同组的输入map卷积,而不与其他组的输入map卷积。

Group Convolution的用处

  1. 削减参数目,分红(G)组,则该层的参数目削减为本来的(frac{1}{G})
  2. Group Convolution能够看成是structured sparse,每一个卷积核的尺寸由(C*K*K)变成(frac{C}{G}*K*K),能够将其他((C- frac{C}{G})*K*K)的参数视为0,偶然以至能够在削减参数目的同时取得更好的结果(相当于正则)。
  3. 当分组数目即是输入map数目,输出map数目也即是输入map数目,即(G=N=C)(N)个卷积核每一个尺寸为(1*K*K)时,Group Convolution就成了Depthwise Convolution,拜见MobileNet和Xception等,参数目进一步缩减,以下图所示
  4. 更进一步,若是分组数(G=N=C),同时卷积核的尺寸与输入map的尺寸雷同,即(K=H=W),则输出map为(C*1*1)即长度为(C)的向量,此时称之为Global Depthwise Convolution(GDC),见MobileFaceNet,能够看成是全局加权池化,与 Global Average Pooling(GAP) 的分歧之处在于,GDC 给每一个地位给予了可进修的权重(关于已对齐的图象这很有用,好比人脸,中央地位和界限地位的权重天然应当分歧),而GAP每一个地位的权重雷同,全局取个均匀,以下图所示:

以上。

参考

  • A Tutorial on Filter Groups (Grouped Convolution)
  • Interleaved Group Convolutions for Deep Neural Networks
-玖富娱乐是一家为代理招商,直属主管信息发布为主的资讯网站,同时也兼顾玖富娱乐代理注册登录地址。


平台新闻

联系方式丨CONTACT

  • 全国热线:7711177
  • 传真热线:010-88888888
  • Q Q咨询:7711177
  • 企业邮箱:
首页
电话
短信