吴恩达《深度学习》第四门课(1)卷积神经网络

  • 时间:
  • 浏览:1

(3)fitter为2,stride为2是最常见的参数设置,尺寸图像缩小为没办法 的一半。

(1)边缘不填充会有另有5个 缺点:第一是随着不断卷积,图像会变得没办法 小,有时你可我应该 让它变小;第二是最角落的点只被使用了一次,这原困分析着在下传的过程中丢掉了图像边缘位置的信息。如下图所示(角落的绿色点只被计算了一次,上边红色点可不可以 被计算多次):

(1)池化层中没办法 须要学习的参数,太大太大太大太大通常不把池化层当做独立的一层来看。

(4)下面是针对上边网络的这人输出和参数的个数,其中参数一栏最后三行的值应该是4300000+120、30003000+84、840+10

(1)输入与输出的尺寸关系如下,注意当结果都在整数时是向下取整。

(1)卷积运是是不是输入图像与过滤器(也叫核)进行的运算,得到输出图像。卷积核与图像对应的位置相乘求和得到另有5个 新值,如下图所示:

(2)一般而言,不断卷积很久,图像的淬硬层 和淬硬层 会变小,通道数(淬硬层 )会增加。

(1)卷积网络的参数远少于全连接的原困分析主要有两点:第一是参数共享,如左上角用另有5个 垂直的卷积核检测,没办法 这人卷积核也同样适用于图像的这人区域;第二是稀疏连接,如某个输出值只与特定的几条值相连接(如九个值)。

(5)最大池化层比平均池化层更为常用。

输出中第另有5个 绿色框的值为:

(4)卷积时用的尺寸计算公式同样适用于池化层,如下图所示:

(1)计算机视觉的应用包括图像分类、目标检测、图像分割、风格迁移等,下图展示了风格迁移案例:

(2)图像的社会形态量非常之大,比如另有5个 3通道的30000*30000的照片,其社会形态为3*30000*30000达到3000万,不可能 第另有5个 隐藏层有30000个单元没办法 W[1]有20亿个参数,计算量不仅大,因此不可能 图像样本相对于社会形态人太好是太大,原困分析很容易过拟合,太大太大太大太大须要这人的土法律法律依据来连接,即卷积。

(2)在淬硬层 学习的卷积没办法 必要像数学不可能 信号解决教材中,先将卷积核顺时针旋转90°,因此在水平翻转,最后再进行与上边相同的卷积运算。淬硬层 学习直接忽略了哪几种旋转翻转的步骤。影响不大。

(2)Padding老会 可不可以 设置成为另有5个 参数:第另有5个 是Valid,即不做填充;第5个是Same,即输出尺寸与输入尺寸相等。

(1)案例图如下:最核心的假使 要会计算输出尺寸(公式((n+2p-f)/s)+1,向下取整)。

(1)三维的卷积土法律法律依据如下图所示,卷积核的通道数与输入图像的通道数相同,输出图像的通道数为所使用的卷积核的个数,至于高和宽还是按照上边提到的公式计算:

(1)每另有5个 卷积核的输出对应另有5个 实数b(偏差),因此在进行激活函数的非线性转换得到输出,如下图所示:

(3)在神经网络中,没办法 常见的模式假使 另有5个 或多个卷积层很久跟随另有5个 池化层,因此另有5个 或多个卷积层很久跟随另有5个 池化层,因此跟几条全连接层,最后是另有5个 softmax.

(2)池化层是一般不用设置padding,即一般padding为0。

(2)参数个数的计算:比如10个卷积核3*3*3,b的个数跟卷积核个数相同,太大太大太大太大总的参数为(3*3*3+1)*10=23000,不管输入尺寸多大,参数个数始终保持不变,而在全连接网络中参数个数是会随着输入不同而不同的。

(1)下面是另有5个 0-9数组分类的网络,包括了卷积层、池化层、全连接层:

(3)这人符号如下所示,习惯上w用m*nH[l]*nW[l]*nC[l]表示,b用1*1*1*nC[l]

(1)除了上边提到的卷积核,还有这人这人卷积核,把上边3*3的卷积核看成9个参数,因此都在通过人工的确定,假使 通过神经网络来学习哪几种参数,这假使 卷积神经网络。

(2)卷积神经网络善于捕捉偏移不变形,相似把图像往右平移几条像素,对于网络而言没哪几种影响。

(3)在步长为1是有公式:n+2p-f+1为输出的尺寸。其中n是输入的尺寸(比如说宽),f是卷积核的大小(比如3),p是每一边额外加在的列数(如加在一列就为1)。太大太大太大太大根据这人式子很容易计算出用Same参数时,p=(f-1)/2,注意此处前提都在步长为1。

(2)每个不同的核可不可以 检测到不同的边缘社会形态,如下面的核就可不可以 检测到图像的垂直社会形态,即输入图像中的边缘会在输出图像中用白色显示出来,非边缘每段显示为黑色或灰色。同理还有这人水平边缘检测等各种核(过滤器)。