技术标签: tensorflo 机器学 tensorflow学习
在卷积神经网络设计网型的时候,需要对卷积核和池化层进行参数设置。有三个重要的参数,首先是卷积核的大小,其次是设置步长(padding)的大小,最后是是否采用padding。这几个因素直接影响了卷积、池化后的特征图的大小,对于网络形状的设计非常重要的参数。本博客将针对这三个参数进行解释,并且利用tensorflow进行结论的实验。
一、卷积核
卷积核这个东西比较好理解,就是卷积滤波器的大小,当然,卷积核也可能是三维的。卷积的过程如如图2所示,其中的卷积核是3*3的卷积。三维卷积的形状如图1。
图1 三维卷积
二、步长(stride)
所谓的步长就是卷积核在原始图像上每一次移动的步数,如图2所示该卷积操作的步长为1,步长用stride来表示。
图2 卷积操作的过程
三、填充(padding)
当我们用一个卷积核去和一个影像进行卷积操作的时候,我们可以发现,不同位置的像素利用率是不同的,例如位于图像中心的像素,它参与了多次的卷积运算,对整个卷积过程的贡献大。但是想图像四个角的像素只参与了以此的卷积运算,贡献就被忽略了。另外,由于卷积操作,使得原始图像的大小不断地减小。为了避免上述的两个问题,我们采用填充的方式,就是在原始图像的四周再添加一圈像素值,这样就能够保证每一个原始图像的像素都参与相同贡献的卷积操作。
从图中可以看出,蓝色的原始影像进行了一个像素的padding操作,这样就使得位于角点的像素也能参与更多的卷积过程。
四、卷积后特征图大小的计算。参考博客卷积后图像大小计算
1.卷积后尺寸计算
out_height=(in_height+2pad-filter_height)/strides[1]+1
out_width=(in_width+2pad-filter_width)/strides[2] +1
2.tensorflow中卷积参数same和valid运算之后的维度计算
(1)same
out_height=ceil(float(in_height))/float(strides[1])
out_width=ceil(float(in_width))/float(strides[2])
(2)valid
out_height=ceil(float(in_height-filter_height+1))/float(strides[1])
out_width=ceil(float(in_width-filter_width+1))/float(strides[2])
(3)参数
padding: SAME和VALID两种形式
filter: [5,5,1,32]表示5*5的卷积核,1个channel,32个卷积核。
strides: [1,4,4,1]表示横向和竖向的步长都为4
五、实验
利用tensorflow进行实际的实验操作。实验的源代码如下:
# -*- coding: utf-8 -*-
import tensorflow as tf
import numpy as np
"""
Created on Tue Jul 17 10:03:21 2018
@author: C.H.
"""
tf.reset_default_graph()#这一句话非常重要,如果没有这句话,就会出现重复定义变量的错误
x = tf.placeholder(tf.float32, shape=(1, 500, 500, 3))
#分别设置3*3,5*5,7*7三种大小的卷积核
weights1 = tf.get_variable('weights1',shape=[3, 3, 3, 16],dtype=tf.float32,initializer=tf.truncated_normal_initializer(stddev=0.1, dtype=tf.float32))
weights2 = tf.get_variable('weights2',shape=[5, 5, 3, 16],dtype=tf.float32,initializer=tf.truncated_normal_initializer(stddev=0.1, dtype=tf.float32))
weights3 = tf.get_variable('weights3',shape=[7, 7, 3, 16],dtype=tf.float32,initializer=tf.truncated_normal_initializer(stddev=0.1, dtype=tf.float32))
#第一组实验采用步长为1,填充采用SAME,然后采用三种不同大小的卷积核来进行实验,讨论卷积核对卷积后图像大小的影响。第一组实验为其他实验的对照组
conv1 = tf.nn.conv2d(x, weights1, strides=[1, 1, 1, 1], padding='SAME')
conv2 = tf.nn.conv2d(x, weights2, strides=[1, 1, 1, 1], padding='SAME')
conv3 = tf.nn.conv2d(x, weights3, strides=[1, 1, 1, 1], padding='SAME')
#第二组实验,控制卷积核的大小为3*3,分别采用1,2,3三种步长,padding方式采用SAME,讨论步长对卷积后图像大小的影响。
conv4 = tf.nn.conv2d(x, weights1, strides=[1, 1, 1, 1], padding='SAME')
conv5 = tf.nn.conv2d(x, weights1, strides=[1, 2, 2, 1], padding='SAME')
conv6 = tf.nn.conv2d(x, weights1, strides=[1, 3, 3, 1], padding='SAME')
#第三组实验,与第一组实验对照,选择和第一组实验相同的卷积核大小和步长,采用padding的填充方式进行测试。讨论不同padding方式对卷积后图像的影响
conv7 = tf.nn.conv2d(x, weights1, strides=[1, 1, 1, 1], padding='VALID')
conv8 = tf.nn.conv2d(x, weights2, strides=[1, 1, 1, 1], padding='VALID')
conv9 = tf.nn.conv2d(x, weights3, strides=[1, 1, 1, 1], padding='VALID')
#池化过程的'VALID','SAME'参数的对照。讨论不同参数设置对最大池化过程后图像大小的影响
pool1 = tf.nn.max_pool(x, [1, 3, 3, 1], [1, 3, 3, 1], padding = 'VALID')
pool2 = tf.nn.max_pool(x, [1, 3, 3, 1], [1, 3, 3, 1], padding = 'SAME')
with tf.Session() as sess:
a = np.full((1, 500, 500, 3), 2)
sess.run(tf.global_variables_initializer())
conv1= sess.run(conv1,feed_dict={x: a})
conv2= sess.run(conv2,feed_dict={x: a})
conv3= sess.run(conv3,feed_dict={x: a})
conv4= sess.run(conv4,feed_dict={x: a})
conv5= sess.run(conv5,feed_dict={x: a})
conv6= sess.run(conv6,feed_dict={x: a})
conv7= sess.run(conv7,feed_dict={x: a})
conv8= sess.run(conv8,feed_dict={x: a})
conv9= sess.run(conv9,feed_dict={x: a})
pool1= sess.run(pool1,feed_dict={x: a})
pool2= sess.run(pool2,feed_dict={x: a})
print(conv1.shape)
print(conv2.shape)
print(conv3.shape)
print(conv4.shape)
print(conv5.shape)
print(conv6.shape)
print(conv7.shape)
print(conv8.shape)
print(conv9.shape)
print(pool1.shape)
print(pool2.shape)
实验的结果如下:
runfile('E:/Study/研究生文档/深度学习资料/深度学习程序/computeshapeafterconv.py', wdir='E:/Study/研究生文档/深度学习资料/深度学习程序')
(1, 500, 500, 16)#out=ceil(float(in))/float(strides)
(1, 500, 500, 16)#out=ceil(float(in))/float(strides)
(1, 500, 500, 16)#out=ceil(float(in))/float(strides)
(1, 500, 500, 16)#out=ceil(float(in))/float(strides)
(1, 250, 250, 16)#out=ceil(float(in))/float(strides)
(1, 167, 167, 16)#out=ceil(float(in))/float(strides)
(1, 498, 498, 16)#out=ceil(float(in-filter+1))/float(strides)
(1, 496, 496, 16)#out=ceil(float(in-filter+1))/float(strides)
(1, 494, 494, 16)#out=ceil(float(in-filter+1))/float(strides)
(1, 166, 166, 3)#out=floor(float(in))/float(strides)
(1, 167, 167, 3)#out=ceil(float(in))/float(strides)
另外,在程序中出现了两个需要注意的语句。
tf.reset_default_graph()#这一句话非常重要,如果没有这句话,就会出现重复定义变量的错误
这句话如果没有加在程序的最开始,那么如果你想进行多次程序的运行和调试的时候,程序就会报错。
ValueError: Variable weights1 already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:
File "D:\Anaconda3-5.0.1-Windows-x86_64\RESULT\envs\tensorflow\lib\site-packages\tensorflow\python\framework\ops.py", line 1625, in __init__
self._traceback = self._graph._extract_stack() # pylint: disable=protected-access
File "D:\Anaconda3-5.0.1-Windows-x86_64\RESULT\envs\tensorflow\lib\site-packages\tensorflow\python\framework\ops.py", line 3160, in create_op
op_def=op_def)
File "D:\Anaconda3-5.0.1-Windows-x86_64\RESULT\envs\tensorflow\lib\site-packages\tensorflow\python\framework\op_def_library.py", line 787, in _apply_op_helper
op_def=op_def)
错误的原因是第一次运行程序的时候,计算图中已经存在所有定义的变量,如果再运行程序,就会重复定义变量。加上重置计算图那个语句就搞定了。
第二个需要注意的地方
conv1= sess.run(conv1,feed_dict={x: a})
在这里将numpy变量a,feed给变量x的时候,每次只能feed一个变量。不能出现下面的写法。
conv1,conv2= sess.run(conv1,conv2,feed_dict={x: a})
如果这样的话就会出现以下错误:
TypeError: run() got multiple values for argument 'feed_dict'
总结,这篇博客讨论了卷积运算操作时候的三个重要的参数,卷积核大小,步长大小和填充大小。分别进行了对照试验,验证了总结的经验公式。这种基础操作为网络设计和控制输出tensor大小做了必要的准备。
文章浏览阅读1.7k次。问题虚拟机中ping 百度或者网关,可以访问外网,连接正常但是会出现如下问题:root@yuxy:~# ping 192.168.23.1PING 192.168.23.1 (192.168.23.1) 56(84) bytes of data.From 192.168.23.213: icmp_seq=1 Redirect Network(New nexthop: 192.168.23.1)64 bytes from 192.168.23.1: icmp_seq=1 ttl=255 time=1_来自 192.168.158.1 icmp_seq=2 redirect host(新的下一跳: 192.168.158.136)
文章浏览阅读4.7k次,点赞2次,收藏11次。在工作中经常需要查找json里面的某个key的值,如果json层级太长,使用字典自带的get方法,比较麻烦。这里演示一下第三方模块jmespath提取json键、值。pip install jmespath一、基本操作查询key对应的valueimport jmespathsource = {"a": "foo", "b": "bar", "c": "baz"}result = ..._jmespath取json的下标
文章浏览阅读3w次,点赞41次,收藏209次。所有的汇编都是我零基础逆向微信汇编的指令 边玩边学(左边有 机器码,自己可以查 位置)如有不对的地方请指出注明:一些指令的英文单词,并非官方,只是为了好记好理解cmp【compare】指令进行比较两个操作数的大小例:cmp oprd1,oprd2为第一个操作减去第二个操作数,但不影响第两个操作数的值,它影响flag的CF,ZF,OF,AF,PF.66E9419E 66:833..._汇编 je
文章浏览阅读1.3w次。000013 001http://people.sina.com.cn/forum.html新浪网论坛 000015 002http://club.sohu.com/搜狐社区 000020 003http://bj.163.com/网易北京社区 000043 004http://bbs.tom.com/bbs.phpTOM海云天论坛 000143 005http://bbs.china.com/中_77论坛
文章浏览阅读1.3w次,点赞6次,收藏43次。python-字符串中使用%%有什么作用?%操作符的各种用法小结_python %%
文章浏览阅读1.2k次。从文本读取成绩并计算平均分,将平均分写入文本文件保存。【学习的细节是欢悦的历程】Python官网Free:大咖免费“圣经”教程python 完全自学教程,不仅仅是基础那么简单……自学并不是什么神秘的东西,一个人一辈子自学的时间总是比在学校学习的时间长,没有老师的时候总是比有老师的时候多。——华罗庚HOT好文力荐从文本读取成绩并计算平均分统计平均分(将平均分写入文本文件保存)本文质量分:90目 录。_包含学生考试成绩的源文本文件中提取并计算平均分
文章浏览阅读784次,点赞11次,收藏10次。ADI前些年推出的ADALM-PLUTO SDR设备由于其轻便灵活的特点,外加价格相比于专业无线电相当实惠,受到了很多开源社区的欢迎,也诞生了许多的应用,如跟踪GPS、伪造GPS实现硬件级虚拟定位、电子钥匙重发攻击等(这些实际上HackRF做的更多)。同时对于学习通信的师生和对无线电感兴趣的业余玩家,也是个很不错的选择。国内购买纯原版Pluto SDR有些困难,但好在国内也有很多企业或团队基于某些成熟的SDR平台衍生出的性能更强,适用固件更多的软件无线电平台,价格也并非难以承受。_gnuradio 3.8.2 如何支持adalm pluto-sdr windows
文章浏览阅读2.8k次。SIM的英文全称是“Subscriber Identity Module”,即“用户身份模块”。它的主要作用是在移动终端设备与网络通讯时提供身份识别信息及存储数据,大家比较容易理解的就是我们的电话号码(身份识别信息)是与SIM卡直接绑定的,还有SIM卡还可以存储电话号码、短消息等数据。COMPRION公司的测试用SIM卡现在的3G与4G移动系统里,准确地说SIM是一个应用的概念,..._uhimpc
文章浏览阅读289次,点赞4次,收藏3次。/这是每个tab内容不同的情况下使用,(如果每个tab内部内容一样 底下可直接v-for循环就行了 )工业 内部内容制造 内部内容服务 内部内容其他 内部内容css// 选中后的效果js。_vue3el-tabs选中时tabs页背景色改变
文章浏览阅读5.5k次,点赞4次,收藏22次。欢迎使用消防员定位系统 @西南交通大学 | 邓平老师团队</el-header><el-main> <div id="login_box"> <h2>消防员系统登录</h2> <div id="form"> <div id="input_box"> <i class="fa fa-user" aria-hidden="tr..._vue登录界面主题样式
文章浏览阅读4.4w次,点赞5次,收藏27次。登录MySQL数据库出现:Error 1045错误时(如下图),就表明输入的用户名或密码错误被拒绝访问了, 最简单的解决方法就是将MySQL数据库卸载然后重装,但这样的缺点就是就以前的数据库中的信息将丢失, 解决的方法应该有多种,这里推荐大家使用一种原理通过,操作简单的方法,适用于windows以及linux平台。 MySQL 1045错误如图:[plain] view plain ..._failed to initialize database, got error error 1045 (28000): access denied f
文章浏览阅读9.3k次,点赞14次,收藏10次。从事Android已经大半年了,居然没有一款自己的产品,真是惭愧啊,不过经过这一个半月的艰苦奋斗,我人生中第一个个人Android应用终于诞生了!叫——不做手机控。感谢老婆大人起的好名字。这是下载连接:点击打开链接,请朋友们多提意见和建议!回想这半个月,还真不容易,每天下班继续码代码是最基本的,还要一个人兼任开发、产品、设计、测试等多项工作。其实产品、测试的工作还好说,毕竟平时接触的多,赶鸭子上架..._不做手机控是哪个公司的