卷积神经网络(CNN)的发展经历了从早期简单结构到现代复杂深层网络的转变。以下是其发展的关键里程碑:
LeNet-5: 早期的卷积神经网络,由Yann LeCun在1998年提出,主要用于手写数字识别。它的成功展示了深度学习在图像识别领域的潜力。
AlexNet: 在2012年ImageNet挑战中大放异彩的网络,由Alex Krizhevsky等人开发。它的成功引起了对深度学习和卷积神经网络的广泛关注。
VGGNet: 由牛津大学的研究人员在2014年开发,其创新在于使用了小尺寸的卷积核,增加了网络的深度,展示了深度对网络性能的重要性。
GoogLeNet (Inception): 也是在2014年提出,引入了Inception模块,通过并行的不同尺寸卷积核和池化层提取特征,有效增加了网络的宽度和深度。
ResNet: 由微软研究院的研究人员在2015年提出,通过引入残差学习的概念,成功训练了超过1000层的深度神经网络,大大推动了深度学习的研究和应用。
卷积神经网络通过卷积层提取图像特征,卷积操作可以捕获图像的局部特征。在图像卷积时,根据定义,需要首先把卷积核上下左右翻转,但在实际操作中,由于卷积核通常是对称的,这一步骤可以被忽略。
填充是在矩阵的边界上添加一些值的操作,常用0或复制边界像素进行填充。这样做可以控制卷积操作后的输出大小。
步长定义了卷积核移动的间隔,步长为2意味着卷积核每次移动两个像素。
在处理彩色图像时,卷积操作会考虑RGB三个颜色通道。每个通道使用独立的卷积核,然后将结果相加,得到最终的特征图。
池化是另一种减少特征维度的操作。通过局部统计特征(如取局部平均或最大值)来减少数据的空间大小,同时保留重要信息。
在卷积神经网络中,前向传播涉及对输入图像进行一系列卷积、激活和池化操作,每一层都在前一层提取的特征基础上进一步提取高级特征。
误差反向传播算法用于训练卷积神经网络,通过计算损失函数相对于网络参数的梯度,并使用这些梯度更新参数。对于卷积层和池化层,梯度的计算涉及特定的公式。
卷积神经网络是深度学习中最成功的模型之一,特别是在图像处理和视觉识别任务中。理解其基本概念和学习算法对于深入研究和应用CNN至关重要。
LeNet-5网络是深度学习历史上的经典网络之一,由Yann LeCun等人在1998年提出,主要用于手写数字识别。其结构简单而高效,对后来的深度学习模型设计产生了深远影响。
LeNet-5网络主要由卷积层、池化层和全连接层组成,总共有7层(不包括输入层)。它的特点是采用了卷积操作来提取图像中的局部特征,通过池化层减少参数数量和计算量,最后通过全连接层完成分类任务。
PyTorch提供了方便的工具来实现LeNet-5网络:
import torch
from torch import nn
from d2l import torch as d2l
class Reshape(torch.nn.Module):
def forward(self, x):
return x.view(-1, 1, 28, 28)
net = torch.nn.Sequential(
Reshape(),
nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
nn.AvgPool2d(kernel_size=2, stride=2),
nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
nn.AvgPool2d(kernel_size=2, stride=2),
nn.Flatten(),
nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
nn.Linear(120, 84), nn.Sigmoid(),
nn.Linear(84, 10))
AlexNet是由Alex Krizhevsky等人在2012年提出的深度卷积神经网络。它在ImageNet LSVRC-2012竞赛中获得了第一名,大幅降低了错误率,标志着深度学习时代的到来。
AlexNet包含8层可学习的参数层,分别是5层卷积层和3层全连接层。网络引入了ReLU非线性激活、最大池化、丢弃(Dropout)和局部响应归一化等新颖技术,显著提高了训练的速度和准确率。
VGG-16是由牛津大学的视觉几何组(Visual Geometry Group)于2014年提出。该网络通过重复利用简单的3x3卷积核和2x2最大池化层,构建了深达16层的卷积神经网络。
VGG-16网络包含13个卷积层、3个全连接层和5个池化层。所有隐藏层都采用了ReLU激活函数。VGG-16的创新之处在于使用多个较小卷积核的卷积层代替大卷积核的卷积层,增加了网络的深度。
随着网络深度的增加,传统的深层网络容易出现梯度消失或梯度爆炸的问题,导致网络难以训练。残差网络通过引入残差块,允许数据直接从浅层传递到深层,有效缓解了这一问题。
残差块的关键思想是引入了跳跃连接(或称为捷径连接),使得网络可以学习到输入与输出的残差映射。理论上,这使得网络即使非常深也能有效地训练。
ResNet有多个版本,根据层数的不同分为ResNet-18, ResNet-34, ResNet-50, ResNet-101和ResNet-152等。其中,ResNet-50及以上模型采用了瓶颈结构,进一步增加了网络的深度和性能。
从AlexNet的突破、VGG-16的规范化设计,到ResNet的创新结构,这些基本卷积神经网络模型不仅推动了计算机视觉领域的发展,也为深度学习的研究提供了宝贵的经验和灵感。
在计算机视觉领域,有几个常用的数据集被广泛用于训练和测试各种算法。以下是其中一些最重要的数据集的介绍。
MNIST 数据集是机器学习领域最著名的数据集之一,包含了大量的手写数字图片。
CIFAR-10 和 CIFAR-100 是由加拿大的学者Alex Krizhevsky、Vinod Nair和Geoffrey Hinton收集的数据集。
CIFAR-10:
CIFAR-100:
ImageNet 数据集是目前深度学习领域最著名的数据集之一,由斯坦福大学教授李飞飞领导的团队开发。
COCO 数据集是一个新的图像识别、分割和图像语义数据集。
这些数据集为计算机视觉和深度学习的研究提供了丰富的资源,是评估和比较不同算法性能的重要基础。
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf