技术标签: 学习
共三个函数
def parse_args():
用于解析命令行参数。它使用argparse
库来处理命令行参数,使您能够通过命令行在运行脚本时传递配置和选项。
以下是每个参数的解释:
--cfg
: 实验配置文件名。这是一个必需的参数,您需要提供一个配置文件来指定训练实验的各种设置。
opts
: 通过命令行修改配置选项。这允许您通过命令行添加额外的选项来修改配置文件中的设置。
--gpu
: 用于多进程训练的GPU ID。
--world-size
: 分布式训练中的节点数量。节点数量是指在分布式训练中参与训练的计算机节点的数量。每个节点都可以执行一部分训练工作,例如处理一部分的训练数据和更新模型的权重。节点数量越多,可以并行处理的工作量越大,从而加快整体的训练速度。
--dist-url
: 用于设置分布式训练的URL。
--rank
: 分布式训练中的节点排名。
args
: 包含所有解析后的命令行参数的对象。
def main():
1.解析命令行参数。它会从命令行中获取用户传递的参数和选项,并将其解析为一个名为 args
的对象。
args = parse_args() update_config(cfg, args) cfg.defrost() cfg.RANK = args.rank cfg.freeze()
2.输出日志信息
logger, final_output_dir, tb_log_dir = create_logger( cfg, args.cfg, 'train' ) logger.info(pprint.pformat(args)) logger.info(cfg)
3.解析GPU参数和分布式训练参数
if args.gpu is not None: warnings.warn('You have chosen a specific GPU. This will completely ' 'disable data parallelism.') if args.dist_url == "env://" and args.world_size == -1: args.world_size = int(os.environ["WORLD_SIZE"]) args.distributed = args.world_size > 1 or cfg.MULTIPROCESSING_DISTRIBUTED ngpus_per_node = torch.cuda.device_count() if cfg.MULTIPROCESSING_DISTRIBUTED: # Since we have ngpus_per_node processes per node, the total world_size # needs to be adjusted accordingly args.world_size = ngpus_per_node * args.world_size # Use torch.multiprocessing.spawn to launch distributed processes: the # main_worker process function mp.spawn( main_worker, nprocs=ngpus_per_node, args=(ngpus_per_node, args, final_output_dir, tb_log_dir) )
def main_worker( • gpu, ngpus_per_node, args, final_output_dir, tb_log_dir ):
当解释这段代码时,我们可以将它分成以下几个主要部分来讲解:
1. 环境设置和模型构建:
设置 cuDNN 相关配置,包括性能优化和确定性计算等。
根据配置中的模型名称,调用相应的函数构建模型。
初始化分布式训练环境,包括分布式训练节点数量、分布式训练的进程与 GPU 分配等。
cudnn.benchmark = cfg.CUDNN.BENCHMARK torch.backends.cudnn.deterministic = cfg.CUDNN.DETERMINISTIC torch.backends.cudnn.enabled = cfg.CUDNN.ENABLED
2. 模型并行和数据加载:
初始化模型,可能会使用 DistributedDataParallel
进行模型并行,或者是普通的 DataParallel
。
创建数据加载器,准备数据用于训练。
train_loader = make_dataloader( cfg, is_train=True, distributed=args.distributed )
3. 训练循环:
从 begin_epoch
到 cfg.TRAIN.END_EPOCH
进行循环,对每个 epoch 进行训练。
在每个 epoch 内,调用 do_train()
函数进行实际的训练,包括前向传播、反向传播、参数更新等。
do_train()后续细讲
for epoch in range(begin_epoch, cfg.TRAIN.END_EPOCH):
4. 学习率调整和模型保存:
根据学习率调整策略,更新优化器的学习率。
根据训练效果,保存模型的检查点,包括当前状态和最好的状态。
在训练过程中,在特定的训练轮次(epoch)结束后,调用学习率调度器(lr_scheduler
)的 step
方法来更新优化器的学习率。
lr_scheduler.step()
5. 最终模型保存:
将最终模型的状态保存到文件中。
torch.save(model.module.state_dict(), final_model_state_file)
在每个部分内,代码执行的操作和目的都会有所不同。这个函数的目标是将分布式训练的各个环节组织起来,从模型构建、数据加载、训练循环、学习率调整到模型保存,确保训练过程顺利进行。
配置文件:
INPUT_SIZE: 512
表示输入图像的大小。它指定了在训练或验证过程中,图像会被调整为 512x512 的尺寸。这个尺寸是模型接受的输入尺寸,用于训练和推断(预测)过程。在人体姿态估计任务中,输入图像的大小是一个重要的超参数。较大的输入图像尺寸可能会带来更多的细节信息,但同时也会增加计算开销。较小的输入图像尺寸可能会减少计算开销,但可能会丢失一些细节信息。
DATASET: INPUT_SIZE: 512
通道数是用来表示模型中不同层次的特征图(feature maps)的维度,它影响着模型的参数量、计算复杂度以及模型的性能。
MODEL: NUM_CHANNELS: - 32
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf