equalization loss(equalization basin)

当前面的准备工作都已妥善之后,就可以进入模型训练的步骤,后面的工作就是计算设备的事情了。


4、 执行 TAO 模型训练:

TAO 工具提供提供 QAT (Quantize Aware Training) 量化感知的训练模式,不过目前 QAT 效果还在验证当中,倒也不急于使用,因此我们还是以标准模式来训练,就是将配置文件training_config 设置组的 “enable_qat” 参数设为 “false” 就行,然后直接执行指令块的命令,TAO 就会启动视觉类容器来执行模型训练任务。

这里提供两组执行训练所花费的时间参考数据:

  • NVIDIA Qudra RTX A4000/16GB 显存:48 秒/回合
  • NVIDIA RTX-2070/16GB 显存:67 秒/回合
  • 两张卡一起训练:40 秒/回合

为了更有效率地执行,我们可以在training_config设置组里添加 “checkpoint_interval: 10” 参数,这样每 10 回合生成一个中间文件,这样能节省大约 7GB 的空间。现在检查一下所生成的中间模型文件,如下图所示总共 8 个。

equalization loss(equalization basin)

接下去我们看看这 8 个模型的训练效果如何,因为得挑一个精确度 (mAP) 最好的文件,进行后面的修剪任务。

通常越后面的模型 mAP 值越高,但这不是绝对的,最好是有明确的数据来做依据,才是比较科学的态度。在 experiment_dir_unpruned/ssd_training_log_resnet18.csv 提供这些记录,右键点击文件 -> Open With-> CSVTable 之后,就会看到如下图的内容。

equalization loss(equalization basin)

表中可以看到,越下面模型的 mAP 值越高,这样就能明确的选择 “epoch_080” 的模型来进行后续工作,记得在 “%set_env EPOCH=” 后面填入参数值,例如要选择第 80 回合的模型文件,就输入 “080”,然后继续往下进行。

5、评估模型好的训练:

这个步骤的目的是为了确认模型是否符合要求?有时候可能效果最好的模型,效果还未达到预期目标,如果是这样的话,就得回到第 4 步骤,以前面找到效果最好的模型,作为迁移选项的预训练模型,就是将配置文件的 training_config 设置组的 “pretrain_model_path” 改成 ssd_resnet18_epoch_080.tlt 的完整路径,然后再做 80 回合的训练。

执行评估效果的结构在本指令块输出的最下方,如下图所示。

equalization loss(equalization basin)

比对一下这里显示的精准度,与前面 ssd_training_log_resnet18.csv 记录的结果是相同的,其实这个步骤是有点冗余,可以忽略!

6、修剪模型:

如果您的模型要放在计算资源充沛的设备上执行推理的话,其实后面的步骤是可以省略的,因此修剪模型的目的,是要在精确度维持水平的基础上将模型进行优化,这对 Jetson 这类计算资源吃紧的边缘设备来说就非常重要,因为这对推理性能有很大的影响,因此要看您所需要执行推理的设备是什么,再决定是否要进行修剪。

每个神经网络都有各自的修剪重点,必须找到对应的说明文件,例如这里对ssd进行修剪,请访问 https://docs.nvidia.com/tao/tao-toolkit/text/object_detection/ssd.html ,在里面的 “Pruning the Model” 有非常详细的参数说明。

TAO 提供以下 6 种模型修剪的方式,设定值的粗体字为预设值

  • 标准化器 (normalizer):使用参数 -n,设定值为 “max/L2”;
  • 均衡器 (equalization_criterion):使用参数 -eq,设定值为 “union/ intersection/ arithmetic_mean/geometric_mean”;
  • 修剪粒度 (pruning_granularity):使用参数 -pq,设定值为正整数,预设值为 8
  • 修剪阈值 (pruning threshold):使用参数 -pth,设定值为小于 1 的浮点数,预设值为 0.1
  • 最小数量过滤器 (min_num_filters):使用参数 -nf,设定值为正整数,预设值为 16
  • 排除层 (excluded_layers):使用参数 -el,设定值为正整数,预设值为空值(不排除)

在大家还不熟悉这些参数用法时,最简单的方法就是调整阈值 (-pth) 的大小去找到平衡点,通常这个值越高就会损失较大的精度值,模型也会比较更小大。参数预设值为 0.1,差不多达 0.3 已经是极限,再大可能就会让精准度低于一般要求。

这个步骤会用到 ssd_train_resnet18_kitti.txt 配置文件,修剪完的模型会存放在 -o参数所指定的目录,这里是 “$USER_EXPERIMENT_DIR/experiment_dir_pruned”,输出的模型文件名为 “ssd_resnet18_pruned.tlt”,后面的“重新训练剪裁模型”步骤,就会以这个文件作为迁移学习的训练基础。

这个修剪过的模型文件还不能作为部署用途,还得经过下个步骤去重新训练之后,是我们最终所需要的版本。

7、重新训练修剪过的模型:

这个步骤与前面的模型训练几乎是一样的,唯一不同的地方就是前面以 NCG 下载的 resnet_18.hdf5 为基础导入迁移学习的功能,这里是以 ssd_resnet18_pruned.tlt 这个修剪过的文件为基础,同样用最前面的数据集进行训练。

以这个项目为例,未剪裁模型的大小为 101.7MB,用阈值为 0.1 所剪裁的重新训练模型大小只剩 22.5MB、阈值为 0.3 所剪裁的模型大小只剩 9.8MB。重新训练后同样会生成很多模型文件,同样查看 experiment_dir_retrain 目录下面的 ssd_training_log_resnet18.csv,挑出精度最好的一个准备下个评估环节。

8、评价重新训练的模型:

与前面的评估方式一样,找到效果最好的一个,然后将数值填入 “%set_envEPOCH=” 里,准备在训练设备上测试一下推理的效果。

如果修剪后重新训练的模型精度与未修剪的相差不多,这个模型就可以用来作为后面的推理测试,如果精度差距较大,就得回到第 6 步骤重新执行修剪工作与第 7 步骤重新训练,一直到获得满意精度的模型为止。

创业项目群,学习操作 18个小项目,添加 公众号:李佰秒 微信:3219087951  备注:小项目

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3300536702@qq.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.hljqsb.cn/15946.html