计算机视觉深度学习【免费下载链接】ccvC-based/Cached/Core Computer Vision Library, A Modern Computer Vision Library项目地址https://gitcode.com/gh_mirrors/cc/ccv点击查看免费下载本篇技术指南围绕 ccvC-based/Cached/Core Computer Vision Library中的 ConvNet 模块展开系统讲解其深度卷积网络的架构来源、ImageNet 图像分类的推理与验证流程、准确率与速度实测、以及从零训练自有分类器的完整步骤。读完本文你将掌握如何用 ccv 的cnnclassify加载预训练模型做 1000 类 ImageNet 分类、用cnnvldtr.rb评估 top-1/top-5 缺失率、理解 ccv 与 Caffe/AlexNet 在数据预处理与多 patch 平均上的关键差异并具备复现 ImageNet 训练流程的完整知识。什么是 ConvNetccv 深度卷积网络的由来卷积网络Convolutional Network是一种受生物视觉皮层启发、由 Yann LeCun 于 1990 年代初针对计算机视觉任务设计的人工神经网络拓扑。ccv 中实现的卷积网络并非凭空发明而是建立在以下几项经典工作之上参数与结构均有明确出处AlexNetccv 的实现基础是 Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton 在 NIPS 2012 发表的《ImageNet Classification with Deep Convolutional Neural Networks》这是把深度卷积网络带上 ImageNet 舞台的奠基性工作Zeiler 参数网络参数基于 Matthew D. Zeiler 与 Rob Fergus 在 Arxiv 1311.29012013 年 11 月发表的《Visualizing and Understanding Convolutional Networks》做了修改多 GPU 并行多 GPU 实现深受 Alex Krizhevsky 在 ICLR 2014 发表的《One Weird Trick for Parallelizing Convolutional Neural Networks》影响VGG-D 模型仓库内提供的 VGG-D 预训练模型基于 Karen Simonyan 与 Andrew Zisserman 在 ICLR 2015 发表的《Very Deep Convolutional Networks for Large-Scale Image Recognition》。在源码层面这些网络拓扑被直接编码为可读的 C 语言参数数组VGG-A 与 VGG-D 的逐层定义位于 bin/vgg_models.incAlexNet 相关配置位于 bin/alex_model.incMattZeiler配置位于 bin/matt_models.inc。以vgg_d_params为例它定义了 21 层结构前五组为卷积层组 最大池化64×2、128×2、256×3、512×3、512×3随后接 3 层全连接4096、4096、1000最后一个全连接层relu 0以输出 1000 类分数。卷积层采用 3×3 滤波器、stride 1池化采用 3×3 窗口、stride 2输入尺寸为 225×225×3。这些参数数组通过ccv_convnet_new(1, ccv_size(257, 257), model_params, depth)传入构建运行时网络实例见 bin/image-net.c。ConvNet 如何工作从推理命令说起借助 GPGPU 编程的进步ccv 可以承载超过 5000 万参数的深度卷积网络并在百万级图像上训练。配合 dropout、pooling 等技巧包这类网络能够在图像分类任务上取得良好效果。ccv 的推理使用极其简单官方文档给出的单图分类命令为./cnnclassify ../samples/dex.png ../samples/image-net-2012-vgg-d.sqlite3 | ./cnndraw.rb ../samples/image-net-2012.words ../samples/dex.png output.png这条命令的含义是cnnclassify读取输入图片dex.png与预训练模型image-net-2012-vgg-d.sqlite3输出若干个类别 id 置信度对管道下游的cnndraw.rb脚本接收这些分类结果结合image-net-2012.words类别词汇表每行形如类别名, ...把置信度绘制成条形图叠加到原图上生成output.png。打开output.png左上角图表会展示卷积网络给出的若干候选类别及其置信度排序。从源码看cnnclassify的调用链非常清晰bin/cnnclassify.c单图模式下依次调用ccv_convnet_read(0, argv[2])读取模型、ccv_convnet_input_formation(convnet-input, image, input)完成输入成形缩放、减均值等、ccv_convnet_classify(convnet, input, 1, rank, 5, 1)输出 top-5 分类批量模式传入文件列表则以BATCH_SIZE 8分批调用ccv_convnet_classify(..., 1000, BATCH_SIZE)对每张图输出全部 1000 类的得分并打印elapsed time计时。cnndraw.rbbin/cnndraw.rb解析标准输入中的id confidence序列把分数归一化为条形图宽度逐条标注类别名。性能表现ImageNet 上的准确率与速度实测ConvNet 在超大规模问题上并非极速。文档明确指出这一初步实现正确性优先于速度ccv 在速度上与其他实现基本处于同一水平但并未专门优化。以下所有分析都基于 ImageNet 数据集、网络拓扑严格遵循论文规格的前提测试采用vgg_d_params。准确率Accuracy在 ILSVRC 2012 验证集上训练在约 55 个 epoch 后停止改善此时验证集中心 patch 的 top-1 缺失率越低越好为31.96%训练集为28.00%。与三篇论文的对照为实现评测方式top-1 缺失率Alex 论文平均 10 patches40.5%MattZeiler论文单网络、Fig.3 配置、平均 10 patches38.4%VGG 论文平均密集采样图像27.0%ccvvgg_d_params中心 patch31.96%验证集完整评测的复现步骤如下。假设验证集文件列表按序保存在image-net-2012-val.txt./cnnclassify image-net-2012-val.txt ../samples/image-net-2012-vgg-d.sqlite3 image-net-2012-classify.txt完整验证集在单 GPU 上约需6 小时若无 GPU 支持纯 CPU 约需两天。得到分类结果后用官方验证脚本 bin/cnnvldtr.rb 对照 ILSVRC 2012 验证集真值文件LSVRC2012_val_ground_truth.txt./cnnvldtr.rb LSVRC2012_val_ground_truth.txt image-net-2012-classify.txt该脚本逐行读取真值统计 top-1 缺失第 1 个类名不匹配与 top-5 缺失前 5 个候选均不匹配输出形如29.61% (1), 9.9% (5)的缺失率报告。官方实测数据32 位浮点模型image-net-2012-vgg-d-32bit.sqlite3在 GPU 上 top-1 缺失率29.61%比 ccv 此前单网络结果绝对提升 8.56%比 VGG 单网络 mode D 差 2.3%top-5 缺失率9.9%相对此前提升 6.3%比 VGG 差 1.1%。半精度模型image-net-2012-vgg-d.sqlite3即默认下载到 samples 目录的版本top-1 缺失率同为 29.61%、top-5 为 9.9%。32 位浮点版本可通过 samples/download-vgg-d-32bit.sh 下载内部执行wget -c从官方静态资源站点拉取。此外基于matt_params的半精度image-net-2012.sqlite3top-1 缺失率为38.17%、top-5 为16.22%。速度Speed官方速度实验环境Core i7 5930K CPU、4 路 NVIDIA TITAN 与 TITAN Black 混合显卡默认频率、Samsung MZ-7TE500BW 500GiB SSD配合 clang、libdispatch、libatlas 与 GNU Scientific Library 构建。核心实测数据如下CPU 前向从 RGB 输入到分类结果约700ms/图依赖多线程卷积核计算。作为参照DecafCaffe 的 CPU 对应实现报告约 0.5s/图硬件未指明评测方式同为 10 patches 平均AlexNet 12GPU 上前向 反向传播batch 128 约0.664s即 100 epoch 训练 ImageNet 约需 186 小时。作为参照Caffe 在 NVIDIA TITAN 上 batch 256 约 1.3sAlex 论文为双 GeForce 580 上 90 epoch / 6 天MattNet单 GPU 前向 反向batch 128 约0.845s4 GPU 下 batch 512 约0.909s即3.72 倍加速与 AlexNet 14One Weird Trick报告的 3.74x 基本一致VGG-D4 GPU 前向 反向batch 192 约5.439sAlexNet 14单 GPU 前向 反向batch 128 约0.55s对应 90 epoch 约 137.6 小时。作为初步实现ccv 并未充分优化这些算子。文档以代码量作对比cuda-convnet 约 10000 行、Caffe 约 14000 行而该版本 ccv 的实现约4300 行。未来低垂的优化机会包括引入 cuDNN、在密集卷积层使用 FFT 等。如何训练自己的图像分类器ccv 支持从零训练卷积网络官方文档以 ImageNet LSVRC 2012 数据集为例完整演示了整个流程。训练前需备齐三样东西实际的 ImageNet 数据集及元数据、显存不低于 6GiB 的 CUDA GPU、以及足以容纳 ImageNet 数据集的大容量 SSD否则从机械盘加载数据会慢过实际计算。第一步转换 ImageNet 元数据ImageNet 2012 挑战赛的元数据以 Matlab 专有格式分发需要用 Octave 转换。在 Linux 系系统如 Ubuntu上安装 Octave 只需一行sudo apt-get install octave假设已下载 devkit-1.0 并在压缩包中找到meta.mat启动 Octave 交互环境执行octave file fopen(meta.txt, w) octave for i 1:1000 octave fprintf(file, %d %s %d\n, synsets(i).ILSVRC2012_ID, synsets(i).WNID, synsets(i).num_train_images) octave endfor octave fclose(file)生成的meta.txt每行包含三列类别 id、WordNet idWNID、该类的训练图像数量。第二步生成训练/测试文件列表ImageNet 数据集的训练图像按 WordNet id 命名目录存放可用find生成文件清单find ImageNet dataset/train/ -name *.JPEG train-file.txt测试集按数字顺序排列因此find ImageNet dataset/test/ -name *.JPEG test-file.txt生成的文件列表对应ILSVRC2012_test_ground_truth.txt中的类别 id 顺序。这两份列表还需要借助作者提供的转换脚本位于 liuliu 的 GitHub gist8393461 与 8393516改写为 ccv 能直接理解的行格式即类别 id 文件名。从 bin/image-net.c 的解析逻辑可以看出ccv 逐行fscanf(%d %s)读取类别与文件名并将 ImageNet 从 1 开始的类别 id 减 1 转为 0 索引的ccv_categorized_t。第三步图像预处理与缩放训练图像需先预处理到正确尺寸。作者将 bin/image-net.c 局部替换为一段生成.resize.png后缀文件的代码对应 gist 8906523。编译并运行./image-net --train-list ~/Fast/imageNet/train-file.txt --test-list ~/Fast/imageNet/test-file.txt --base-dir ~/Fast/imageNet --working-dir image-net.sqlite3缩放阶段约需3 小时。完成后train.txt与test.txt会由train-file.txt、test-file.txt通过给每行追加.resize.png后缀自动生成。image-net的完整命令行参数见 bin/image-net.c必需参数为--train-list、--test-list、--working-dir保存进度与产出模型的目录可选参数--base-dir切换图片读取的基准目录、--max-epoch控制 SGD 的 epoch 数默认 100、--iterations控制 mini-batch 迭代数默认 5000。第四步训练与学习率调度数据就绪后即可开训。以 4 块 TITAN GPU 为例约需一天半。官方模型image-net-2012.sqlite3的学习率调度遵循 Alex 论文的做法、共衰减三次epochlearn_rate0 起0.01第 30 epoch0.001第 60 epoch0.0001第 80 epoch0.00001训练超参数的默认值可以从源码中核实train_params默认max_epoch 100、mini_batch 64、sgd_frequency 1、iterations 50000、device_count 4、peer_access 1、symmetric 1、image_manipulation 0.2、color_gain 0.001、输入min_dim/max_dim 257bin/image-net.c。逐层训练参数中权重与偏置的学习率均为 0.01、动量 0.9权重衰减 0.0005最后两个全连接层倒数第 3 到倒数第 2 层设置 dropout 率 0.5bin/image-net.c。训练由ccv_convnet_supervised_trainlib/ccv_convnet.c驱动网络构建前先用ccv_convnet_verify(convnet, 1000)校验拓扑合法性——最后一层必须是全连接、不可启用 ReLU、输出维度必须等于 1000lib/ccv_convnet.c。第五步精简模型文件训练产出的image-net-2012.sqlite3约600MiB因为其中包含训练与断点续训所需的数据。它本质上是标准的 SQLite 数据库文件可用 sqlite 命令行工具直接操作并瘦身sqlite drop table conv_vary_params; sqlite drop table momentum_data; sqlite drop table function_state; sqlite vacuum;执行后文件可缩减至约200MiB。若希望进一步减小体积可用ccv_convnet_write重写为半精度设置write_param.half_precision 1。ccv_convnet_write_param_t.half_precision字段的语义在 lib/ccv.h 中有明确注释使用半精度浮点表示网络参数。这样处理得到的image-net-2012.sqlite3正是 samples 目录中随仓库分发的版本。预训练模型可以商用吗可以。ccv 本身以 FreeBSD 3-clause 许可发布而预训练模型 samples/image-net-2012.sqlite3 与 samples/image-net-2012-vgg-d.sqlite3 以Creative Commons Attribution 4.0 International License发布只要注明出处几乎可以在任何场景、以任何方式使用和修改。官方文档强调这可以说是最早以商用友好许可发布的预训练模型之一——Caffe 本身虽采用 FreeBSD 许可但其预训练模型仅限研究用途OverFeat 则使用自定义的仅限研究许可。ccv 与 Caffe、Alex、Matt 实现的差异ccv 的网络拓扑虽与 MattZeiler的实现高度接近但实测结果差异明显官方文档为此专门记录了三者在实现细节上的区别这些细节直接影响可复现的精度结果。网络拓扑ccv 的局部响应归一化LRN层如有紧跟卷积层之后池化层再跟随 LRNAlex 论文对此有过简略提及而 Caffe 的 AlexNet 将 LRN 放在池化层之后ccv 网络的输入尺寸为225×225Caffe 为 227×227Alex 与 Matt 论文均提到 224×224。对 225×225 输入而言相当于在输入图像周围留 1 像素 padding配合 7×7 滤波器与 stride 2将生成 111×111 的输出而 Matt 论文中第一卷积层的输出是 110×110。数据准备实现缩放策略均值图像Caffe直接 resize 到 256×256不保持宽高比—Alex最小边缩放到 256、保持宽高比再中心裁剪为 256×256—ccv最小边缩放到257、保持宽高比下采样用CCV_INTER_AREA上采样用CCV_INTER_CUBIC由中心裁剪的 257×257 图像计算数据增强Caffe从 256×256 随机裁剪 227×227Alex从 256×256 随机裁剪 224×224再做颜色增强高斯随机系数sigma 0.1ccv从保持宽高比的图像随机裁剪为 257×257减均值后再随机裁剪为 225×225颜色增强的高斯随机系数为sigma 0.001此外还对亮度、对比度、饱和度做 0.81.2 倍的拉伸增强三者都使用水平镜像作为数据增强手段。平均分类多 patch 评测评测阶段对测试图像的多个 patch 分别推理并平均 softmax 输出是这一代模型的标准做法但各家取样方式不同Caffe先将图像 resize 到 256×256不保持宽高比从左上、右上、中间、左下、右下取 5 个 227×227 patch再加 5 个水平镜像共 10 patchesAlex保持宽高比缩放至最小边 256 后中心裁剪 256×256再从该裁剪图按 Caffe 的 5 位置方式取 10 个 224×224 patch含镜像ccv GPU先将图像保持宽高比缩放至最小边 257从左上、中间、右下做 3 次裁剪得到 257×257每张裁剪图减均值后再按 5 位置取 225×225 patch得到 15 个 patch加上各自的水平镜像共30 patchesccv CPU出于效率考虑平均 10 patches——先将图像保持宽高比缩放到最小边 257把均值图像用CCV_INTER_CUBIC上采样到同样尺寸并做减法再提取 5 个 225×225 patch 并镜像补齐 10 个。这些 patch 采样策略与ccv_convnet_classify的symmetric参数lib/ccv.h直接相关cnnclassify中单图模式传1即启用对称含镜像 patch平均。进一步探索官方 ConvNet 文档的 RST 原稿位于 doc/convnet.rst与本文主体内容同源核心实现位于 lib/ccv_convnet.c公开 API 声明与参数结构体定义在 lib/ccv.h含ccv_convnet_write_param_t、ccv_convnet_supervised_train、ccv_convnet_input_formation、ccv_convnet_classify、ccv_convnet_read/write等训练与评测工具集中在 bin 目录cnnclassify.c、cnndraw.rb、cnnvldtr.rb、image-net.c网络拓扑定义见alex_model.inc、matt_models.inc、vgg_models.inc单元测试覆盖了卷积、全连接、池化、LRN 的前向/反向与数值梯度校验见 test/unit/convnet.tests.c例如convolutional network of 11x11 on 225x225 with uniform weightsnumerical gradient versus analytical gradient for convolutional network等用例可作为理解算子和验证实现的参考模型文件半精度 VGG-D 与 32 位浮点版的下载脚本分别见 samples/download-vgg-d-model.sh 与 samples/download-vgg-d-32bit.sh。赞分享计算机视觉深度学习【免费下载链接】ccvC-based/Cached/Core Computer Vision Library, A Modern Computer Vision Library项目地址https://gitcode.com/gh_mirrors/cc/ccv点击查看免费下载相关推荐用 CNTK 训练 VGG 深度卷积网络ImageNet 图像分类的 Python 与 BrainScript 实战指南用 CNTK 训练 VGG 深度卷积网络ImageNet 图像分类的 Python 与 BrainScript 实战指南 导读 本文围绕 Microsoft深度学习机器学习人工智能CNTK 图像分类实战用 Python 从零构建卷积神经网络ConvNetCNTK 图像分类实战用 Python 从零构建卷积神经网络ConvNet 本指南以 CNTK 仓库 Examples/Image/Classificat深度学习机器学习人工智能CNTK 图像分类实战在 CIFAR-10 与 ImageNet 上训练 ResNet 深度残差网络Python 版CNTK 图像分类实战在 CIFAR 10 与 ImageNet 上训练 ResNet 深度残差网络Python 版 本篇技术指南以 CNTK 仓库 Ex深度学习机器学习人工智能上一篇tinytag完全指南如何用Python轻松读取音频文件元数据下一篇MXNet 贡献者 Git 工作流完全指南从 rebase 冲突解决、分支管理到 squash 合并与安全强制推送创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考