在機(jī)器學(xué)習(xí)帶來的所有顛覆性技術(shù)中，計(jì)算機(jī)視覺領(lǐng)域吸引了業(yè)內(nèi)人士和學(xué)術(shù)界最大的關(guān)注。 

剛剛推出 1.3 正式版的 PyTorch 風(fēng)頭正勁，人們已經(jīng)圍繞這一深度學(xué)習(xí)框架開發(fā)出了越來越多的工具。最近，一個(gè)名為 TorchCV 的計(jì)算機(jī)視覺模型框架站上了 GitHub 趨勢(shì)榜。

項(xiàng)目鏈接：https://github.com/donnyyou/torchcv

該庫提供了基于深度學(xué)習(xí)的大部分 CV 問題研究的源代碼，對(duì)于使用者來說，調(diào)用最常用、最為先進(jìn)的計(jì)算機(jī)模型從此可以變得更加容易。TorchCV 的作者 Donny You 來自北京大學(xué)，是機(jī)器感知與智能教育部重點(diǎn)實(shí)驗(yàn)室的一名研三學(xué)生。

TorchCV 支持的模型

TorchCV 支持圖像分類、語義分割、目標(biāo)檢測(cè)、姿態(tài)檢測(cè)、實(shí)例分割、生成對(duì)抗網(wǎng)絡(luò)等任務(wù)中的多個(gè)常見模型，列表如下：

圖像分類

• VGG: Very Deep Convolutional Networks for Large-Scale Image Recognition
• ResNet: Deep Residual Learning for Image Recognition
• DenseNet: Densely Connected Convolutional Networks
• ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
• ShuffleNet V2: Practical Guidelines for Ecient CNN Architecture Design
• Partial Order Pruning: for Best Speed/Accuracy Trade-off in Neural Architecture Search

語義分割

• DeepLabV3: Rethinking Atrous Convolution for Semantic Image Segmentation
• PSPNet: Pyramid Scene Parsing Network
• DenseASPP: DenseASPP for Semantic Segmentation in Street Scenes
• Asymmetric Non-local Neural Networks for Semantic Segmentation

目標(biāo)檢測(cè)

• SSD: Single Shot MultiBox Detector
• Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
• YOLOv3: An Incremental Improvement
• FPN: Feature Pyramid Networks for Object Detection

姿態(tài)檢測(cè)

• CPM: Convolutional Pose Machines
• OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

實(shí)例分割

Mask R-CNN

生成對(duì)抗網(wǎng)絡(luò)

• Pix2pix: Image-to-Image Translation with Conditional Adversarial Nets
• CycleGAN: Unpaired Image-to-Image Translation using Cycle-Consistent 

快速啟動(dòng) TorchCV

TorchCV 目前僅支持 Python3.x 和 pytorch 1.0。

pip3 install -r requirements.txtcd extensions  
sh make.sh  

利用 TorchCV 得到的模型性能數(shù)據(jù)

以下所示的性能數(shù)據(jù)完全復(fù)現(xiàn)了論文的結(jié)果。

圖像分類

語義分割

目標(biāo)檢測(cè)

姿態(tài)估計(jì)

• OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

實(shí)例分割

• Mask R-CNN

生成對(duì)抗網(wǎng)絡(luò)

• Pix2pix
• CycleGAN

TorchCV 的數(shù)據(jù)集

TorchCV 定義了你能在數(shù)據(jù)集子目錄中查到的所有任務(wù)的數(shù)據(jù)格式。下面是一個(gè)用于訓(xùn)練語義分割的數(shù)據(jù)集目錄樹示例。你可以使用 datasets/seg/preprocess文件夾中的腳本對(duì)開源數(shù)據(jù)集進(jìn)行預(yù)處理。

文件夾地址：https://github.com/donnyyou/torchcv/tree/master/datasets/seg/preprocess

TorchCV 的命令

項(xiàng)目作者提供了命令行工具，供用戶使用模型，代碼如下：

訓(xùn)練

cd scripts/seg/cityscapes/ 
bash run_fs_pspnet_cityscapes_seg.sh train tag 

恢復(fù)訓(xùn)練

cd scripts/seg/cityscapes/ 
bash run_fs_pspnet_cityscapes_seg.sh train tag 

驗(yàn)證

cd scripts/seg/cityscapes/ 
bash run_fs_pspnet_cityscapes_seg.sh val tag 

測(cè)試

cd scripts/seg/cityscapes/ 
bash run_fs_pspnet_cityscapes_seg.sh test tag 

2019 年，PyTorch 正在逐漸趕超 TensorFlow，在研究領(lǐng)域成為最為流行的深度學(xué)習(xí)框架。隨著后者使用人數(shù)的增多，我們未來還會(huì)看到更多高效工具。