深度学习:卷积神经网络从入门到精通
上QQ阅读APP看书,第一时间看更新

1.5 卷积神经网络的GPU实现和cuDNN库

只采用CPU在大规模数据集中训练卷积神经网络的速度很慢,因此可以结合图形处理单元(Graphic Processing Unit, GPU)进行加速。GPU具有单指令多数据流结构,非常适合用一个程序处理各种大规模并行数据的计算问题。最常用的GPU是英伟达(Nvidia)生产的。编写GPU代码可在CUDA环境下进行。CUDA(Compute Unif ied Device Architecture)是一种用于GPU通用计算的并行计算平台和编程模型。它以C语言为基础,并对C语言进行了扩展,能够在显卡芯片上执行程序。CUDA提供了一个深度神经网络的GPU加速库cuDNN(CUDA Deep Neural Network),完成了对卷积、池化、归一化和激活函数层等标准操作的快速实现。如果读者想了解更多的相关信息,可参考以下网站:

https://developer.nvidia.com/cuda-toolkit

https://developer.nvidia.com/deep-learning-software

https://developer.nvidia.com/cudnn