Windows深度学习软件安装全攻略
Windows 11 是微软全新操作系统，现代化界面，流畅操作体验，适用于学习、工作与日常生活。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
本文经机器之心（微信公众号：almosthuman2014）授权转载，禁止二次转载从零开始：深度学习软件环境安装指南(Ubuntu)本文GitHub地址：https://github.com/philferriere/dlwin该配置版本最后更新的日期是今年七月，该更新版本允许本地使用3个不同的GPU加速后端，并添加对MKLBLAS库的支持。目前有很多帮助我们在Linux或MacOS上构建深度学习（DL）环境的指导文章，但很少有文章完整地叙述如何高效地在Windows10上配
该配置版本最后更新的日期是今年七月，该更新版本允许本地使用 3 个不同的 GPU 加速后端，并添加对 MKL BLAS 库的支持。
目前有很多帮助我们在 Linux 或 Mac OS 上构建深度学习（DL）环境的指导文章，但很少有文章完整地叙述如何高效地在 Windows 10 上配置深度学习开发环境。此外，很多开发者安装 Windows 和 Ubuntu 双系统或在 Windows 上安装虚拟机以配置深度学习环境，但对于入门者来说，我们更希望还是直接使用 Windows 直接配置深度学习环境。因此，本文作者 Phil Ferriere 在 GitHub 上发布了该教程，他希望能从最基本的环境变量配置开始一步步搭建 Keras 深度学习开发环境。
如果读者希望在 Windows 10 上配置深度学习环境，那么本文将为大家提供很多有利的信息。
01 依赖项
下面是我们将在 Windows 10（Version 1607 OS Build 14393.222）上配置深度学习环境所需要的工具和软件包：
Visual Studio 2015 Community Edition Update 3 w. Windows Kit 10.0.10240.0：用于其 C/C++编译器（而不是 IDE）和 SDK，选择该确定的版本是因为 CUDA 8.0.61 所支持的 Windows 编译器。Anaconda (64-bit) w. Python 3.6 (Anaconda3-4.4.0) [for Tensorflow support] or Python 2.7 (Anaconda2-4.4.0) [no Tensorflow support] with MKL：Anaconda 是一个开源的 Python 发行版本，其包含了 conda、Python、NumPy、SciPy 等 180 多个科学包及其依赖项，是一个集成开发环境。MKL 可以利用 CPU 加速许多线性代数运算。CUDA 8.0.61 (64-bit)：CUDA 是一种由 NVIDIA 推出的通用并行计算架构，该架构使 GPU 能够解决复杂的计算问题，该软件包能提供 GPU 数学库、显卡驱动和 CUDA 编译器等。cuDNN v5.1 (Jan 20, 2017) for CUDA 8.0：用于加速卷积神经网络的运算。Keras 2.0.5 with three different backends: Theano 0.9.0, Tensorflow-gpu 1.2.0, and CNTK 2.0：Keras 以 Theano、Tensorflow 或 CNTK 等框架为后端，并提供深度学习高级 API。使用不同的后端在张量数学计算等方面会有不同的效果。02 硬件
Dell Precision T7900, 64GB RAM：Intel Xeon E5-2630 v4 @ 2.20 GHz (1 processor, 10 cores total, 20 logical processors)NVIDIA GeForce Titan X, 12GB RAM：Driver version: 372.90 / Win 10 6403 安装步骤
我们可能喜欢让所有的工具包和软件包在一个根目录下（如 e:\toolkits.win），所以在下文只要看到以 e:\toolkits.win 开头的路径，那么我们可能就需要小心不要覆盖或随意更改必要的软件包目录。
Visual Studio 2015 Community Edition Update 3 w. Windows Kit 10.0.10240.0下载地址：https://www.visualstudio.com/vs/older-downloads运行下载的软件包以安装 Visual Studio，可能我们还需要做一些额外的配置：
Anaconda 4.4.0 (64-bit) (Python 3.6 TF support / Python 2.7 no TF support))
本教程最初使用的是 Python 2.7，而随着 TensorFlow 可作为 Keras 的后端，我们决定使用 Python 3.6 作为默认配置。因此，根据我们配置的偏好，可以设置 e:\toolkits.win\anaconda3-4.4.0 或 e:\toolkits.win\anaconda2-4.4.0 为安装 Anaconda 的文件夹名。
Python 3.6 版本的 Anaconda 下载地址：https://repo.continuum.io/archive/Anaconda3-4.4.0-Windows-x86_64.exePython 2.7 版本的 Anaconda 下载地址：https://repo.continuum.io/archive/Anaconda2-4.4.0-Windows-x86_64.exe
运行安装程序完成安装：
如上，本教程选择了第二个选项，但不一定是最好的。
定义一下变量并更新 PATH：
定义系统环境（sysenv variable）变量 PYTHON_HOME 的值为 e:\toolkits.win\anaconda3-4.4.0添加 %PYTHON_HOME%, %PYTHON_HOME%\Scripts 和 %PYTHON_HOME%\Library\bin 到 PATH 中创建 dlwin36 conda 环境
在安装 Anaconda 后，打开 Windows 命令窗口并执行：
#使用以下命令行创建环境$ conda create --yes -n dlwin36 numpy scipy mkl-service m2w64-toolchain libpython jupyter# 使用以下命令行激活环境:# > activate dlwin36## 使用以下命令行关闭环境:# > deactivate dlwin36## * for power-users using bash, you must source#如上所示，使用 active dlwin36 命令激活这个新的环境。如果已经有了旧的 dlwin36 环境，可以先用 conda env remove -n dlwin36 命令删除。既然打算使用 GPU，为什么还要安装 CPU 优化的线性代数库如 MKL 呢？在我们的设置中，大多数深度学习都是由 GPU 承担的，这并没错，但 CPU 也不是无所事事。基于图像的 Kaggle 竞赛一个重要部分是数据增强。如此看来，数据增强是通过转换原始训练样本（利用图像处理算子）获得额外输入样本（即更多的训练图像）的过程。基本的转换比如下采样和均值归 0 的归一化也是必需的。如果你觉得这样太冒险，可以试试额外的预处理增强（噪声消除、直方图均化等等）。当然也可以用 GPU 处理并把结果保存到文件中。然而在实践过程中，这些计算通常都是在 CPU 上平行执行的，而 GPU 正忙于学习深度神经网络的权重，况且增强数据是用完即弃的。因此，我们强烈推荐安装 MKL，而 Theanos 用 BLAS 库更好。
CUDA 8.0.61 (64-bit)
从英伟达网站下载 CUDA 8.0 (64-bit)：https://developer.nvidia.com/cuda-downloads
选择合适的操作系统：
下载安装包：
运行安装包，安装文件到 e:\toolkits.win\cuda-8.0.61 中：
完成安装后，安装包应该创建了一个名为 CUDA_PATH 的系统环境变量（sysenv variable），并且已经添加了%CUDA_PATH%\bin 和 %CUDA_PATH%\libnvvp 到 PATH 中。检查是否真正添加了，若 CUDA 环境变量因为一些原因出错了，那么完成下面两个步骤：
定义名为 CUDA_PATH 的系统环境变量的值为 e:\toolkits.win\cuda-8.0.61添加%CUDA_PATH%\bin 和 %CUDA_PATH%\libnvvp 到 PATH 中cuDNN v5.1 (Jan 20, 2017) for CUDA 8.0
根据英伟达官网「cuDNN 为标准的运算如前向和反向卷积、池化、归一化和激活层等提供高度调优的实现」，它是为卷积神经网络和深度学习设计的一款加速方案。
cuDNN 的下载地址：https://developer.nvidia.com/rdp/cudnn-download
我们需要选择符合 CUDA 版本和 Window 10 编译器的 cuDNN 软件包，一般来说，cuDNN 5.1 可以支持 CUDA 8.0 和 Windows 10。
下载的 ZIP 文件包含三个目录（bin、include、lib），抽取这三个的文件夹到%CUDA_PATH% 中。
安装 Keras 2.0.5 和 Theano0.9.0 与 libgpuarray
运行以下命令安装 libgpuarray 0.6.2，即 Theano 0.9.0 唯一的稳定版：
(dlwin36) $ conda install pygpu==0.6.2 nose#下面是该命令行安装的效果Fetching package metadata ...........Solving package specifications: .Package plan for installation in environment e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36:The following NEW packages will be INSTALLED: libgpuarray: 0.6.2-vc14_0 [vc14] nose: 1.3.7-py36_1 pygpu: 0.6.2-py36_0Proceed ([y]/n)? y输入以下命令安装 Keras 和 Theano：
(dlwin36) $ pip install keras==2.0.5#下面是该命令行安装的效果Collecting keras==2.0.5Requirement already satisfied: six in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from keras==2.0.5)Collecting pyyaml (from keras==2.0.5)Collecting theano (from keras==2.0.5)Requirement already satisfied: scipy>=0.14 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from theano->keras==2.0.5)Requirement already satisfied: numpy>=1.9.1 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from theano->keras==2.0.5)Installing collected packages: pyyaml, theano, kerasSuccessfully installed keras-2.0.5 pyyaml-3.12 theano-0.9.0安装 CNTK 2.0 后端
根据 CNTK 安装文档，我们可以使用以下 pip 命令行安装 CNTK：
(dlwin36) $ pip install https://cntk.ai/PythonWheel/GPU/cntk-2.0-cp36-cp36m-win_amd64.whl#下面是该命令行安装的效果Collecting cntk==2.0 from https://cntk.ai/PythonWheel/GPU/cntk-2.0-cp36-cp36m-win_amd64.whl Using cached https://cntk.ai/PythonWheel/GPU/cntk-2.0-cp36-cp36m-win_amd64.whlRequirement already satisfied: numpy>=1.11 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from cntk==2.0)Requirement already satisfied: scipy>=0.17 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from cntk==2.0)Installing collected packages: cntkSuccessfully installed cntk-2.0该安装将导致在 conda 环境目录下额外安装 CUDA 和 cuDNN DLLs：
(dlwin36) $ cd E:\toolkits.win\anaconda3-4.4.0\envs\dlwin36(dlwin36) $ dir cu*.dll#下面是该命令行安装的效果Volume in drive E is datasetsVolume Serial Number is 1ED0-657BDirectory of E:\toolkits.win\anaconda3-4.4.0\envs\dlwin3606/30/2017 02:47 PM 40,744,896 cublas64_80.dll06/30/2017 02:47 PM 366,016 cudart64_80.dll06/30/2017 02:47 PM 78,389,760 cudnn64_5.dll06/30/2017 02:47 PM 47,985,208 curand64_80.dll06/30/2017 02:47 PM 41,780,280 cusparse64_80.dll 5 File(s) 209,266,160 bytes 0 Dir(s) 400,471,019,520 bytes free这个问题并不是因为浪费硬盘空间，而是安装的 cuDNN 版本和我们安装在 c:\toolkits\cuda-8.0.61 下的 cuDNN 版本不同，因为在 conda 环境目录下的 DLL 将首先加载，所以我们需要这些 DLL 移除出%PATH% 目录：
(dlwin36) $ md discard & move cu*.dll discard#下面是该命令行安装的效果E:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\cublas64_80.dllE:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\cudart64_80.dllE:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\cudnn64_5.dllE:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\curand64_80.dllE:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\cusparse64_80.dll 5 file(s) moved.安装 TensorFlow-GPU 1.2.0 后端
运行以下命令行使用 pip 安装 TensorFlow：
(dlwin36) $ pip install tensorflow-gpu==1.2.0#以下是安装效果Collecting tensorflow-gpu==1.2.0 Using cached tensorflow_gpu-1.2.0-cp36-cp36m-win_amd64.whlRequirement already satisfied: bleach==1.5.0 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from tensorflow-gpu==1.2.0)Requirement already satisfied: numpy>=1.11.0 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from tensorflow-gpu==1.2.0)Collecting markdown==2.2.0 (from tensorflow-gpu==1.2.0)Requirement already satisfied: wheel>=0.26 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from tensorflow-gpu==1.2.0)Collecting protobuf>=3.2.0 (from tensorflow-gpu==1.2.0)Collecting backports.weakref==1.0rc1 (from tensorflow-gpu==1.2.0) Using cached backports.weakref-1.0rc1-py3-none-any.whlCollecting html5lib==0.9999999 (from tensorflow-gpu==1.2.0)Collecting werkzeug>=0.11.10 (from tensorflow-gpu==1.2.0) Using cached Werkzeug-0.12.2-py2.py3-none-any.whlRequirement already satisfied: six>=1.10.0 in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages (from tensorflow-gpu==1.2.0)Requirement already satisfied: setuptools in e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\setuptools-27.2.0-py3.6.egg (from protobuf>=3.2.0->tensorflow-gpu==1.2.0)Installing collected packages: markdown, protobuf, backports.weakref, html5lib, werkzeug, tensorflow-gpu Found existing installation: html5lib 0.999 DEPRECATION: Uninstalling a distutils installed project (html5lib) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project. Uninstalling html5lib-0.999: Successfully uninstalled html5lib-0.999Successfully installed backports.weakref-1.0rc1 html5lib-0.9999999 markdown-2.2.0 protobuf-3.3.0 tensorflow-gpu-1.2.0 werkzeug-0.12.2使用 conda 检查安装的软件包
完成以上安装和配置后，我们应该在 dlwin36 conda 环境中看到以下软件包列表：
为了快速检查上述三个后端安装的效果，依次运行一下命令行分别检查 Theano、TensorFlow 和 CNTK 导入情况：
(dlwin36) $ python -c "import theano; print('theano: %s, %s' % (theano.__version__, theano.__file__))"theano: 0.9.0, E:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\theano\__init__.py(dlwin36) $ python -c "import pygpu; print('pygpu: %s, %s' % (pygpu.__version__, pygpu.__file__))"pygpu: 0.6.2, e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\pygpu\__init__.py(dlwin36) $ python -c "import tensorflow; print('tensorflow: %s, %s' % (tensorflow.__version__, tensorflow.__file__))"tensorflow: 1.2.0, E:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\tensorflow\__init__.py(dlwin36) $ python -c "import cntk; print('cntk: %s, %s' % (cntk.__version__, cntk.__file__))"cntk: 2.0, E:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\cntk\__init__.py验证 Theano 的安装
因为 Theano 是安装 Keras 时自动安装的，为了快速地在 CPU 模式、GPU 模式和带 cuDNN 的 GPU 模式之间转换，我们需要创建以下三个系统环境变量（sysenv variable）：
系统环境变量 THEANO_FLAGS_CPU 的值定义为：floatX=float32,device=cpu系统环境变量 THEANO_FLAGS_GPU 的值定义为：floatX=float32,device=cuda0,dnn.enabled=False,gpuarray.preallocate=0.8系统环境变量 THEANO_FLAGS_GPU_DNN 的值定义为：floatX=float32,device=cuda0,optimizer_including=cudnn,gpuarray.preallocate=0.8,dnn.conv.algo_bwd_filter=deterministic,dnn.conv.algo_bwd_data=deterministic,dnn.include_path=e:/toolkits.win/cuda-8.0.61/include,dnn.library_path=e:/toolkits.win/cuda-8.0.61/lib/x64现在，我们能直接使用 THEANO_FLAGS_CPU、THEANO_FLAGS_GPU 或 THEANO_FLAGS_GPU_DNN 直接设置 Theano 使用 CPU、GPU 还是 GPU+cuDNN。我们可以使用以下命令行验证这些变量是否成功加入环境中：
(dlwin36) $ set KERAS_BACKEND=theano(dlwin36) $ set | findstr /i theanoKERAS_BACKEND=theanoTHEANO_FLAGS=floatX=float32,device=cuda0,optimizer_including=cudnn,gpuarray.preallocate=0.8,dnn.conv.algo_bwd_filter=deterministic,dnn.conv.algo_bwd_data=deterministic,dnn.include_path=e:/toolkits.win/cuda-8.0.61/include,dnn.library_path=e:/toolkits.win/cuda-8.0.61/lib/x64THEANO_FLAGS_CPU=floatX=float32,device=cpuTHEANO_FLAGS_GPU=floatX=float32,device=cuda0,dnn.enabled=False,gpuarray.preallocate=0.8THEANO_FLAGS_GPU_DNN=floatX=float32,device=cuda0,optimizer_including=cudnn,gpuarray.preallocate=0.8,dnn.conv.algo_bwd_filter=deterministic,dnn.conv.algo_bwd_data=deterministic,dnn.include_path=e:/toolkits.win/cuda-8.0.61/include,dnn.library_path=e:/toolkits.win/cuda-8.0.61/lib/x64更多具体的 Theano 验证代码与命令请查看原文。
检查系统环境变量
现在，不论 dlwin36 conda 环境什么时候激活，PATH 环境变量应该需要看起来如下面列表一样：
使用 Keras 验证 GPU+cuDNN 的安装
我们可以使用 Keras 在 MNIST 数据集上训练简单的卷积神经网络（convnet）而验证 GPU 的 cuDNN 是否正确安装，该文件名为 mnist_cnn.py，其可以在 Keras 案例中找到。该卷积神经网络的代码如下：
Keras案例地址：https://github.com/fchollet/keras/blob/2.0.5/examples/mnist_cnn.py
(dlwin36) $ set KERAS_BACKEND=cntk(dlwin36) $ python mnist_cnn.pyUsing CNTK backendSelected GPU[0] GeForce GTX TITAN X as the process wide default device.x_train shape: (60000, 28, 28, 1)60000 train samples10000 test samplesTrain on 60000 samples, validate on 10000 samplesEpoch 1/12e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\cntk\core.py:351: UserWarning: your data is of type "float64", but your input variable (uid "Input113") expects "1. 使用带 Theano 后端的 Keras
为了有一个能进行对比的基线模型，首先我们使用 Theano 后端和 CPU 训练简单的卷积神经网络：
(dlwin36) $ set KERAS_BACKEND=theano(dlwin36) $ set THEANO_FLAGS=%THEANO_FLAGS_CPU%(dlwin36) $ python mnist_cnn.py#以下为训练过程和结果Using Theano backend.x_train shape: (60000, 28, 28, 1)60000 train samples10000 test samplesTrain on 60000 samples, validate on 10000 samplesEpoch 1/1260000/60000 [==============================] - 233s - loss: 0.3344 - acc: 0.8972 - val_loss: 0.0743 - val_acc: 0.9777Epoch 2/1260000/60000 [==============================] - 234s - loss: 0.1106 - acc: 0.9674 - val_loss: 0.0504 - val_acc: 0.9837Epoch 3/1260000/60000 [==============================] - 237s - loss: 0.0865 - acc: 0.9741 - val_loss: 0.0402 - val_acc: 0.9865Epoch 4/1260000/60000 [==============================] - 238s - loss: 0.0692 - acc: 0.9792 - val_loss: 0.0362 - val_acc: 0.9874Epoch 5/1260000/60000 [==============================] - 241s - loss: 0.0614 - acc: 0.9821 - val_loss: 0.0370 - val_acc: 0.9879Epoch 6/1260000/60000 [==============================] - 245s - loss: 0.0547 - acc: 0.9839 - val_loss: 0.0319 - val_acc: 0.9885Epoch 7/1260000/60000 [==============================] - 248s - loss: 0.0517 - acc: 0.9840 - val_loss: 0.0293 - val_acc: 0.9900Epoch 8/1260000/60000 [==============================] - 256s - loss: 0.0465 - acc: 0.9863 - val_loss: 0.0294 - val_acc: 0.9905Epoch 9/1260000/60000 [==============================] - 264s - loss: 0.0422 - acc: 0.9870 - val_loss: 0.0276 - val_acc: 0.9902Epoch 10/1260000/60000 [==============================] - 263s - loss: 0.0423 - acc: 0.9875 - val_loss: 0.0287 - val_acc: 0.9902Epoch 11/1260000/60000 [==============================] - 262s - loss: 0.0389 - acc: 0.9884 - val_loss: 0.0291 - val_acc: 0.9898Epoch 12/1260000/60000 [==============================] - 270s - loss: 0.0377 - acc: 0.9885 - val_loss: 0.0272 - val_acc: 0.9910Test loss: 0.0271551907005Test accuracy: 0.991我们现在使用以下命令行利用带 Theano 的后端的 Keras 在 GPU 和 cuDNN 环境下训练卷积神经网络：
(dlwin36) $ set THEANO_FLAGS=%THEANO_FLAGS_GPU_DNN%(dlwin36) $ python mnist_cnn.pyUsing Theano backend.Using cuDNN version 5110 on context NonePreallocating 9830/12288 Mb (0.800000) on cuda0Mapped name None to device cuda0: GeForce GTX TITAN X (0000:03:00.0)x_train shape: (60000, 28, 28, 1)60000 train samples10000 test samplesTrain on 60000 samples, validate on 10000 samplesEpoch 1/1260000/60000 [==============================] - 17s - loss: 0.3219 - acc: 0.9003 - val_loss: 0.0774 - val_acc: 0.9743Epoch 2/1260000/60000 [==============================] - 16s - loss: 0.1108 - acc: 0.9674 - val_loss: 0.0536 - val_acc: 0.9822Epoch 3/1260000/60000 [==============================] - 16s - loss: 0.0832 - acc: 0.9766 - val_loss: 0.0434 - val_acc: 0.9862Epoch 4/1260000/60000 [==============================] - 16s - loss: 0.0694 - acc: 0.9795 - val_loss: 0.0382 - val_acc: 0.9876Epoch 5/1260000/60000 [==============================] - 16s - loss: 0.0605 - acc: 0.9819 - val_loss: 0.0353 - val_acc: 0.9884Epoch 6/1260000/60000 [==============================] - 16s - loss: 0.0533 - acc: 0.9836 - val_loss: 0.0360 - val_acc: 0.9883Epoch 7/1260000/60000 [==============================] - 16s - loss: 0.0482 - acc: 0.9859 - val_loss: 0.0305 - val_acc: 0.9897Epoch 8/1260000/60000 [==============================] - 16s - loss: 0.0452 - acc: 0.9865 - val_loss: 0.0295 - val_acc: 0.9911Epoch 9/1260000/60000 [==============================] - 16s - loss: 0.0414 - acc: 0.9878 - val_loss: 0.0315 - val_acc: 0.9898Epoch 10/1260000/60000 [==============================] - 16s - loss: 0.0386 - acc: 0.9886 - val_loss: 0.0282 - val_acc: 0.9911Epoch 11/1260000/60000 [==============================] - 16s - loss: 0.0378 - acc: 0.9887 - val_loss: 0.0306 - val_acc: 0.9904Epoch 12/1260000/60000 [==============================] - 16s - loss: 0.0354 - acc: 0.9893 - val_loss: 0.0296 - val_acc: 0.9898Test loss: 0.0296215178292Test accuracy: 0.9898我们看到每一个 Epoch 的训练时间只需要 16 秒，相对于使用 CPU 要 250 秒左右取得了很大的提高（在同一个批量大小的情况下）。
2. 使用 TensorFlow 后端的 Keras
为了激活和测试 TensorFlow 后端，我们需要使用以下命令行：
(dlwin36) $ set KERAS_BACKEND=tensorflow(dlwin36) $ python mnist_cnn.pyUsing TensorFlow backend.x_train shape: (60000, 28, 28, 1)60000 train samples10000 test samplesTrain on 60000 samples, validate on 10000 samplesEpoch 1/122017-06-30 12:49:22.005585: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.005767: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE2 instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.005996: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE3 instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.006181: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.1 instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.006361: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.006539: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.006717: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.006897: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations.2017-06-30 12:49:22.453483: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:940] Found device 0 with properties:name: GeForce GTX TITAN Xmajor: 5 minor: 2 memoryClockRate (GHz) 1.076pciBusID 0000:03:00.0Total memory: 12.00GiBFree memory: 10.06GiB2017-06-30 12:49:22.454375: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:961] DMA: 02017-06-30 12:49:22.454489: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:971] 0: Y2017-06-30 12:49:22.454624: I c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1030] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX TITAN X, pci bus id: 0000:03:00.0)60000/60000 [==============================] - 8s - loss: 0.3355 - acc: 0.8979 - val_loss: 0.0749 - val_acc: 0.9760Epoch 2/1260000/60000 [==============================] - 5s - loss: 0.1134 - acc: 0.9667 - val_loss: 0.0521 - val_acc: 0.9825Epoch 3/1260000/60000 [==============================] - 5s - loss: 0.0863 - acc: 0.9745 - val_loss: 0.0436 - val_acc: 0.9854Epoch 4/1260000/60000 [==============================] - 5s - loss: 0.0722 - acc: 0.9787 - val_loss: 0.0381 - val_acc: 0.9872Epoch 5/1260000/60000 [==============================] - 5s - loss: 0.0636 - acc: 0.9811 - val_loss: 0.0339 - val_acc: 0.9880Epoch 6/1260000/60000 [==============================] - 5s - loss: 0.0552 - acc: 0.9838 - val_loss: 0.0328 - val_acc: 0.9888Epoch 7/1260000/60000 [==============================] - 5s - loss: 0.0515 - acc: 0.9851 - val_loss: 0.0318 - val_acc: 0.9893Epoch 8/1260000/60000 [==============================] - 5s - loss: 0.0479 - acc: 0.9862 - val_loss: 0.0311 - val_acc: 0.9891Epoch 9/1260000/60000 [==============================] - 5s - loss: 0.0441 - acc: 0.9870 - val_loss: 0.0310 - val_acc: 0.9898Epoch 10/1260000/60000 [==============================] - 5s - loss: 0.0407 - acc: 0.9871 - val_loss: 0.0302 - val_acc: 0.9903Epoch 11/1260000/60000 [==============================] - 5s - loss: 0.0405 - acc: 0.9877 - val_loss: 0.0309 - val_acc: 0.9892Epoch 12/1260000/60000 [==============================] - 5s - loss: 0.0373 - acc: 0.9886 - val_loss: 0.0309 - val_acc: 0.9898Test loss: 0.0308696583555Test accuracy: 0.9898我们看到使用 TensorFlow 后端要比 Theano 后端在该任务上快 3 倍左右，它们都是用了 GPU 和 cuDNN 加速。这可能是因为在该测试中它们有相同的通道等级（channel ordering），但实际上两个平台在这一点是不一样的。因此，程序可能强制 Theano 后端重新排序数据而造成性能上的差异。但在该案例下，TensorFlow 在 GPU 上的负载一直没有超过 70%。
3. 使用 CNTK 后端的 Keras
为了激活和测试 CNTK 后算，我们需要使用以下命令行：
(dlwin36) $ set KERAS_BACKEND=cntk(dlwin36) $ python mnist_cnn.pyUsing CNTK backendSelected GPU[0] GeForce GTX TITAN X as the process wide default device.x_train shape: (60000, 28, 28, 1)60000 train samples10000 test samplesTrain on 60000 samples, validate on 10000 samplesEpoch 1/12e:\toolkits.win\anaconda3-4.4.0\envs\dlwin36\lib\site-packages\cntk\core.py:351: UserWarning: your data is of type "float64", but your input variable (uid "Input113") expects "在具体的试验中，CNTK 同样也十分快速，并且 GPU 负载达到了 80%。
END
投稿和反馈请发邮件至hzzy@hzbook.com。转载大数据公众号文章，请向原文作者申请授权，否则产生的任何版权纠纷与大数据无关。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，