TensorFlow集成TensorRT环境配置

04-24   2  9


本文前提是cuda和cudnn以及TensorRT已经安装完毕。


TensorRT下载地址:
https://developer.nvidia.com/nvidia-tensorrt-download 
TesnsoRT的介绍文档:
https://devblogs.nvidia.com/tensorrt-3-faster-tensorflow-inference/ 
TensorRT的开发者指南:
http://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html 
TensorRT的样例代码:
http://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#samples


当前的系统环境是:


  • Ubuntu 16.04
  • CUDA 9.0
  • CUDNN 7.1
  • TensorRT 4.0

 

1. 首先从TensorFlow的官方github上下载TensorFlow:


sudo apt-get install git


git clone https://github.com/tensorflow/tensorflow


2.安装TensorFlow的依赖库:


sudo apt-get install python-numpyswigpython-dev python-wheel


3.运行下载下来的TensorFlow中的./configure文件来配置环境:



这里有几个地方需要注意,在选择是否支持cuda,cudnn和TensorRT的时候要记得选择yes,并根据您的安装环境,配置好路径,否则后面会报错。


特别是cuda,cudnn和TensorRT的版本的时候,一定要仔细,否则后面会浪费很多时间。


当前我的系统配置的是CUDA 9.0 + CuDNN7.1 + TensorRT4.0


其他的配置看自己的需求。


4.通过bazel来编译pip的安装包,然后通过pip安装


这里的—config=opt 后面有一个空格


bazel build --config=cuda --config=opt //tensorflow/tools/pip_package:build_pip_package

bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/

 

然后在tmp下面可以看到pip安装所需要.whl文件


sudo pip install /tmp/tensorflow_pkg/tensorflow-1.2.0rc2-cp27-cp27mu-linux_x86_64.whl


直接安装即可。

 

如果你想测试一下效果,可以在这里下载一段测试代码:


https://developer.download.nvidia.com/devblogs/tftrt_sample.tar.xz


测试结果是这样的:


评论 ( {{ comments.total }} )
{{ o.content }}
赞 {{ o.likes_count ? o.likes_count : '' }} 回复 {{ o.created_at }}
作者信息