Linux下从源码编译¶

1. 请首先选择您希望储存PaddlePaddle的路径，然后在该路径下使用以下命令将PaddlePaddle的源码从github克隆到本地当前目录下名为Paddle的文件夹中：¶

git clone https://github.com/PaddlePaddle/Paddle.git

2. 进入Paddle目录下：¶

cd Paddle

3. 拉取PaddlePaddle镜像¶

对于国内用户，因为网络问题下载docker比较慢时，可使用百度提供的镜像：

• CPU版的PaddlePaddle：

  docker pull registry.baidubce.com/paddlepaddle/paddle:latest-dev
  

• GPU版的PaddlePaddle：

  nvidia-docker pull registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev
  

如果您的机器不在中国大陆地区，可以直接从DockerHub拉取镜像：

• CPU版的PaddlePaddle：

  docker pull paddlepaddle/paddle:latest-dev
  

• GPU版的PaddlePaddle：

  nvidia-docker pull paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev
  

上例中，latest-gpu-cuda10.2-cudnn7-dev 仅作示意用，表示安装GPU版的镜像。如果您还想安装其他cuda/cudnn版本的镜像，可以将其替换成latest-dev-cuda11.2-cudnn8-gcc82、latest-gpu-cuda10.1-cudnn7-gcc82-dev、latest-gpu-cuda10.1-cudnn7-gcc54-dev等。 您可以访问DockerHub获取与您机器适配的镜像。

4. 创建并进入已配置好编译环境的Docker容器：¶

• 编译CPU版本的PaddlePaddle：

  docker run --name paddle-test -v $PWD:/paddle --network=host -it registry.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash
  

  • --name paddle-test：为您创建的Docker容器命名为paddle-test;

  • -v $PWD:/paddle： 将当前目录挂载到Docker容器中的/paddle目录下（Linux中PWD变量会展开为当前路径的绝对路径);

  • -it： 与宿主机保持交互状态;

  • registry.baidubce.com/paddlepaddle/paddle:latest-dev：使用名为registry.baidubce.com/paddlepaddle/paddle:latest-dev的镜像创建Docker容器，/bin/bash 进入容器后启动/bin/bash命令。

• 编译GPU版本的PaddlePaddle：

  nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev /bin/bash
  

  • --name paddle-test：为您创建的Docker容器命名为paddle-test;

  • -v $PWD:/paddle： 将当前目录挂载到Docker容器中的/paddle目录下（Linux中PWD变量会展开为当前路径的绝对路径);

  • -it： 与宿主机保持交互状态;

  • registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev：使用名为registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev的镜像创建Docker容器，/bin/bash 进入容器后启动/bin/bash命令。

注意： 请确保至少为docker分配4g以上的内存，否则编译过程可能因内存不足导致失败。

5. 进入Docker后进入paddle目录下：¶

cd /paddle

6. 切换到较稳定版本下进行编译：¶

git checkout [分支名]

例如：

git checkout release/2.2

注意：python3.6、python3.7版本从release/1.2分支开始支持, python3.8版本从release/1.8分支开始支持, python3.9版本从release/2.1分支开始支持

7. 创建并进入/paddle/build路径下：¶

mkdir -p /paddle/build && cd /paddle/build

8. 使用以下命令安装相关依赖：¶

• 安装protobuf。

pip3.7 install protobuf

注意：以上用Python3.7命令来举例，如您的Python版本为3.6/3.8/3.9，请将上述命令中的pip3.7改成pip3.6/pip3.8/pip3.9

• 安装patchelf，PatchELF 是一个小而实用的程序，用于修改ELF可执行文件的动态链接器和RPATH。

apt install patchelf

9. 执行cmake：¶

• 对于需要编译CPU版本PaddlePaddle的用户：

  cmake .. -DPY_VERSION=3.7 -DWITH_GPU=OFF -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
  

• 对于需要编译GPU版本PaddlePaddle的用户：

  cmake .. -DPY_VERSION=3.7 -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
  

• 具体编译选项含义请参见编译选项表

• 请注意修改参数-DPY_VERSION为您希望编译使用的python版本, 例如-DPY_VERSION=3.7表示python版本为3.7

• 我们目前不支持CentOS 6下使用Docker编译GPU版本的PaddlePaddle

10. 执行编译：¶

使用多核编译

make -j$(nproc)

注意： 编译过程中需要从github上下载依赖，请确保您的编译环境能正常从github下载代码。

11. 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包：¶

cd /paddle/build/python/dist

12. 在当前机器或目标机器安装编译好的.whl包：¶

For Python3:

pip3.7 install -U [whl包的名字]

注意： 以上用Python3.7命令来举例，如您的Python版本为3.6/3.8/3.9，请将上述命令中的pip3.7改成pip3.6/pip3.8/pip3.9。

恭喜，至此您已完成PaddlePaddle的编译安装。您只需要进入Docker容器后运行PaddlePaddle，即可开始使用。更多Docker使用请参见Docker官方文档¶

1. 检查您的计算机和操作系统是否符合我们支持的编译标准：¶

uname -m && cat /etc/*release

2. 更新系统源¶

• Centos 环境

  更新yum的源：

  yum update
  

  并添加必要的yum源：

  yum install -y epel-release
  

• Ubuntu 环境

  更新apt的源：

  apt update
  

3. 安装NCCL（可选）¶

• 如果您需要使用GPU多卡，请确保您已经正确安装nccl2，或者按照以下指令安装nccl2（这里提供的是CUDA10.2，cuDNN7下nccl2的安装指令，更多版本的安装信息请参考NVIDIA官方网站）:

  • Centos 系统可以参考以下命令

    wget http://developer.download.nvidia.com/compute/machine-learning/repos/rhel7/x86_64/nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
    

    rpm -i nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
    

    yum update -y
    

    yum install -y libnccl-2.7.8-1+cuda10.2 libnccl-devel-2.7.8-1+cuda10.2 libnccl-static-2.7.8-1+cuda10.2
    

  • Ubuntu 系统可以参考以下命令

    wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
    

    dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
    

    sudo apt install -y libnccl2=2.7.8-1+cuda10.2 libnccl-dev=2.7.8-1+cuda10.2
    

4. 安装必要的工具¶

• Centos 环境

  bzip2以及make：

  yum install -y bzip2
  

  yum install -y make
  

  cmake 需要3.15以上，建议使用3.16.0:

  wget -q https://cmake.org/files/v3.16/cmake-3.16.0-Linux-x86_64.tar.gz
  

  tar -zxvf cmake-3.16.0-Linux-x86_64.tar.gz
  

  rm cmake-3.16.0-Linux-x86_64.tar.gz
  

  PATH=/home/cmake-3.16.0-Linux-x86_64/bin:$PATH
  

  gcc 需要5.4以上，建议使用8.2.0:

  wget -q https://paddle-docker-tar.bj.bcebos.com/home/users/tianshuo/bce-python-sdk-0.8.27/gcc-8.2.0.tar.xz && \
  tar -xvf gcc-8.2.0.tar.xz && \
  cd gcc-8.2.0 && \
  sed -i 's#ftp://gcc.gnu.org/pub/gcc/infrastructure/#https://paddle-ci.gz.bcebos.com/#g' ./contrib/download_prerequisites && \
  unset LIBRARY_PATH CPATH C_INCLUDE_PATH PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE && \
  ./contrib/download_prerequisites && \
  cd .. && mkdir temp_gcc82 && cd temp_gcc82 && \
  ../gcc-8.2.0/configure --prefix=/usr/local/gcc-8.2 --enable-threads=posix --disable-checking --disable-multilib && \
  make -j8 && make install
  

• Ubuntu 环境

  bzip2以及make：

  apt install -y bzip2
  

  apt install -y make
  

  cmake 需要3.15以上，建议使用3.16.0:

  wget -q https://cmake.org/files/v3.16/cmake-3.16.0-Linux-x86_64.tar.gz
  

  tar -zxvf cmake-3.16.0-Linux-x86_64.tar.gz
  

  rm cmake-3.16.0-Linux-x86_64.tar.gz
  

  PATH=/home/cmake-3.16.0-Linux-x86_64/bin:$PATH
  

  gcc 需要5.4以上，建议使用8.2.0:

  wget -q https://paddle-docker-tar.bj.bcebos.com/home/users/tianshuo/bce-python-sdk-0.8.27/gcc-8.2.0.tar.xz && \
  tar -xvf gcc-8.2.0.tar.xz && \
  cd gcc-8.2.0 && \
  sed -i 's#ftp://gcc.gnu.org/pub/gcc/infrastructure/#https://paddle-ci.gz.bcebos.com/#g' ./contrib/download_prerequisites && \
  unset LIBRARY_PATH CPATH C_INCLUDE_PATH PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE && \
  ./contrib/download_prerequisites && \
  cd .. && mkdir temp_gcc82 && cd temp_gcc82 && \
  ../gcc-8.2.0/configure --prefix=/usr/local/gcc-8.2 --enable-threads=posix --disable-checking --disable-multilib && \
  make -j8 && make install
  

5. 我们支持使用virtualenv进行编译安装，首先请使用以下命令创建一个名为paddle-venv的虚环境：¶

• a. 安装Python-dev:

  (请参照Python官方流程安装）

• b. 安装pip:

  (请参照Python官方流程安装, 并保证拥有20.2.2及以上的pip3版本，请注意，python3.6及以上版本环境下，pip3并不一定对应python版本，如python3.7下默认只有pip3.7）

• c.（Only For Python3）设置Python3相关的环境变量，这里以python3.7版本示例，请替换成您使用的版本（3.6、3.8、3.9）：

  1. 首先使用

     find `dirname $(dirname $(which python3))` -name "libpython3.so"
     

     找到Python lib的路径，如果是3.6、3.7、3.8、3.9，请将python3改成python3.6、python3.7、python3.8、python3.9，然后将下面[python-lib-path]替换为找到文件路径

  2. 设置PYTHON_LIBRARIES：

     export PYTHON_LIBRARY=[python-lib-path]
     

  3. 其次使用

     find `dirname $(dirname $(which python3))`/include -name "python3.7m"
     

     找到Python Include的路径，请注意python版本，然后将下面[python-include-path]替换为找到文件路径

  4. 设置PYTHON_INCLUDE_DIR:

     export PYTHON_INCLUDE_DIRS=[python-include-path]
     

  5. 设置系统环境变量路径：

     export PATH=[python-lib-path]:$PATH
     

     （这里将[python-lib-path]的最后两级目录替换为/bin/)

• d. 安装虚环境virtualenv以及virtualenvwrapper并创建名为paddle-venv的虚环境：(请注意对应python版本的pip3的命令，如pip3.6、pip3.7、pip3.8、pip3.9)

  1. 安装virtualenv

     pip install virtualenv
     

     或

     pip3 install virtualenv
     

  2. 安装virtualenvwrapper

     pip install virtualenvwrapper
     

     或

     pip3 install virtualenvwrapper
     

  3. 找到virtualenvwrapper.sh：

     find / -name virtualenvwrapper.sh
     

     （请找到对应Python版本的virtualenvwrapper.sh）

  4. 查看virtualenvwrapper.sh中的安装方法：

     cat vitualenvwrapper.sh
     

     该shell文件中描述了步骤及命令

  5. 按照virtualenvwrapper.sh中的描述，安装virtualwrapper

  6. 设置VIRTUALENVWRAPPER_PYTHON：

     export VIRTUALENVWRAPPER_PYTHON=[python-lib-path]:$PATH
     

     （这里将[python-lib-path]的最后两级目录替换为/bin/)

  7. 创建名为paddle-venv的虚环境：

     mkvirtualenv paddle-venv
     

6. 进入虚环境：¶

workon paddle-venv

7. 执行编译前请您确认在虚环境中安装有编译依赖表中提到的相关依赖：¶

• 这里特别提供patchELF的安装方法，其他的依赖可以使用yum install或者pip install/pip3 install 后跟依赖名称和版本安装:

  yum install patchelf
  

  不能使用yum安装的用户请参见patchElF github官方文档

8. 将PaddlePaddle的源码clone在当下目录下的Paddle的文件夹中，并进入Padde目录下：¶

git clone https://github.com/PaddlePaddle/Paddle.git

cd Paddle

9. 切换到较稳定release分支下进行编译：¶

git checkout [分支名]

例如：

git checkout release/2.2

10. 并且请创建并进入一个叫build的目录下：¶

mkdir build && cd build

11. 执行cmake：¶

具体编译选项含义请参见编译选项表

• 对于需要编译CPU版本PaddlePaddle的用户：

  cmake .. -DPY_VERSION=3.7 -DPYTHON_INCLUDE_DIR=${PYTHON_INCLUDE_DIRS} \
  -DPYTHON_LIBRARY=${PYTHON_LIBRARY} -DWITH_GPU=OFF -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
  

  如果遇到Could NOT find PROTOBUF (missing:  PROTOBUF_LIBRARY PROTOBUF_INCLUDE_DIR)可以重新执行一次cmake指令。 请注意PY_VERSION参数更换为您需要的python版本

• 对于需要编译GPU版本PaddlePaddle的用户：(仅支持CentOS7（CUDA11.2/CUDA11.0/CUDA10.2/CUDA10.1))

  1. 请确保您已经正确安装nccl2，或者按照以下指令安装nccl2（这里提供的是CUDA10.2，cuDNN7下nccl2的安装指令，更多版本的安装信息请参考NVIDIA官方网站）:

  • Centos 系统可以参考以下命令

    wget http://developer.download.nvidia.com/compute/machine-learning/repos/rhel7/x86_64/nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
    

    rpm -i nvidia-machine-learning-repo-rhel7-1.0.0-1.x86_64.rpm
    

    yum install -y libnccl-2.7.8-1+cuda10.2 libnccl-devel-2.7.8-1+cuda10.2 libnccl-static-2.7.8-1+cuda10.2
    

  • Ubuntu 系统可以参考以下命令

    wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
    

    dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
    

    sudo apt install -y libnccl2=2.7.8-1+cuda10.2 libnccl-dev=2.7.8-1+cuda10.2
    

  1. 如果您已经正确安装了nccl2，就可以开始cmake了：(For Python3: 请给PY_VERSION参数配置正确的python版本)

     cmake .. -DPYTHON_EXECUTABLE:FILEPATH=[您可执行的Python3的路径] -DPYTHON_INCLUDE_DIR:PATH=[之前的PYTHON_INCLUDE_DIRS] -DPYTHON_LIBRARY:FILEPATH=[之前的PYTHON_LIBRARY] -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release
     

注意：以上涉及Python3的命令，用Python3.7来举例，如您的Python版本为3.6/3.8/3.9，请将上述命令中的Python3.7改成Python3.6/Python3.8/Python3.9

12. 使用以下命令来编译：¶

make -j$(nproc)

使用多核编译

如果编译过程中显示“Too many open files”错误时，请使用指令 ulimit -n 8192 来增大当前进程允许打开的文件数，一般来说8192可以保证编译完成。

13. 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包：¶

cd /paddle/build/python/dist

14. 在当前机器或目标机器安装编译好的.whl包：¶

pip install -U（whl包的名字）

或

pip3 install -U（whl包的名字）

恭喜，至此您已完成PaddlePaddle的编译安装¶