CentOS 7 下 Python 3 安装 Scrapy 完整指南
本文详细介绍在 CentOS 7 系统中编译安装 Python 3.5.5 及 Scrapy 框架的完整步骤。内容涵盖开发工具依赖安装、Python 源码编译、软链接配置以及 Scrapy 的安装与验证，确保在不破坏系统原有 Python 2.7 的前提下完成环境搭建。
苦逼的前夜
昨晚进行了大量尝试，直到凌晨近两点仍未成功在 Python 3 环境下安装 Scrapy 框架，期间甚至导致 yum 命令失效，无法执行相关操作。今早继续排查并请教相关人员，耗时近中午仍未解决 yum 与 Python 的兼容问题。尝试多种方法无果后，最终选择放弃本地修复，向负责人汇报后，通过回滚阿里云 CentOS 7 实例的磁盘快照恢复系统状态。
正确的安装姿势
本文适用于直接接手 CentOS 7 实例镜像的场景（包括腾讯云、阿里云等）。按照以下步骤操作，可在半小时内顺利完成 Python 3 及 Scrapy 框架的安装，过程稳定且无复杂报错。
步骤
前言：本教程保留系统默认的 Python 2.7 版本，不进行替换或移除操作。
1. 编译前准备：安装其他依赖库（使用 sudo 命令执行）
(1)
[root@hadron ~]# yum -y groupinstall "Development tools"
(2)
[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
(2) 此处命令较长，请务必完整复制后回车。执行过程中若出现报错提示包含 '--skip-broken' 字样，可尝试使用以下命令处理。
可以使用命令：
[root@hadron ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel --skip-broken
2. 此时可开始下载 Python 3.5 的源码包。
(1) 使用 wget 命令下载：
[root@hadron ~]# wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz
（2）随后解压缩文件，并进入解压后的根目录。
[root@hadron ~]# tar -zxvf Python-3.5.5.tgz [root@hadron ~]# cd Python-3.5.5/
（3）对 Python 3.5 进行编译并安装。
[root@hadron ~]# ./configure --prefix=/usr/local/python3 [root@hadron ~]# make && make install
（4）创建 Python3 和 pip3 的软链接。
[root@hadron ~]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3 [root@hadron ~]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
（5）验证 Python3 和 pip3 是否安装成功。
[root@hadron ~]# python Python 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> quit() [root@hadron ~]# python3 Python 3.5.5 (default, Feb 27 2018, 09:28:49) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> quit() [root@hadron ~]# [root@hadron ~]# pip3 --version pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)
从输出结果可见，默认执行的 python 命令仍指向系统自带的 Python 2.7，而新安装的 python3 命令对应的是我们编译的 Python 3.5.5 版本，pip3 也已正确关联至 Python 3.5 环境。
上述步骤已完成 Python3 和 pip3 的安装，接下来进行 Scrapy 框架在 Python 3 环境下的安装。
3 安装 Scrapy 爬虫框架
（1）执行 Scrapy 安装命令。
[root@hadron ~]# pip3 install scrapy Collecting scrapy Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB) 100% |████████████████████████████████| 256kB 1.1MB/s Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy) Collecting PyDispatcher>=2.0.5 (from scrapy) Downloading PyDispatcher-2.0.5.tar.gz .... .... Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy) Downloading pycparser-2.18.tar.gz (245kB) 100% |████████████████████████████████| 256kB 339kB/s Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy Running setup.py install for PyDispatcher ... done Running setup.py install for Twisted ... done Running setup.py install for pycparser ... done Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3 [root@hadron ~]#
在此步骤中，可能会遇到大量红色报错信息。
很蛋疼的报红信息
出现红色报错无需担心，多次重试执行 pip3 install scrapy 命令即可。
（2）若网络状况良好，通常尝试不超过 5 次即可看到安装成功的界面。
成功安装 Scrapy 的界面
（3）上图同时也验证了 Scrapy 框架安装成功，因为执行 import scrapy 时未报错。
（4）创建 Scrapy 命令的软链接。
[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy
（5）验证 Scrapy 软链接是否生效。
[root@hadron ~]# scrapy -v Scrapy 1.5.0 - no active project
以上即为在 Python 3 环境下安装 Scrapy 框架的完整步骤，整个过程基本无 Bug。相较于昨日通宵安装的经历，本次不到半小时的安装更为顺畅。建议参考优质文章后，继续推进后续开发工作。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
