1、服务器系统
2、基础编程语言
3、数据库软件
4、模拟浏览器插件
5、Key-Value数据库
第一步，选择服务器系统
第二步，安装Python3.6以上的语言
过程中如果出现，要你输入y/n/d的时候，记得输入y，确定安装。
安装python3.7
首先，安装相关编译用的工具
yum -y groupinstall “Development tools”
yum -y install zlib-devel bzip2-devel openssl-develncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devellibpcap-devel xz-devel
yum install libffi-devel -y
以上3条命令一条一条输入就成，过程中如果出现，要你输入y/n/d的时候，记得输入y，确定安装。
安装之后都是这样的，如果是英文版系统，就是complete!
其次，下载并解压python安装包
cd
wgethttps://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz
tar -xvJf Python-3.7.0.tar.xz
以上3条命令一条一条输入就成，第一条cd命令，可以自行修改成你想要的目录，如果不改的话，直接cd就可以到root目录。
再次，编译及安装
mkdir /usr/local/python3
cd Python-3.7.0
./configure –prefix=/usr/local/python3
make && make install
以上3条命令一条一条输入就成，第三和第四条命令因机器性能差异，会运行很长的时间，切记不要关掉服务器。
最后，创建软连接以及验证安装
ln -s /usr/local/python3/bin/python3/usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
以上2条命令可选输入，毕竟默认安装之后会创建软连接的
python3 -V
pip3 -V
以上2个命令是验证python和pip的安装版本情况
这样，如果输出了python和pip的版本，那就说明安装python成功了。
第三步，安装MongoDB3.4数据库软件
MongoDB 是一个基于分布式文件存储的NoSQL数据库，由C++语言编写，运行稳定，性能高，旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
安装步骤：
首先，配置MongoDB的yum源
vim /etc/yum.repos.d/mongodb-org-3.4.repo
以上命令输入后，会打开一个文本编辑页面（如果提示没有vim，那么输入yuminstall vim安装vim软件），先按Insert键进入编辑模式，然后将下面内容复制粘贴到文本编辑框中
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=0
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
复制粘贴到文本编辑框中后，按Esc键，然后像如下图一般输入:wq
不要忘记:这个冒号哈
然后回到终端界面，输入yummakecache建立编译的缓存
其次，安装MongoDB
安装命令
yum -y install mongodb-org
安装之后输入
vim /etc/mongod.conf
可以编辑配置文件，可以记一下这个地址，这个说明mongodb安装在/etc目录里面哈。
最后，打开和关闭MongoDB
启动mongodb
systemctl start mongod.service
停止mongodb
systemctl stop mongod.service
查到mongodb的状态
systemctl status mongod.service
另外，启动MongoDB的Shell，输入mongo，查看数据库show dbs，其他的命令请百度哈。关闭MongoDB的Shell输入exit回车就好
第四步，安装Phantomjs 2.1.1
首先，下载Phantomjs 2.1.1安装包
输入
wgethttps://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
yum install bzip2
tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
以上3条命令是下载和解压安装包，一条一条输入就成，过程中如果出现，要你输入y/n/d的时候，记得输入y，确定安装。
其次，输入
mv phantomjs-2.1.1-linux-x86_64 /usr/local/src/phantomjs
以上命令是将下载的文件夹复制到/usr/local/src/phantomjs文件夹
再次，输入
ln -sf /usr/local/src/phantomjs/bin/phantomjs/usr/local/bin/phantomjs
以上命令是创建软连接，以后就可以直接输入phantomjs就可以了
再再次，输入
yum install fontconfig freetype2
以上命令是安装字体解析软件，过程中如果出现，要你输入y/n/d的时候，记得输入y，确定安装。
最后，输入
phantomjs -v
可以查看phantomjs的版本信息
第五步，安装Redis 4
首先，下载解压安装包
wget http://download.redis.io/releases/redis-4.0.6.tar.gz
tar -zxvf redis-4.0.6.tar.gz
输入以上命令，就可以下载解压安装包
其次，下载安装gcc依赖软件
yum install gcc
输入以上命令，过程中如果出现，要你输入y/n/d的时候，记得输入y，确定安装。
再次，安装编译
cd redis-4.0.6
make MALLOC=libc
cd src && make install
以上命令就是安装redis的命令
最后，设置后台启动redis
下面比较复杂了，仔细看。
在刚刚的时候，我们的终端目录应该是在src目录下
先输入cd ..
注意两个..
此时应该进入redis-4.0.6目录了
输入
vim redis.conf
进入编辑redis的配置文件页面，按Insert键进入编辑模式
找到
daemonize no
并且修改为
daemonize yes
改成
然后按Esc退出编辑模式，最后输入:wq
不要忘记:冒号
回到终端页面
然后输入
cd src
./redis-server /root/redis-4.0.6/redis.conf
可以看到成功加载运行了
为了设置开机自动启动，需要先关闭后台运行的redis
输入
ps -aux | grep redis
看到这个框的数字，记着这个数字，每个人都不一样，我这里是18027
下一步
输入kill18207（这个数字是你自己服务器的进程，自己修改）
这是关闭redis进程
下一步需要设置开机启动redis了
首先
输入 cd /etc进入etc目录
然后
输入mkdirredis
创建一个目录redis
然后
输入cp/root/redis-4.0.6/redis.conf /etc/redis/6379.conf
这是将/root/redis-4.0.6/redis.conf 文件复制一份到/etc/redis目录下，并命名为6379.conf
然后
输入cp/root/redis-4.0.6/utils/redis_init_script /etc/init.d/redisd
将redis的启动脚本复制一份放到/etc/init.d目录下
然后输入cd /etc/init.d
进入init.d目录
输入vimredisd
编辑开机启动脚本，按Insert键进入编辑模式
在第一行加入如下两行注释，按Esc后然后按:wq保存退出
如下图
然后，输入
chkconfig redisd on
最后
可以直接已服务的形式启动和关闭redis了
启动redis：
service redisd start
关闭：
service redisd stop
如下图就可以自动启动redis了
至此，所有爬虫需要的一些需要手动配置的软件已经安装完毕，下回会介绍Python爬虫的代码。
注意：服务器尽量选择大带宽的，然后选择国外或港澳台地区的服务器，不会购买的，联系我，我可以推荐
第一，人生故事分享
第二，个人近况分享
第三，匿名故事分享
第四，计算机知识分享
第五，心理学知识分享
第六，旅游知识分享
第N 。。。。。。。。。
原文链接是我博客的地址，论文原文会发在博客里面，也希望大家多多关注。另外小站开通了赞赏功能，大家可以试试看，可不可以赞赏，金额不要多大，一点点就好。
湘公网安备 43010202000590号