1、服务器系统
2、基础编程语言
3、数据库软件
4、模拟浏览器插件
5、Key-Value数据库
第一步,选择服务器系统
第二步,安装Python3.6以上的语言
过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。
安装python3.7
首先,安装相关编译用的工具
yum -y groupinstall “Development tools”
yum -y install zlib-devel bzip2-devel openssl-develncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devellibpcap-devel xz-devel
yum install libffi-devel -y
以上3条命令一条一条输入就成,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。
安装之后都是这样的,如果是英文版系统,就是complete!
其次,下载并解压python安装包
cd
wgethttps://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz
tar -xvJf Python-3.7.0.tar.xz
以上3条命令一条一条输入就成,第一条cd命令,可以自行修改成你想要的目录,如果不改的话,直接cd就可以到root目录。
再次,编译及安装
mkdir /usr/local/python3
cd Python-3.7.0
./configure –prefix=/usr/local/python3
make && make install
以上3条命令一条一条输入就成,第三和第四条命令因机器性能差异,会运行很长的时间,切记不要关掉服务器。
最后,创建软连接以及验证安装
ln -s /usr/local/python3/bin/python3/usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
以上2条命令可选输入,毕竟默认安装之后会创建软连接的
python3 -V
pip3 -V
以上2个命令是验证python和pip的安装版本情况
这样,如果输出了python和pip的版本,那就说明安装python成功了。
第三步,安装MongoDB3.4数据库软件
MongoDB 是一个基于分布式文件存储的NoSQL数据库,由C++语言编写,运行稳定,性能高,旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
安装步骤:
首先,配置MongoDB的yum源
vim /etc/yum.repos.d/mongodb-org-3.4.repo
以上命令输入后,会打开一个文本编辑页面(如果提示没有vim,那么输入yuminstall vim安装vim软件),先按Insert键进入编辑模式,然后将下面内容复制粘贴到文本编辑框中
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=0
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
复制粘贴到文本编辑框中后,按Esc键,然后像如下图一般输入:wq
不要忘记:这个冒号哈
然后回到终端界面,输入yummakecache建立编译的缓存
其次,安装MongoDB
安装命令
yum -y install mongodb-org
安装之后输入
vim /etc/mongod.conf
可以编辑配置文件,可以记一下这个地址,这个说明mongodb安装在/etc目录里面哈。
最后,打开和关闭MongoDB
启动mongodb
systemctl start mongod.service
停止mongodb
systemctl stop mongod.service
查到mongodb的状态
systemctl status mongod.service
另外,启动MongoDB的Shell,输入mongo,查看数据库show dbs,其他的命令请百度哈。关闭MongoDB的Shell输入exit回车就好
第四步,安装Phantomjs 2.1.1
首先,下载Phantomjs 2.1.1安装包
输入
wgethttps://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
yum install bzip2
tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
以上3条命令是下载和解压安装包,一条一条输入就成,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。
其次,输入
mv phantomjs-2.1.1-linux-x86_64 /usr/local/src/phantomjs
以上命令是将下载的文件夹复制到/usr/local/src/phantomjs文件夹
再次,输入
ln -sf /usr/local/src/phantomjs/bin/phantomjs/usr/local/bin/phantomjs
以上命令是创建软连接,以后就可以直接输入phantomjs就可以了
再再次,输入
yum install fontconfig freetype2
以上命令是安装字体解析软件,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。
最后,输入
phantomjs -v
可以查看phantomjs的版本信息
第五步,安装Redis 4
首先,下载解压安装包
wget http://download.redis.io/releases/redis-4.0.6.tar.gz
tar -zxvf redis-4.0.6.tar.gz
输入以上命令,就可以下载解压安装包
其次,下载安装gcc依赖软件
yum install gcc
输入以上命令,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。
再次,安装编译
cd redis-4.0.6
make MALLOC=libc
cd src && make install
以上命令就是安装redis的命令
最后,设置后台启动redis
下面比较复杂了,仔细看。
在刚刚的时候,我们的终端目录应该是在src目录下
先输入cd ..
注意两个..
此时应该进入redis-4.0.6目录了
输入
vim redis.conf
进入编辑redis的配置文件页面,按Insert键进入编辑模式
找到
daemonize no
并且修改为
daemonize yes
改成
然后按Esc退出编辑模式,最后输入:wq
不要忘记:冒号
回到终端页面
然后输入
cd src
./redis-server /root/redis-4.0.6/redis.conf
可以看到成功加载运行了
为了设置开机自动启动,需要先关闭后台运行的redis
输入
ps -aux | grep redis
看到这个框的数字,记着这个数字,每个人都不一样,我这里是18027
下一步
输入kill18207(这个数字是你自己服务器的进程,自己修改)
这是关闭redis进程
下一步需要设置开机启动redis了
首先
输入 cd /etc进入etc目录
然后
输入mkdirredis
创建一个目录redis
然后
输入cp/root/redis-4.0.6/redis.conf /etc/redis/6379.conf
这是将/root/redis-4.0.6/redis.conf 文件复制一份到/etc/redis目录下,并命名为6379.conf
然后
输入cp/root/redis-4.0.6/utils/redis_init_script /etc/init.d/redisd
将redis的启动脚本复制一份放到/etc/init.d目录下
然后输入cd /etc/init.d
进入init.d目录
输入vimredisd
编辑开机启动脚本,按Insert键进入编辑模式
在第一行加入如下两行注释,按Esc后然后按:wq保存退出
如下图
然后,输入
chkconfig redisd on
最后
可以直接已服务的形式启动和关闭redis了
启动redis:
service redisd start
关闭:
service redisd stop
如下图就可以自动启动redis了
至此,所有爬虫需要的一些需要手动配置的软件已经安装完毕,下回会介绍Python爬虫的代码。
注意:服务器尽量选择大带宽的,然后选择国外或港澳台地区的服务器,不会购买的,联系我,我可以推荐


第一,人生故事分享

第二,个人近况分享

第三,匿名故事分享

第四,计算机知识分享

第五,心理学知识分享

第六,旅游知识分享

第N 。。。。。。。。。
原文链接是我博客的地址,论文原文会发在博客里面,也希望大家多多关注。另外小站开通了赞赏功能,大家可以试试看,可不可以赞赏,金额不要多大,一点点就好。