自然语言处理NLP与心理学的结合(二)–服务器配置与相关软件安装过程记录

自然语言处理NLP与心理学的结合(二)–服务器配置与相关软件安装过程记录

January 27, 2020 阅读 198 字数 4205 评论 0 喜欢 0


这篇文章是自然语言处理NLP与心理学的结合填坑一,将爬虫和数据挖掘服务器的配置和相关软件安装过程详细记录,有问题不懂的可以咨询我

1、服务器系统

CentOS 7.0及以上

2、基础编程语言

Python 3.6及以上

3、数据库软件

MongoDB 3及以上

4、模拟浏览器插件

Phantomjs 2.1.1 及以上

5Key-Value数据库

Redis 4及以上

 

 

第一步,选择服务器系统

一般来说,在购买服务器之后都可以选择系统呢,尽量选择CentOS7以上的系统。Ubuntu之类的也行呢,但是用windows服务器系统的话也可以的,但是装Redis比较麻烦。
如果不确定系统的版本,可以在终端中输入cat/etc/redhat-release来查看。

         

如上,就是centos 7.7的系统。

 

第二步,安装Python3.6以上的语言

本文以centos7为例,需要先sudoroot用户,就是说需要使用root用户登录服务器来进行安装软件的操作(下同)。
当然,一般服务器都给用户的是root的权限,如果是root权限,这一步就可以跳过。
输入su root,可以切换为root账号,或者在每个命令之前输入sudo,例如sudo yum update,这样就可以临时使用root权限。强烈建议,在使用服务器之前,用yum update 更新下系统软件。

过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。

 

安装python3.7

首先,安装相关编译用的工具

yum -y groupinstall “Development tools”

yum -y install zlib-devel bzip2-devel openssl-develncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devellibpcap-devel xz-devel

yum install libffi-devel -y

以上3条命令一条一条输入就成,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。


安装之后都是这样的,如果是英文版系统,就是complete!

 

其次,下载并解压python安装包

cd

wgethttps://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz

tar -xvJf Python-3.7.0.tar.xz

以上3条命令一条一条输入就成,第一条cd命令,可以自行修改成你想要的目录,如果不改的话,直接cd就可以到root目录。


 

再次,编译及安装

mkdir /usr/local/python3

cd Python-3.7.0

./configure –prefix=/usr/local/python3

make && make install

以上3条命令一条一条输入就成,第三和第四条命令因机器性能差异,会运行很长的时间,切记不要关掉服务器。



 


最后,创建软连接以及验证安装

ln -s /usr/local/python3/bin/python3/usr/local/bin/python3

ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

以上2条命令可选输入,毕竟默认安装之后会创建软连接的

 

python3 -V

pip3 -V

以上2个命令是验证pythonpip的安装版本情况

这样,如果输出了pythonpip的版本,那就说明安装python成功了。

 

 

第三步,安装MongoDB3.4数据库软件

MongoDB 是一个基于分布式文件存储的NoSQL数据库,由C++语言编写,运行稳定,性能高,旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

安装步骤:

首先,配置MongoDByum

 

vim /etc/yum.repos.d/mongodb-org-3.4.repo

以上命令输入后,会打开一个文本编辑页面(如果提示没有vim,那么输入yuminstall vim安装vim软件),先按Insert键进入编辑模式,然后将下面内容复制粘贴到文本编辑框中

 

[mongodb-org-3.4] 

name=MongoDB Repository 

baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/

gpgcheck=0

enabled=1

gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc

 

复制粘贴到文本编辑框中后,按Esc键,然后像如下图一般输入:wq

不要忘记:这个冒号哈


然后回到终端界面,输入yummakecache建立编译的缓存

 

其次,安装MongoDB

安装命令

yum -y install mongodb-org

 

安装之后输入

vim /etc/mongod.conf

 

可以编辑配置文件,可以记一下这个地址,这个说明mongodb安装在/etc目录里面哈。

 

最后,打开和关闭MongoDB

启动mongodb

systemctl start mongod.service

停止mongodb

systemctl stop mongod.service

查到mongodb的状态

systemctl status mongod.service

 

另外,启动MongoDBShell,输入mongo,查看数据库show dbs,其他的命令请百度哈。关闭MongoDBShell输入exit回车就好

 

 

第四步,安装Phantomjs 2.1.1

首先,下载Phantomjs 2.1.1安装包

输入

wgethttps://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

yum install bzip2

tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

以上3条命令是下载和解压安装包,一条一条输入就成,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。

 

其次,输入

mv phantomjs-2.1.1-linux-x86_64 /usr/local/src/phantomjs

以上命令是将下载的文件夹复制到/usr/local/src/phantomjs文件夹

 

再次,输入

ln -sf /usr/local/src/phantomjs/bin/phantomjs/usr/local/bin/phantomjs

以上命令是创建软连接,以后就可以直接输入phantomjs就可以了

 

再再次,输入

yum install fontconfig freetype2

以上命令是安装字体解析软件,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。

 

最后,输入

phantomjs -v

可以查看phantomjs的版本信息

 

第五步,安装Redis 4

首先,下载解压安装包

wget http://download.redis.io/releases/redis-4.0.6.tar.gz

tar -zxvf redis-4.0.6.tar.gz

输入以上命令,就可以下载解压安装包

 

其次,下载安装gcc依赖软件

yum install gcc

输入以上命令,过程中如果出现,要你输入y/n/d的时候,记得输入y,确定安装。

 

再次,安装编译

cd redis-4.0.6

make MALLOC=libc

cd src && make install

以上命令就是安装redis的命令

 

最后,设置后台启动redis

下面比较复杂了,仔细看。

在刚刚的时候,我们的终端目录应该是在src目录下

 

先输入cd ..

注意两个..

此时应该进入redis-4.0.6目录了

 

输入

vim redis.conf

进入编辑redis的配置文件页面,按Insert键进入编辑模式

找到

daemonize no

并且修改为

daemonize yes

改成


然后按Esc退出编辑模式,最后输入:wq

不要忘记:冒号

回到终端页面

 

然后输入

cd src

./redis-server /root/redis-4.0.6/redis.conf

可以看到成功加载运行了

 

为了设置开机自动启动,需要先关闭后台运行的redis

输入

ps -aux | grep redis

看到这个框的数字,记着这个数字,每个人都不一样,我这里是18027

下一步

输入kill18207(这个数字是你自己服务器的进程,自己修改)

这是关闭redis进程

 

下一步需要设置开机启动redis

首先

输入 cd /etc进入etc目录

 

然后

输入mkdirredis

创建一个目录redis

 

然后

输入cp/root/redis-4.0.6/redis.conf /etc/redis/6379.conf

这是将/root/redis-4.0.6/redis.conf 文件复制一份到/etc/redis目录下,并命名为6379.conf

 

然后

输入cp/root/redis-4.0.6/utils/redis_init_script /etc/init.d/redisd

redis的启动脚本复制一份放到/etc/init.d目录下

 

然后输入cd /etc/init.d

进入init.d目录

输入vimredisd

编辑开机启动脚本,按Insert键进入编辑模式

在第一行加入如下两行注释,按Esc后然后按:wq保存退出

如下图

 

然后,输入

chkconfig redisd on

 

最后

可以直接已服务的形式启动和关闭redis

启动redis

service redisd start

关闭:

service redisd stop

 

如下图就可以自动启动redis

 

 

至此,所有爬虫需要的一些需要手动配置的软件已经安装完毕,下回会介绍Python爬虫的代码。


注意:服务器尽量选择大带宽的,然后选择国外或港澳台地区的服务器,不会购买的,联系我,我可以推荐







第一,人生故事分享




第二,个人近况分享




第三,匿名故事分享




第四,计算机知识分享




第五,心理学知识分享




第六,旅游知识分享




第N  。。。。。。。。。

原文链接是我博客的地址,论文原文会发在博客里面,也希望大家多多关注。另外小站开通了赞赏功能,大家可以试试看,可不可以赞赏,金额不要多大,一点点就好。

Leave a Reply

Your email address will not be published. Required fields are marked *

© 2020 守望小站. Powered by WordPress