爬虫是偏后台型的任务，以抓取效率为主，并没有很好的用户界面，并且需要不断地维护。所以对于完全没有编程基础的人来说，可能会遇到各种各样的问题。

环境、架构：

开发语言：Python2.7

开发环境：Windows

数据库：MongoDB 3.2.0启动前配置：

需要安装的软件：

python

Redis

MongoDB

（Redis和MongoDB都是NoSQL，服务启动后能连接上就行，不需要建表什么的）。

需要安装的Python模块：

requests

BeautifulSoup

multiprocessing

selenium

itertools

redis

pymongo

先看看效果图

说说的数据

代码比较多，发出来也看不清楚，如果需要源代码的朋友可以关注小编后私信

【QQ空间】就可以了。

那小编这里先给大家说一下代码吧，到时候拿到代码后可以回头过来看看，代码说明哈。

有什么问题请尽量留言，方便后来遇到同样问题的朋友查看。