什么是网络爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
环境:Python3.6+Windows
开发工具:你喜欢用哪个就用哪个,你开心就好!
模块:import urllib.requestimport re
主要思路:1 获取主页源代码2 获取章节超链接3 获取章节超链接源码4 获取小说内容5 下载,文件操作
Python代码了解一下
运行结果: