因为自学python的第一目标就是实现一个简单的爬虫去爬一爬网站，所以简单搜索了一下python的爬虫框架，scrapy是用的比较多的。
基于本人也没弄过任何一个爬虫，所以先弄出来一个再说，于是决定使用scrapy试试。
但是安装scrapy确实比较头疼，本身对python的组件管理不是十分熟悉，pip命令也是网上搜索的，所以花费了不少力气。
安装scrapy的命令很简单
pip install scrapy
但是安装过程中是会报错的， 报错的地方是scrapy在安装依赖包Twisted的时候，报了异常。 但这个异常是因为pip自动下载的Twisted安装包有一些缺陷，所以可以自己下载Twisted并安装。
访问https://www.lfd.uci.edu/~gohlke/pythonlibs/，查找"Twisted"关键字，我使用的是python3.7，所以下载了最下面的安装包。
下载后，使用pip直接安装就可以了
pip install Twisted-19.2.1-cp37-cp37m-win_amd64.whl
安装成功会提示
安装成功后，再次执行
pip install scrapy
看到下面提示后就说明scrapy安装成功了
再查看一下scrapy的版本
大功告成。
| 留言与评论（共有 0 条评论） |
