Python3爬虫教程基础篇之二:网络库Reqeusts详解(下)

回顾

上篇文章讲解了 Requests 的两个核心类(request 和 response),这篇着重讲解 Requests 如何使用。

Requests 快速入门

安装

通过 pip 安装

$ pip3 install requests

使用 Requests 发送 GET 请求

使用 Requests 方法其他请求

Requests 高级用法

Session 对象

使用 Requests 的 Session 对象,有两种好处:

在多个请求中,保持回话;性能提升,因为 Session 对象使用了 urllib3 的连接池(connection pooling)技术,使得可以复用 host 相同的请求连接;

示例代码:

设置代理IP(proxies)

Requests 默认只支持 HTTP 代理协议,如果需要使用 SOCKS5 协议,需要安装第三方库。如下:

$ pip3 install requests[socks]

之后,参考如下配置:

关闭安全证书检查

如果目标站点的 HTTPS 证书配置错误,又需要抓取它的数据,这个时候可以关闭安全证书的检查。如下代码:

发表评论
留言与评论(共有 0 条评论)
   
验证码:

相关文章

推荐文章

'); })();