最近在练习爬虫,分享一些简单入门的知识
2019-11-30

我用的PYCharm3.5.4,安装了requests

 

使用requests模块发送简单的get请求、获取响应

import requests # 目标urlurl = "https://www.baidu.com" # 向目标url发送get请求response = requests.get(url)# 打印响应内容print(response.text)

response的常见属性:

response.text 响应体 str类型respones.content 响应体 bytes类型response.status_code 响应状态码response.request.headers 响应对应的请求头response.headers 响应头response.request.cookies 响应对应请求的cookieresponse.cookies 响应的cookie(经过了set-cookie动作)

获取网页源码的常用方法:

    response.content.decode()response.content.decode("GBK")response.text

以上三种方法从前往后尝试,能够100%的解决所有网页解码的问题

, 1, 0, 9);