分类：requests库

2021
06-04

python中requests库+xpath+lxml简单使用

python中requests库+xpath+lxml简单使用 python的requests它是python的一个第三方库，处理URL比urllib这个库要方便的多，并且功能也很丰富。【可以先看4，5表格形式的说明，再看前面的】安装直接用pip安装，anconda是自带这个库的。pipinstallrequests简单使用requests的文档1.简单访问一个url：importrequestsurl='http://www.baidu.com'res=requests.get(url)res.textres.status_code<!DOCTYPEhtml><!--STATUSOK--><html><head><metahttp-equiv=content-typec... 继续阅读 >
2021
03-30

Python requests库参数提交的注意事项总结

Python requests库参数提交的注意事项总结 字典与json字符串区别#python中的字典格式，是dict类型{'a':'sd'}如果声明a={"a":"sd"},它仍是字典，不过python会默认将双引号换成单引号，最后打印的仍然为{'a':'sd'}#python中的json字符串,是str类型{"a":"sd"}两者差别在于引号在爬虫的过程中有些请求参数是json字符串的，有的是字典类型的，要区分json字符串和字典json字符串格式如点击viewsource很显然是json字符串格式的,字典转json字符串可以用json.dumps()函数... 继续阅读 >
2021
01-08

python requests库的使用

requests模块使用requests可以模拟浏览器的请求，requests模块的本质是封装了urllib3模块的功能，比起之前用到的urllib，requests模块的api更加便捷requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求，但是selenium模块就可以执行js的操作。安装：pip3installrequests请求方式：主要用到的就get和post两种#各种请求方式：常用的就是requests.get()和... 继续阅读 >
2020
12-17

python爬虫利器之requests库的用法(超全面的爬取网页案例)

python爬虫利器之requests库的用法(超全面的爬取网页案例) requests库利用pip安装:pipinstallrequests基本请求req=requests.get("https://www.baidu.com/")req=requests.post("https://www.baidu.com/")req=requests.put("https://www.baidu.com/")req=requests.delete("https://www.baidu.com/")req=requests.head("https://www.baidu.com/")req=requests.options(https://www.baidu.com/)1.get请求参数是字典，我们可以传递json类型的参数：importrequestsfromfake_usera... 继续阅读 >
2020
10-10

python爬虫---requests库的用法详解

python爬虫---requests库的用法详解 requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多因为是第三方库，所以使用前需要cmd安装pipinstallrequests安装完成后import一下，正常则说明可以开始使用了。基本用法：requests.get()用于请求目标网站，类型是一个HTTPresponse类型importrequestsresponse=requests.get('http://www.baidu.com')print(response.status_code)#打印状态码print(response.url)#打印请求urlprint(response.headers)#打... 继续阅读 >
2020
09-30

Python爬虫requests库多种用法实例

requests安装和使用下载安装：pipinstallrequests#requests模块importrequests#发送请求content:以二进制的形式获取网页的内容response=requests.get("http://www.baidu.com").content.decode()#response=requests.request("get","http://www.baidu.com").content.decode()print(response)添加请求头和参数importrequestsurl="http://www.baidu.com/s?"headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;... 继续阅读 >