分类：requests

2020
10-10

Pytho爬虫中Requests设置请求头Headers的方法

1、为什么要设置headers?在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站。2、headers在哪里找？谷歌或者火狐浏览器，在网页面上点击：右键?>检查?>剩余按照图中显示操作，... 继续阅读 >
2020
10-10

Python requests上传文件实现步骤

官方文档：https://2.python-requests.org//en/master/工作中涉及到一个功能，需要上传附件到一个接口，接口参数如下：使用httppost提交附件multipart/form-data格式，url:http://test.com/flow/upload，字段列表：md5://md5加密（随机值_当时时间戳）filesize://文件大小file://文件内容(须含文件名)返回值：{"success":true,"uploadName":"tmp.xml","uploadPath":"uploads\/201311\/758e875fb7c7a508feef6b5... 继续阅读 >
2020
10-10

Python requests接口测试实现代码

1、get方法请求接口url：显而易见，就是接口的地址url啦headers：请求头，例如：content-type=application/x-www-form-urlencodedparams：用于传递测试接口所要用的参数，这里我们用python中的字典形式（key：value）进行参数的传递。举个例子：importrequestsurl="http://api.shein.com/login"header={"content-type":"application/x-www-form-urlencoded"}param={"user_id":123456,"email":"123456@163.com"}timeout=0.5respo... 继续阅读 >
2020
10-09

基于python requests selenium爬取excel vba过程解析

目的：基于办公与互联网隔离，自带的office软件没有带本地帮助工具，因此在写vba程序时比较不方便(后来发现07有自带，心中吐血，瞎折腾些什么）。所以想到通过爬虫在官方摘录下来作为参考。目标网站：https://docs.microsoft.com/zh-cn/office/vba/api/overview/所使工具:python3.7,requests、selenium库前端方面：使用了jquery、jstree(用于方便的制作无限层级菜单设计思路：1、分析目标页面，可分出两部分，左边时导航，右边是内... 继续阅读 >
2020
10-09

python爬虫使用requests发送post请求示例详解

简介HTTP协议规定post提交的数据必须放在消息主体中，但是协议并没有规定必须使用什么编码方式。服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码，再对消息主体进行解析。具体的编码方式包括：application/x-www-form-urlencoded最常见post提交数据的方式，以form表单形式提交数据。application/json以json串提交数据。multipart/form-data一般使用来上传文件。一、以form表单发送post... 继续阅读 >
2020
10-08

使用PyCharm安装pytest及requests的问题

使用PyCharm安装pytest及requests的问题 电脑环境：windows764位   python3.7问题：在PyCharm中，使用setting下的projectInterpreter安装pytest以及requests失败解决方法：（亲测有效）1、打开Gitbash，定位到python的安装目录：我的安装目录是D:\pythonAnZhuang\Python37\Scripts2、输入：pipinstallrequests，等待安装完成3、输入：pipinstallpytest，等待安装完成4、检测是否安装成功的方法：  第一种：piplist  可... 继续阅读 >
2020
10-08

Python requests及aiohttp速度对比代码实例

环境：centos7python3.6测试网址：www.bai.com测试方式：抓取百度100次结果：aio:10.702147483825684srequests:12.404678583145142s异步框架的速度还是有显著提升的。下面贡献代码：importaiohttpimporttimeimportrequestsimportasynciodeftest_requests():"""测试requessts请求百度100次时间"""start=time.time()url="https://www.baidu.com"foriinrange(100):requests.get(url)end=time.tim... 继续阅读 >
2020
09-28

python中urllib.request和requests的使用及区别详解

urllib.request我们都知道，urlopen()方法能发起最基本对的请求发起，但仅仅这些在我们的实际应用中一般都是不够的，可能我们需要加入headers之类的参数,那需要用功能更为强大的Request类来构建了在不需要任何其他参数配置的时候，可直接通过urlopen()方法来发起一个简单的web请求发起一个简单的请求importurllib.requesturl='https://www.douban.com'webPage=urllib.request.urlopen(url)print(webPage)data=webPage.read()print... 继续阅读 >
2020
09-28

构建高效的python requests长连接池详解

前文：最近在搞全网的CDN刷新系统，在性能调优时遇到了requests长连接的一个问题，以前关注过长连接太多造成浪费的问题，但因为系统都是分布式扩展的，针对这种各别问题就懒得改动了。现在开发的缓存刷新系统，对于性能还是有些敏感的，我后面会给出最优的http长连接池构建方式。老生常谈：python下的httpclient库哪个最好用？我想大多数人还是会选择requests库的。原因么？也就是简单，易用！如何蛋疼的构建reqeusts的短连接请... 继续阅读 >
2020
09-28

python:解析requests返回的response(json格式)说明

我就废话不多说了，大家还是直接看代码吧！importrequests,jsonr=requests.get('http://192.168.207.160:9000/api/qualitygates/project_status?projectId=%s'%(p_uuid))state=json.loads(r.text).get('projectStatus').get('status')返回如下：{"projectStatus":{"status":"ERROR","conditions":[{"status":"ERROR","metricKey":"new_security_rating","comparator":"GT","periodIndex":1,... 继续阅读 >
2020
09-28

python requests response值判断方式

这段时间在技术上没太多的思考的，只是碰到几个虾米小问题。往往问题不大，也会致使你花心思去排解。今遇到一个reqeusts返回值的一个问题，花了不短时间调，后来发现是reqeusts返回的对象也含有魔法函数处理。我这边的业务是cdn的刷新预缓存，对于该项目来说httpcode200,2xx,404都是友好的。#jb51.netimportrequestsr=Nonetry:r=requests.get("https://jb51.net")except:passifr:print"ok"为什么没有输出ok... 继续阅读 >
2020
09-27

Python requests模块cookie实例解析

cookie并不陌生，与session一样，能够让http请求前后保持状态。与session不同之处，在于cookie数据仅保存于客户端。requests也提供了相应到方法去处理cookie。在pythonrequests模块-session中，我们知道了requests中的session对象能够在请求之间保持cookie，它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时，可以如下面示例一样操作。importrequestss=requests.session()#第一步：发送一个请求，用于设置请... 继续阅读 >
2020
09-24

使用Python开发个京东上抢口罩的小实例（仅作技术研究学习使用）

全国抗”疫”这么久终于见到曙光，在家待了将近一个月，现在终于可以去上班了，可是却发现出门必备的口罩却一直买不到。最近看到京东上每天都会有口罩的秒杀活动，试了几次却怎么也抢不到，到了抢购的时间，浏览器的页面根本就刷新不出来，等刷出来秒杀也结束了。现在每天只放出一万个，却有几百万人在抢，很想知道别人是怎么抢到的，于是就在网上找了大神公开出来的抢购代码。看了下代码并不复杂，现在我们就报着学习的态度一起看... 继续阅读 >
2020
09-24

Python使用requests xpath 并开启多线程爬取西刺代理ip实例

我就废话不多说啦，大家还是直接看代码吧！importrequests,randomfromlxmlimportetreeimportthreadingimporttimeangents=["Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;AcooBrowser;.NETCLR1.1.4322;.NETCLR2.0.50727)","Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;AcooBrowser;SLCC1;.NETCLR2.0.50727;MediaCenterPC5.0;.NETCLR3.0.04506)","Mozilla/4.0(compatible;M... 继续阅读 >
2020
09-24

python3 xpath和requests应用详解

python3 xpath和requests应用详解 根据一个爬取豆瓣电影排名的小应用，来简单使用etree和request库。etree使用xpath语法。importrequestsimportsslfromlxmlimportetreessl._create_default_https_context=ssl._create_unverified_contextsession=requests.Session()foridinrange(0,251,25):URL='https://movie.douban.com/top250/?start='+str(id)req=session.get(URL)#设置网页编码格式req.encoding='utf8'#将request.content转... 继续阅读 >