分类：requests

2022
05-27

手把手带你用python爬取小姐姐私房照

手把手带你用python爬取小姐姐私房照 目录如何用Python搞到小姐姐私房照目标站点开发环境效果预览正式教程一、第三方库安装二、爬虫的基本套路分析目标站点请求网站获取数据解析数据保存数据写在最后如何用Python搞到小姐姐私房照本文纯技术角度出发，教你如何用Python爬虫获取百度图库海量照片——技术无罪。学会获取小姐姐私房照同理可得也能获取其他的照片，技术原理是一致的。目标站点百度图片使用关键字搜索小姐姐私房照https://image.baidu.com/开发环境系... 继续阅读 >
2021
07-22

Python中requests做接口测试的方法

Python中requests做接口测试的方法 目录一、介绍二、前提三、get的请求3.1GET无参请求3.2GET传参四、post请求五、Requests响应六、Request扩充七、requests+pytest+allure7.1流程如下7.2模块总览7.3读取csv文件流程7.4读取excle文件流程一、介绍Requests是一个很实用的PythonHTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到，Requests是Python语言的第三方的库，专门用于发送HTTP请求二、前提pipinstallrequests三、get的请求3.1GET无参请求r=... 继续阅读 >
2021
06-04

python中requests库+xpath+lxml简单使用

python中requests库+xpath+lxml简单使用 python的requests它是python的一个第三方库，处理URL比urllib这个库要方便的多，并且功能也很丰富。【可以先看4，5表格形式的说明，再看前面的】安装直接用pip安装，anconda是自带这个库的。pipinstallrequests简单使用requests的文档1.简单访问一个url：importrequestsurl='http://www.baidu.com'res=requests.get(url)res.textres.status_code<!DOCTYPEhtml><!--STATUSOK--><html><head><metahttp-equiv=content-typec... 继续阅读 >
2021
05-29

python3 requests 各种发送方式详解

python3 requests 各种发送方式详解 大凡人世间的痛苦，多是因放不下有时候我常想，痛苦，该是时光刮给生命的一场飓风吧生活，本就是以这样一种特别的方式，掀起遮盖的一切，让你看到人生的真相。一、什么是requests，怎么安装requests是python的一个模拟发送请求的库,基本上调用别人接口的时候，这个是现在主流安装的话直接pip就行了pipinstallrequests二、requests模块的使用我们通常进行请求之前都会先去postman上面去模拟一遍，看是否请求的通，然后再进行... 继续阅读 >
2021
05-20

python爬虫之利用Selenium+Requests爬取拉勾网

python爬虫之利用Selenium+Requests爬取拉勾网 一、前言利用selenium+requests访问页面爬取拉勾网招聘信息二、分析url观察页面可知，页面数据属于动态加载所以现在我们通过抓包工具，获取数据包观察其url和参数url="https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false"参数：city=%E5%8C%97%E4%BA%AC==》城市first=true==》无用pn=1==》页数kd=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90==》商品关键词所以我们要想实现全站爬取，需... 继续阅读 >
2021
05-02

Python requests timeout的设置

背景最近在搞爬虫，很多小组件里面都使用了Python的requests库，很好用，很强大。但最近发现很多任务总是莫名其妙的卡住，不报错，但是就是不继续执行。排查了一圈，最后把问题锁定在requests的timeout机制上。注：本文讨论的是Python的第三方模块requests，并不是Python内建模块urllib中的request模块，请注意区分。如何设置超时时间requests设置超时时间有两种方式。一种是设置单一值作为timeout，如下所示：... 继续阅读 >
2021
05-02

python+requests+pytest接口自动化的实现示例

1、发送get请求#导包importrequests#定义一个urlurl="http://xxxxxxx"#传递参数payload="{\"head\":{\"accessToken\":\"\",\"lastnotice\":0,\"msgid\":\"\"},\"body\":{\"user_name\":\"super_admin\",\"password\":\"b50c34503a97e7d0d44c38f72d2e91ad\",\"role_type\":1}}"headers={'Content-Type':'text/plain','Cookie':'akpsysessionid=bafc0ad457d5a99f3a4e53a1d4b32519'}#发送get请求r=requests.get(url=url... 继续阅读 >
2021
03-30

详解python requests中的post请求的参数问题

详解python requests中的post请求的参数问题 问题：最新在爬取某站点的时候，发现在post请求当中，参数构造正确却获取不到数据，索性将post的参数urlencode之后放到post请求的url后面变成get请求，结果成功获取到数据，对此展开疑问。1.http请求中FormData和RequestPlayload的区别： Ajaxpost请求中常用的两种参数形式：formdata和requestpayload get请求的时候，我们的参数直接反映在url里面，为key1=value1&key2=value2形式，如果是post请求，那么表单参... 继续阅读 >
2021
03-12

python requests完成接口文件上传的案例

python requests完成接口文件上传的案例 最近在准备一个公开课，主题就是利用不同的语言和不同的工具去实现文件的上传和下载。在利用Jmeter去实现功能的时候，以及利用loadrunner去写脚本的时候，都很顺利，没有任何问题，当我尝试用Python去解决这个问题的时候，花了一些时间。这也让我在学习和尝试中，找到了很多乐趣，下面给大家分享下，如何去实现操作。前提：1：有一个上传接口，地址如下：http://xx.xx.xx.xx//upload/stream(公司的服务，地址不便外发~有兴趣的同志... 继续阅读 >
2021
02-21

python爬取豆瓣电影排行榜(requests)的示例代码

python爬取豆瓣电影排行榜(requests)的示例代码 ''' 爬取豆瓣电影排行榜 设计思路：      1、先获取电影类型的名字以及特有的编号      2、将编号向ajax发送get请求获取想要的数据      3、将数据存放进excel表格中'''环境部署：软件安装：Python3.7.6官网地址：https://www.python.org/安装地址：https://www.python.org/ftp/python/3.7.6/python-3.7.6-amd64.exeP... 继续阅读 >
2021
02-21

requests在python中发送请求的实例讲解

当我们想给服务器发送一些请求时，可以选择requests库来实现。相较于其它库而言，这种库的使用还是非常适合新手使用的。本篇要讲的是requests.get请求方法，这里需要先对get请求时的一些参数进行学习，在掌握了基本的用法后，可以就下面的requests.get请求实例进一步的探究。1、get请求的部分参数（1）url（请求的url地址，必需）importrequestsurl="http://www.baidu.com"resp=requests.get(url)#向url对应的服务器发送相应的g... 继续阅读 >
2021
02-21

python 实现Requests发送带cookies的请求

一、缘起最近学习【悠悠课堂】的接口自动化教程，文中提到Requests发送带cookies请求的方法，笔者随之也将其用于手头实际项目中，大致如下二、背景实际需求是监控平台侧下发消息有无异常，如有异常便触发报警推送邮件，项目中下发消息接口需要带cookies三、说明脚本的工程名为ynJxhdSendMsg，大致结构如下图sendMsg.py为主程序，函数checkMsg为在已发消息列表中查找已下发消息，函数sendMsg为发消息并根据结果返回对应的标识... 继续阅读 >
2020
12-24

Python+unittest+requests+excel实现接口自动化测试框架

Python+unittest+requests+excel实现接口自动化测试框架 环境：python3+unittest+requestsExcel管理测试用例，HTMLTestRunner生成测试报告测试完成后邮件发送测试报告jsonpath方式做预期结果数据处理，后期多样化处理后期扩展，CI持续集成发送邮件效果：项目整体结构：common模块代码classIsInstance:defget_instance(self,value,check):flag=Noneifisinstance(value,str):ifcheck==value:flag=Trueelse:flag=False... 继续阅读 >
2020
11-06

Python requests HTTP验证登录实现流程

Python requests HTTP验证登录实现流程 1、场景1）用户输入完网址后，浏览器直接弹出需要输入用户名/密码PS：此时输入用户名密码即可登录，或者直接带着用户名密码访问网站。假设url为http://xxx.yyy.zzz用户名为admin密码为123456则访问的网址应该为http://admin:123456@xxx.yyy.zzz【http://username:password@url】直接访问改网址即可2）利用requests.get(url)返回状态码为401#-*-encoding=utf-8-*-importrequestsif__name__=='__main__':url='http://xxxx... 继续阅读 >
2020
10-10

浅析Python requests 模块

Pythonrequests模块requests模块是我们使用的python爬虫模块可以完成市场进80%的爬虫需求。安装pipinstallrequests使用requests模块代码编写的流程：-指定url-发起请求-获取响应对象中的数据-持久化存储-------------案例-------------------------importrequests#指定urlurl="https://www.sogou.com/"#发起请求response=requests.get(url)#获取响应对象中的数据page_text=response.text#持久化... 继续阅读 >
2020
10-10

Python+unittest+requests 接口自动化测试框架搭建教程

Python+unittest+requests 接口自动化测试框架搭建教程 一、Python+unittest+requests+HTMLTestRunner完整的接口自动化测试框架搭建_00——框架结构简解 首先配置好开发环境，下载安装Python并下载安装pycharm，在pycharm中创建项目功能目录。如果不会的可以百度Google一下，该内容网上的讲解还是比较多比较全的！大家可以先简单了解下该项目的目录结构介绍，后面会针对每个文件有详细注解和代码。common：——configDb.py：这个文件主要编写数据库连接池的相关内容，本项目暂未考... 继续阅读 >