分类：Python

2020
09-28

python多进程使用函数封装实例

我就废话不多说了，直接看代码吧！importmultiprocessingasmpfrommultiprocessingimportProcessclassMyProcess(Process):"""自定义多进程，继承自原生Process,目的是获取多进程结果到queue"""def__init__(self,func,args,q):super(MyProcess,self).__init__()self.func=funcself.args=argsself.res=''self.q=q#self._daemonic=True#self._daemonic=Truedefrun(se... 继续阅读 >
2020
09-28

Python中使用filter过滤列表的一个小技巧分享

Python中使用filter过滤列表的一个小技巧分享 有的时候使用dir(Module)，可以查看里面的方法，但是模块自带的属性"__"开头的也会显示，如下:>>>importrandom>>>dir(random)['BPF','LOG4','NV_MAGICCONST','RECIP_BPF','Random','SG_MAGICCONST','SystemRandom','TWOPI','WichmannHill','_BuiltinMethodType','_MethodType','__all__','__builtins__','__doc__','__file__','__name__','__package__','_acos','_ceil','_cos','_e','_exp','_hashlib',... 继续阅读 >
2020
09-28

python同时遍历两个list用法说明

前言需求是将两个list同时进行遍历，然后同步的将每个元素add到一个dict中，虽然有麻烦的方式，比如直接用list的数组下标可以实现，但是一点也不pythonic,于是想到了zip内置函数。记录下写法~正文废话不多说直接上代码：dict_1={}list_1=['a','b','c']list_2=['1','2','3']"""zip打包用法,同时遍历两个list"""forsymbol,digitinzip(list_1,list_2):dict_1[symbol]=digit最终就是同步的将list1、2进行遍历，... 继续阅读 >
2020
09-28

python多线程实现同时执行两个while循环的操作

python多线程实现同时执行两个while循环的操作 如果想同时执行两个whileTrue循环，可以使用多线程threading来实现。完整代码#coding=gbkfromtimeimportsleep,ctimeimportthreadingdefmuisc(func):whileTrue:print'Startplaying：%s!%s'%(func,ctime())sleep(2)defmove(func):whileTrue:print'Startplaying：%s!%s'%(func,ctime())sleep(5)defplayer(name):r=name.split('.')[1]ifr=='mp3':muisc(name)else:ifr... 继续阅读 >
2020
09-28

Python中使用threading.Event协调线程的运行详解

threading.Event机制类似于一个线程向其它多个线程发号施令的模式，其它线程都会持有一个threading.Event的对象，这些线程都会等待这个事件的“发生”，如果此事件一直不发生，那么这些线程将会阻塞，直至事件的“发生”。对此，我们可以考虑一种应用场景（仅仅作为说明），例如，我们有多个线程从Redis队列中读取数据来处理，这些线程都要尝试去连接Redis的服务，一般情况下，如果Redis连接不成功，在各个线程的代码中，都会去尝... 继续阅读 >
2020
09-28

python继承threading.Thread实现有返回值的子类实例

继承与threading.Thread实现有返回值的子类MyThread，废话不多说，大家直接看代码importthreadingclassMyThread(threading.Thread):def__init__(self,func,args=()):super(MyThread,self).__init__()self.func=funcself.args=argsdefrun(self):self.res=self.func(*self.args)defgetResult(self):try:returnself.resexceptException:returnNone补充知识：python3多线程... 继续阅读 >
2020
09-28

浅谈Python中threading join和setDaemon用法及区别说明

Python多线程编程时，经常会用到join()和setDaemon()方法，今天特地研究了一下两者的区别。1、join()方法：主线程A中，创建了子线程B，并且在主线程A中调用了B.join()，那么，主线程A会在调用的地方等待，直到子线程B完成操作后，才可以接着往下执行，那么在调用这个线程时可以使用被调用线程的join方法。原型：join([timeout])里面的参数时可选的，代表线程运行的最大时间，即如果超过这个时间，不管这个此线程有没有执行完毕都... 继续阅读 >
2020
09-28

python中threading开启关闭线程操作

在python中启动和关闭线程：首先导入threadingimportthreading然后定义一个方法defserial_read():......然后定义线程，target指向要执行的方法myThread=threading.Thread(target=serial_read)启动它myThread.start()二、停止线程不多说了直接上代码importinspectimportctypesdef_async_raise(tid,exctype):"""raisestheexception,performscleanupifneeded"""tid=ctypes.c_long(tid)ifnotinspect.isclass(e... 继续阅读 >
2020
09-28

构建高效的python requests长连接池详解

前文：最近在搞全网的CDN刷新系统，在性能调优时遇到了requests长连接的一个问题，以前关注过长连接太多造成浪费的问题，但因为系统都是分布式扩展的，针对这种各别问题就懒得改动了。现在开发的缓存刷新系统，对于性能还是有些敏感的，我后面会给出最优的http长连接池构建方式。老生常谈：python下的httpclient库哪个最好用？我想大多数人还是会选择requests库的。原因么？也就是简单，易用！如何蛋疼的构建reqeusts的短连接请... 继续阅读 >
2020
09-28

如何基于windows实现python定时爬虫

如何基于windows实现python定时爬虫 Windows系统下使用任务计划程序，Linux下可以使用crontab命令添加自启动计划。这里写Windows10/windowsServer2016系统的设置方法。首先编写一个.bat脚本。新建一个txt，将下面三行代码复制进去，main.py改成自己程序名字。保存为.bat文件，放在对应的.py文件同一目录。这时候点击.bat文件即可执行py文件。然后我们将.bat脚本设置自启动。@echooffstartpythonmain.py%*exit按下图点开任务计划程序。... 继续阅读 >
2020
09-28

如何基于python实现不邻接植花

有N个花园，按从1到N标记。在每个花园中，你打算种下四种花之一。paths[i]=[x,y]描述了花园x到花园y的双向路径。另外，没有花园有3条以上的路径可以进入或者离开。你需要为每个花园选择一种花，使得通过路径相连的任何两个花园中的花的种类互不相同。以数组形式返回选择的方案作为答案answer，其中answer[i]为在第(i+1)个花园中种植的花的种类。花的种类用1,2,3,4表示。保证存在答案。示例1：输入：N=... 继续阅读 >
2020
09-28

Python接口测试结果集实现封装比较

Python接口测试结果集实现封装比较 引言接口测试执行完后，我们需要进行断言，断言的主要目的是用代码来判断实际结果和预期结果是否一致，这跟手工测试中用肉眼去判断是一样的思路。既然这样，我们可以将已知的预期结果和未知的实际结果简单的封装成一个类，然后写一个比较的函数来判断，最后得到结果。知识点预热在讲代码之前，先了解一下python的运算符is和==。可能有些人经常用，但是却不知道是什么意思，知其然而不知其所以然。python对象包括三个基本要... 继续阅读 >
2020
09-28

解决python虚拟环境切换无效的问题

解决python虚拟环境切换无效的问题 使用pycharm创建新项目，使用虚拟环境，但是进入到项目的cainiao_guoguo_health\venv\Scripts目录启动虚拟环境后，安装第三方库，却还是安装到其他环境中去了，检查activate文件后，发现文件中的虚拟环境地址不对原来是新建项目时项目名叫“菜鸟裹裹健康度”，后来修改为英文“cainiao_guoguo_health”，但是创建虚拟环境时用的的中文的名称，所以启动时找不到该虚拟环境，肯定启动不起来补充知识：pip:failedtocreateprocess.... 继续阅读 >
2020
09-28

python爬虫实现POST request payload形式的请求

python爬虫实现POST request payload形式的请求 1.背景最近在爬取某个站点时，发现在POST数据时，使用的数据格式是requestpayload，有别于之前常见的POST数据格式（Formdata）。而使用Formdata数据的提交方式时，无法提交成功。1.1.Http请求中FormData和RequestPayload的区别AJAXPost请求中常用的两种传参数的形式：formdata和requestpayload1.1.1.Formdataget请求的时候，我们的参数直接反映在url里面，形式为key1=value1&key2=value2形式，比如：http://news.... 继续阅读 >
2020
09-28

Python爬虫:Request Payload和Form Data的简单区别说明

RequestPayload和FormData请求头上的参数差别在于：Content-TypeFormDataPost表单请求代码示例headers={"Content-Type":"application/x-www-form-urlencoded"}requests.post(url,data=data,headers=headers)RequestPayload传递json数据headers={"Content-Type":"application/json"}requests.post(url,data=json.dumps(data),headers=headers)Scrapy的FormRequest只支持FormData表单提交，源码固定为前者补... 继续阅读 >