分类：Python

2020
12-04

Python批量删除mysql中千万级大量数据的脚本分享

场景描述线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除吧。具体思路是：... 继续阅读 >
2020
12-03

Python 实现PS滤镜的旋涡特效

实现效果：实现代码importnumpyasnpfromskimageimportimg_as_floatimportmatplotlib.pyplotaspltfromskimageimportioimportmathimportnumpy.matlibfile_name2='D:/2020121173119242.png'#图片路径img=io.imread(file_name2)img=img_as_float(img)row,col,channel=img.shapeimg_out=img*1.0degree=70center_x=(col-1)/2.0center_y=(row-1)/2.0xx=np.arange(col)yy=np.arange(row)x_mask... 继续阅读 >
2020
12-03

Python 实现PS滤镜中的径向模糊特效

实现效果实现代码fromskimageimportimg_as_floatimportmatplotlib.pyplotaspltfromskimageimportioimportnumpyasnpimportnumpy.matlibfile_name='D:/2020121173119242.png'#图片路径img=io.imread(file_name)img=img_as_float(img)img_out=img.copy()row,col,channel=img.shapexx=np.arange(col)yy=np.arange(row)x_mask=numpy.matlib.repmat(xx,row,1)y_mask=numpy.matlib.repmat(yy,col... 继续阅读 >
2020
12-03

python 使用paramiko模块进行封装，远程操作linux主机的示例代码

importtimeimportparamikoclassHandleParamiko:'''定义一个linux处理类'''def__init__(self,hostname,password,port=22,username='root'):'''构造器:paramhostname:主机ip，type：str:parampassword:密码，type：str:paramport:端口，type：int默认22:paramusername:用户名，type：str:return:'''self.t=Noneself.sftp=Noneself.hostname=hostname... 继续阅读 >
2020
12-02

python 使用cycle构造无限循环迭代器

一、引入方式fromitertoolsimportcycle二、使用方法我们先来看看它的源码cycle它接收一个可迭代对象，可以将一个可迭代对象转换为一个可以无限迭代的迭代器源码里我们可以看到它实现了__iter__和__next__的魔术方法，说明它既是可迭代对象也是一个迭代器，我们可以使用for循环和next()方法去操作它我们先来看看以普通的方式去遍历一个列表li=['python','java','c','ruby','php','javascript']foriinli:print(i)打印... 继续阅读 >
2020
12-02

python 使用csv模块读写csv格式文件的示例

importcsvclassHandleCsv:'''csv文件处理类'''def__init__(self,filename):'''构造器:paramfilename:csv文件名'''self.filename=filenamedefget_data(self):'''获取csv中所有数据:return:嵌套字典的列表'''withopen(self.filename,mode='r',encoding='utf-8')asf:cb=csv.reader(f)#实例化reader对象header=next(cb)#获取表头，并将指针转向... 继续阅读 >
2020
12-02

python 发送邮件的四种方法汇总

这里针对smtplib做了一系列封装，可以完成以下四种场景：发送纯文本的邮件发送html页面的邮件发送带附件文件的邮件发送能展示图片的邮件以上四种场景，已经做好了二次封装，经测试OK，使用时直接传入对应参数即可，直接上代码importsmtplibfromemail.mime.textimportMIMETextfromemail.mime.imageimportMIMEImagefromemail.mime.applicationimportMIMEApplicationfromemail.mime.multipartimportMIME... 继续阅读 >
2020
12-02

如何用PyPy让你的Python代码运行得更快

Python是开发人员中最常用的编程语言之一，但它有一定的局限性。例如，对于某些应用程序而言，它的运行速度可能比其它语言低100倍。这就是为什么当Python的运行速度成为用户瓶颈后，许多公司会用另一种语言重写他们的应用程序。但是有没有一种方法既可以保持Python的特性又能提高速度呢？它就是PyPy。PyPy是一种非常兼容的Python解释器，它是CPython2.7、3.6和即将推出的3.7的一种值得替代的方法。在安装和运行应用程序时使用它，... 继续阅读 >
2020
12-02

python 实现波浪滤镜特效

本文用Python实现PS滤镜的波浪特效importnumpyasnpfromskimageimportimg_as_floatimportmatplotlib.pyplotaspltfromskimageimportioimportnumpy.matlibimportmath#图片位置file_name2='D:/VisualEffects/PSAlgorithm/4.jpg'img=io.imread(file_name2)img=img_as_float(img)row,col,channel=img.shapeimg_out=img*1.0alpha=70.0beta=30.0degree=20.0center_x=(col-1)/2.0center_y=(row-1)... 继续阅读 >
2020
12-02

python 如何对logging日志封装

作者：做梦的人（小姐姐）出处：https://www.cnblogs.com/chongyou/因为最近在做平台，发现有同事，使用django封装了日志模块，看样子很简单，准备自己单独做了一个日志封装模板，对于python不熟练的我，封装部分参考了多个博主的内容，形成自己的日志模块，内容如下：封装部分创建一个logutil2的py文件#!/usr/bin/envpython#-*-coding:utf-8-*-#@Author:zhangjun#@Date :2018/7/269:20#@Desc :Descriptio... 继续阅读 >
2020
12-02

python使用yaml 管理selenium元素的示例

作者：做梦的人（小姐姐）出处：https://www.cnblogs.com/chongyou/1.所有元素都在PageElement下的.yaml,如图login_page.yaml文件：username:  dec:登录页  type:xpath  value://input[@class='custom-text']password:  dec:密码输入框  type:xpath  value://input[@class='custom-textpassword'] loginbtn:  dec:登录按钮  type:... 继续阅读 >
2020
12-02

python 读取yaml文件的两种方法(在unittest中使用)

作者：做梦的人（小姐姐）出处：https://www.cnblogs.com/chongyou/python读取yaml文件使用，有两种方式：1.使用ddt读取2,使用方法读取ddt的内容，在使用方法中进行调用1.使用ddt读取@ddt.ddtclassloginTestPage(unittest.TestCase):    @ddt.file_data(path)    @ddt.unpack    deftestlogin(self,**kwargs):        u''... 继续阅读 >
2020
12-02

Python用摘要算法生成token及检验token的示例代码

#基础版，不依赖环境importtimeimportbase64importhashlibclassToken_hander():def__init__(self,out_time):self.out_time=out_timeself.time=self.timerpassdeftimer(self):returntime.time()defhax(self,str):"""摘要算法加密:paramstr:待加密字符串:return:加密后的字符串"""ifnotisinstance(str,bytes):#如果传入不是bytes类型，则转为bytes类型try:... 继续阅读 >
2020
12-02

python录音并调用百度语音识别接口的示例

#！/usr/bin/envpythonimportrequestsimportjsonimportbase64importpyaudioimportwaveimportosimportpsutil#首先配置必要的信息defbat(voice_path):baidu_server='https://aip.baidubce.com/oauth/2.0/token?'grant_type='client_credentials'client_id='uj70rS1LiwZ9sQDvMSUqKsie'#APIKEYclient_secret='Q88eav41PzeNLczZ3hlRjhR8e4WShXwD'#SecretKEY这里可以自己去百度注册，这里是我的APIK... 继续阅读 >
2020
12-02

Python爬虫简单运用爬取代理IP的实现

Python爬虫简单运用爬取代理IP的实现 功能1：爬取西拉ip代理官网上的代理ip环境：python3.8+pycharm库：requests，lxml浏览器：谷歌IP地址：http://www.xiladaili.com/gaoni/分析网页源码：选中div元素后右键找到Copy再深入子菜单找到CopyXpath点击一下就复制到XPath我们复制下来的Xpth内容为：/html/body/div/div[3]/div[2]/table/tbody/tr[50]/td[1]虽然可以查出来ip，但不利于程序自动爬取所有IP，利用谷歌XpathHelp测试一下从上图可以看出，只匹配到了一个Ip，我... 继续阅读 >