分类：Python

2020
10-06

win10下python3.8的PIL库安装过程

1.找到Python的位置我的是在C:\Users\admin\AppData\Local\Programs\Python\Python38AppData这个文件是个隐藏文件需要查询得先把隐藏文件显示出来win10里面在Microsoftstore下载的Python我只找到了exe文件，所以就卸载然后重新下载过。去官网下载的时候下载速度极其慢，可以去这下：https://python123.io/download2.PIL库的安装PIL库：具有强大的图像处理能力在上面找到的位置，打开终端，然后输入pipinstallpillow然后等待安... 继续阅读 >

2020
10-06

python rolling regression. 使用 Python 实现滚动回归操作

滚动回归所谓滚动回归，通常用在时间序列上。记当前时刻为t，回归时长为s，则一直使用当作自变量来预测。使用滚动回归的目的通常是为了避免未来函数对于回归的影响。具体来说，如果我们直接用所有数据来建立线性回归模型，则回归系数，是关于所有x与所有y的函数。然而，我们在时是不知道未来的数据点的！如果使用全部数据进行回归则相当于未卜先知，会造成严重的过拟合。Python实现之前python的pandas与statsmodels... 继续阅读 >

2020
10-06

Python selenium爬虫实现定时任务过程解析

现在需要启动一个selenium的爬虫，使用火狐驱动+多线程，大家都明白的，现在电脑管家显示CPU占用率20%，启动selenium后不停的开启浏览器+多线程，好，没过5分钟，CPU占用率直接拉到90%+，电脑卡到飞起，定时程序虽然还在运行，但是已经类似于待机状态，是不是突然感觉到面对电脑卡死，第一反应：卧槽，这个lj电脑，这么程序都跑不起来，我还写这么多代码，*****！！是吧，接下来上代码，具体功能，请自信查阅相关资料深造：fromda... 继续阅读 >

2020
10-06

python:HDF和CSV存储优劣对比分析

小数据用csv，大数据用h5结论1：几百KB以上的数据都用h5比较好结论2：几KB的数据h5反而很慢程序importpandasaspdimportnumpyasnpfromwja.wja_toolimporttest_timeasttfromwjaimportwja_toolastooldf=tool.generate_sampleDF(row,col)tt().run()df.to_csv('try.csv')tt().end()tt().run()df.to_hdf('try.h5','df',mode='w')tt().end()tt().run()df1=pd.read_csv('try.csv')tt().end()tt().run()df2=pd.read... 继续阅读 >

2020
10-06

Python实现一个简单的毕业生信息管理系统的示例代码

写在前面：从昨晚的梦里回忆起数据管理的作业：实现一个自己的选题----毕业生信息管理系统，实现学生个人信息基本的增删改查，我想了想前段时间刚学习的列表，这个简单啊，设计一个学生信息列表，然后列表里面再存每个学生详细信息的列表，然后来实现一个基本的增删查改，这个不难啊！直接开始撸代码！上代码！defMenu():##菜单主界面print('*'*22)print("*查看毕业生列表输入:1*")print("*添加毕业生信息输入:2*")... 继续阅读 >

2020
10-06

Python while true实现爬虫定时任务

记得以前的windows任务定时是可以的正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。接下来记录下python爬虫定时任务的几种解决方法。今天是第一篇，后面会陆续更新。首先最容易的是whiletrue死循环挂起，上代码importosimporttimeimportsysfromdatetimeimportdatetime,timedeltadefOne_Plan():#设置启动周期Second_update_time=24*60*60#当前时间now_Time=datetime.now()#... 继续阅读 >

2020
10-06

python 实现rolling和apply函数的向下取值操作

我就废话不多说了，大家还是直接看代码吧！importpandasaspddefget_under_rolling(df,window,user,name):df[name]=df[user].iloc[::-1].rolling(window=window).apply(lambdax:x[0]).iloc[::-1]returndfif__name__=='__main__':df=pd.DataFrame({'a':[1,2,3,4,5],'b':[2,3,4,5,6]})#把b列向下取值作为新的c列df=get_under_rolling(df,window=3,user='b',name='c')原始df新的df补充知识：pyt... 继续阅读 >

2020
10-06

基于python计算滚动方差(标准差)talib和pd.rolling函数差异详解

我就废话不多说了，大家还是直接看代码吧！#-*-coding:utf-8-*-"""CreatedonThuApr1211:23:462018@author:henbile"""#计算滚动波动率可以使用专门做技术分析的talib包里面的函数，也可以使用pandas包里面的滚动函数。#但是两个函数对于分母的选择，就是使用N还是N-1作为分母这件事情上是有分歧的。#另一个差异在于：talib包计算基于numpy，而pd.rolling是基于Series或者DataFrame的。importpandasaspdimportnumpy... 继续阅读 >

2020
10-06

Python实现查找数据库最接近的数据

这是我的数据库student，好比输入一个值为32，查询id最接近32的整行数据，可以用以下代码importpymysqlvalue=32conn=pymysql.connect(host='39.106.168.84',user='xxxxxxx',password='xxxxxxx',port=3306,db='flask_topvj_net')cur=conn.cursor()sql="select*from`student`orderbyabs(`id`-'%s')limit1"%(value)cur.execute(sql)u=cur.fetchall()print(u)conn.close()运行结果为以上就是本文的全... 继续阅读 >

2020
10-06

python numpy库np.percentile用法说明

在python中计算一个多维数组的任意百分比分位数，此处的百分位是从小到大排列，只需用np.percentile即可……a=range(1,101)#求取a数列第90%分位的数值np.percentile(a,90)Out[5]:90.10000000000001a=range(101,1,-1)#百分位是从小到大排列np.percentile(a,90)Out[7]:91.10000000000001详看官方文档numpy.percentileParameters----------a:np数组q:floatinrangeof[0,100](orsequenceoffloats)Percentilet... 继续阅读 >

2020
10-06

python thrift 实现 单端口多服务的过程

Thrift是一种接口描述语言和二进制通信协议。以前也没接触过，最近有个项目需要建立自动化测试，这个项目之间的微服务都是通过Thrift进行通信的，然后写自动化脚本之前研究了一下。需要定义一个xxx.thrift的文件，来生成各种语言的代码，生成之后我们的服务提供者和消费者，都需要把代码引入，服务端把代码实现，消费者直接使用API的存根，直接调用。和http相比，同属于应用层，走tcp协议。Thrift优势在于发送同... 继续阅读 >

2020
10-06

Python astype(np.float)函数使用方法解析

我的数据库如图结构我取了其中的nameagenr，做成array，只要所取数据存在str型，那么取出的数据，全部转化为str型，也就是array阵列的元素全是str，不管数据库定义的是不是int型。那么问题来了，取出的数据代入公式进行计算的时候，就会类型不符，这是就用到astype(np.float)代码如下importpymysqlimportnumpyasnpconn=pymysql.connect(host='39.106.168.84',user='xxxxxx',password='xxxxxx',port=3306,db... 继续阅读 >

2020
10-06

python opencv 实现读取、显示、写入图像的方法

opencv是一个强大的图像处理和计算机视觉库，实现了很多实用算法，值得学习和深究下。opencv包安装·这里直接安装opencv-python包（非官方）：pipinstallopencv-python官方文档：https://opencv-python-tutroals.readthedocs.io/en/latest/1、读取图像importcv2image=cv2.imread("dog2.jpg",1)说明：第二个参数是一个标志，它指定了读取图像的方式。cv.IMREAD_COLOR：加载彩色图像。任何图像的透明度都会被忽视... 继续阅读 >

2020
10-06

python:删除离群值操作(每一行为一类数据)

删除有多行字符串的json文件中的离群值defprocessHold(eachsubject,directory,newfile):filename='CMUDataCol/Hold/subject{0}.json'.format(eachsubject)#原文件withopen(filename,'r')asf:forjsonstrinf.readlines():#按行读取原文件#这里的情况是每一行为一类数值，该行内的数据相互比较找出是否有离群值#若存在离群值，则删除该行数据data=json.loads(jsonstr)#计算四分位点a=numpy... 继续阅读 >

2020
10-06

python numpy实现rolling滚动案例

相比较pandas，numpy并没有很直接的rolling方法，但是numpy有一个技巧可以让NumPy在C代码内部执行这种循环。这是通过添加一个与窗口大小相同的额外尺寸和适当的步幅来实现的。importnumpyasnpdata=np.arange(20)defrolling_window(a,window):shape=a.shape[:-1]+(a.shape[-1]-window+1,window)strides=a.strides+(a.strides[-1],)returnnp.lib.stride_tricks.as_strided(a,shape=shape,strides=stri... 继续阅读 >

2020
10-06

Python如何向SQLServer存储二进制图片

需求是需要用python往SqlServer中的image类型字段中插入二进制图片核心代码，研究好几个小时的代码：安装pywin32，adodbapiimage_url="图片链接"try:image_result=session.get(url=image_url,headers=headers,stream=True)except:image_result=session.get(url=image_url,headers=headers,stream=True)local_filename=md5(image_url)+".png"print"图片下载成功"withopen(local_filename,'wb')asf:forch... 继续阅读 >