分类：python

2020
09-29

基于python实现地址和经纬度转换

中文领域：指的是提取境内地址的经纬度，的主要调用的是百度API。中间经历了一些波折，刚开始直接使用网上代码debug半天都不行，才发现要随时跟进官方改动，使用别人的API一定要看说明书啊！首先需要从百度地图平台上注册一个AK（在这之前要注册百度的开发者身份，免费），进入其地理编码网址：http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding页面：由于我们是要从地址转换经纬度，因此看地理编码... 继续阅读 >

2020
09-29

Python的Django框架实现数据库查询(不返回QuerySet的方法)

一、创建模型类：#-*-coding:utf-8-*-from__future__importunicode_literalsfromdjango.dbimportmodelsclassCourse(models.Model):"""课程表"""name=models.CharField(verbose_name='课程名称',max_length=255)description=models.TextField(verbose_name='课程描述信息',null=True)price=models.DecimalField(verbose_name=u'课程价格',max_digits=15,decimal_places=2,default=0.0)deleted=models.... 继续阅读 >

2020
09-29

python 数据分析实现长宽格式的转换

我就废话不多说了，大家还是直接看代码吧！#encoding=utf-8importnumpyasnpimportpandasaspd#长宽格式的转换#1data=pd.read_csv('d:data/macrodata.csv')print'data:=\n',dataprint'data.to_records():=\n',data.to_records()print'data.year:=\n',data.yearprint'data.quarter:=\n',data.quarterperiods=pd.PeriodIndex(year=data.year,quarter=data.quarter,name='date')print'periods:=\n',periodsdat... 继续阅读 >

2020
09-29

如何把外网python虚拟环境迁移到内网

外网python2.7虚拟环境中安装了flask模块，期望在内网使用，如何迁移外网的虚拟环境到内网呢？1进入外网python虚拟环境[root@localhost20200422]#sourcepython27_virtual_env/bin/activate(python27_virtual_env)[root@localhost20200422]#2导入虚拟环境中已安装包的信息到requirements.txt文件中(python27_virtual_env)[root@localhost20200422]#pipfreeze--all>requirements.txt3创建一个临时目录，将安装包下... 继续阅读 >

2020
09-29

python 实现 hive中类似 lateral view explode的功能示例

背景：加入现在有这样的数据，可能一条ocr代表两个label，并且label通过","分隔。我们想把数据转换成下面的。原始数据：labelocr日常行车服务,汽车资讯去加油站，加完油后直接离开？最开心的可能是加油站的工作人员社会民生已致2死20伤！景区突遭尘卷风袭击，孩子被卷上天！现场画面曝光目标数据：labelocr日常行车服务... 继续阅读 >

2020
09-29

Python pandas 列转行操作详解(类似hive中explode方法)

最近在工作上用到Python的pandas库来处理excel文件，遇到列转行的问题。找了一番资料后成功了，记录一下。1.如果需要爆炸的只有一列：df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})dfOut[1]:AB01[1,2]12[1,2]如果要爆炸B这一列，可以直接用explode方法（前提是你的pandas的版本要高于或等于0.25）df.explode('B')AB0111122213222.如果需要爆炸的有2列及以上df=pd.DataFrame({'A':[1,2],'B':[[1,2]... 继续阅读 >

2020
09-29

python异常处理之try finally不报错的原因

因为有把python程序打包成exe的需求，所以，有了如下的代码importtimeclassLoopOver(Exception):def__init__(self,*args,**kwargs):passclassSpider:def__init__(self):super().__init__()defrun(self):raiseLoopOver@propertydeftime(self):return'总共用时：{}秒'.format(self.runtime)if__name__=='__main__':try:spider=Spider()spider.run()print(spider.time)#运... 继续阅读 >

2020
09-29

python中JWT用户认证的实现

在前后端分离开发时为什么需要用户认证呢？原因是由于HTTP协定是不储存状态的(stateless)，这意味着当我们透过帐号密码验证一个使用者时，当下一个request请求时它就把刚刚的资料忘了。于是我们的程序就不知道谁是谁，就要再验证一次。所以为了保证系统安全，我们就需要验证用户否处于登录状态。一、传统方式前后端分离通过RestfulAPI进行数据交互时，如何验证用户的登录信息及权限。在原来的项目中，使用的是最传统也是最简单的... 继续阅读 >

2020
09-29

python 实现读取csv数据,分类求和 再写进 csv

这两天在测试过程中，遇到这样的问题：数据量很大，一份csv文件的数据与另外一个文件的数据进行对比，但是csv中的文件数据量很大，并且进行统计，如果手动单个去对比，会很花时间，吃力不讨好，还容易出错。比如说，这样的数据需要对AskPrice值相同对应的AskQuantity统计出来。直接上脚本：importpandasaspdimportcsvdf=pd.read_csv('D:\test\orderBook.csv')df_sum=df.groupby('AskPrice')['AskQuantity'].sum()df_sum.... 继续阅读 >

2020
09-29

python 实现分组求和与分组累加求和代码

我就废话不多说了，大家还是直接看代码吧！#-*-encoding=utf-8-*-importpandasaspddata=['abc','abc','abc','asc','ase','ase','ase']num=[1,2,2,1,2,1,2]df1=pd.DataFrame({'name':data,'num':num})print(df1)df1['mmm']=df1['num']df2=df1.groupby(['name','num'],as_index=False).count()print(df2)df2.sort_values(['name','num'],ascending=[1,1],inplace=True)print(df2)df2['sum']=df2.groupby(['name'])['mmm'... 继续阅读 >

2020
09-29

python mysql自增字段AUTO_INCREMENT值的修改方式

在之前得文章中我们说过，如果使用delete对数据库中得表进行删除，那么只是把记录删除掉，并且id的值还会保持上次的状态。即删除之前如果有四条数据，删除之后，再添加新的数据，id怎会从5开始。但是我们显示想让id从2开始，应该怎么做呢？这个时候我们就要学习去修改数据表的一些属性值了，而这个属性值就是AUTO_INCREMENT。首先我们要知道怎么查看这个属性的值。例如我建了一张表：createtablet4(idintauto_incrementprimar... 继续阅读 >

2020
09-29

Python读取JSON数据操作实例解析

读写JSON数据问题你想读写JSON(JavaScriptObjectNotation)编码格式的数据。解决方案json模块提供给了一种很简单的方式来编码和解码json数据，其中两个主要的函数时json.dumps()和json.loads()下面演示如何将一个Python数据结构转换为JSON:importjsondata={'name':'ACME','shares':100,'price':542.23}json_str=json.dumps(data)下面演示如何将一个JSON编码的字符串转换回一个Python数据结构：data=json... 继续阅读 >

2020
09-29

python实现人像动漫化的示例代码

利用百度api实现人像动漫化百度API地址：https://ai.baidu.com/tech/imageprocess/selfie_anime技术文档：https://ai.baidu.com/ai-doc/IMAGEPROCESS/Mk4i6olx5注册百度账号，开通实现人像动漫化，创建应用。#encoding:utf-8importrequestsimportbase64#client_id为官网获取的AK，client_secret为官网获取的SKhost='https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【官网获取... 继续阅读 >

2020
09-29

django日志默认打印request请求信息的方法示例

需求请求view中手动打印日志时中插入request的如下信息（每个request请求都记录可以使用中间件进行解决，但这里仅仅是在需要的地方手动打印）：#统一附加日志内容ADD_LOG=r'''{"username":request.user,"path":request.path,"request_id":request.id,"login_id":request.login_id}'''旧的解决办法在每次需要打印日志时，通过loggingextra进行额外的打印信息添加：每次手动添加同样的extra非常的不优雅。新的解决方案d... 继续阅读 >

2020
09-29

python使用for...else跳出双层嵌套循环的方法实例

背景周末在写一个爬虫时，遇到这样一种场景：从搜索结果中下载指定数量的文件例如：搜索结果中共分为10页展示，加起来一共50条数据，现在要做的是从50条数据中下载指定数量的数据为了实现这个功能，开始我是这样想的：1、依次遍历10页数据，并且把每页的数据都追加到同一个列表中，这样的话，请求完10页数据后，这个列表中就包含了所有结果；2、然后再从这个大列表中提取指定数量的数据进行下载即可这种方法确实可行，但是在运行过... 继续阅读 >

2020
09-29

Python Pandas 对列/行进行选择，增加，删除操作

一、列操作1.1选择列d={'one':pd.Series([1,2,3],index=['a','b','c']),'two':pd.Series([1,2,3,4],index=['a','b','c','d'])}df=pd.DataFrame(d)print(df['one'])#选择其中一列进行显示，列长度为最长列的长度#除了index和数据，还会显示列表头名，和数据类型运行结果：a   1.0b   2.0c   3.0d   NaNName:one,dtype:float6... 继续阅读 >