分类：python

2020
10-06

完美解决python针对hdfs上传和下载的问题

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnectionobjectat0x7fe87cc37c50>:Failedtoestablishanewconnection:[Errno-2]Nameorservicenotknown其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中修改/etc/hosts文件，将各个集群节点ip映射加上即可，如博主所示vim... 继续阅读 >

2020
10-06

python读取hdfs并返回dataframe教程

不多说，直接上代码fromhdfsimportClientimportpandasaspdHDFSHOST="http://xxx:50070"FILENAME="/tmp/preprocess/part-00000"#hdfs文件路径COLUMNNAMES=[xx']defreadHDFS():'''读取hdfs文件Returns：df:dataframehdfs数据'''client=Client(HDFSHOST)#目前读取hdfs文件采用方式：#1.先从hdfs读取二进制数据流文件#2.将二进制文件另存为.csv#3.使用pandas读取csv文件withclient.read(FILENAME)asfs:c... 继续阅读 >

2020
10-06

python pymysql链接数据库查询结果转为Dataframe实例

我就废话不多说了，大家还是直接看代码吧！importpymysqlimportpandasaspddefcon_sql(db,sql):#创建连接db=pymysql.connect(host='127.0.0.1',port=3308,user='name',passwd='password',db=db,charset='utf8')#创建游标cursor=db.cursor()cursor.execute(sql)result=cursor.fetchall()#执行结果转化为dataframedf=pd.DataFrame(list(result))#关闭连接db.close()#返回dataframereturndfdb='... 继续阅读 >

2020
10-06

Python Flask微信小程序登录流程及登录api实现代码

一、先来看看效果接口请求返回的数据：二、官方登录流程图三、小程序登录流程梳理：1、小程序端调用wx.login2、判断用户是否授权3、小程序端访问wx.getUserInfo4、小程序端js代码：wx.login({success:resp=>{//发送res.code到后台换取openId,sessionKey,unionIdconsole.log(resp);varthat=this;//获取用户信息wx.getSetting({success:res=>{if(res.authSetting['scope.userInfo']){//已经授权，可以... 继续阅读 >

2020
10-06

python mysql中in参数化说明

第一种：拼接字符串，可以解决问题，但是为了避免sql注入，不建议这样写还是看看第二种：使用.format()函数，很多时候我都是使用这个函数来对sql参数化的举个例子：select*fromXXwhereidin(1，2，3)参数化in里面的值：select*fromXXwhereidin({}).format('1,2,3')你可以打印下看看，和你原来的sql是一模一样的补充知识：python与mysql交互/读取本地配置文件/交互报错如果自己写mysql连接要读取本地配置文件，需要注... 继续阅读 >

2020
10-06

基于Python爬虫采集天气网实时信息

相信小伙伴们都知道今冬以来范围最广、持续时间最长、影响最重的一场低温雨雪冰冻天气过程正在进行中。预计，今天安徽、江苏、浙江、湖北、湖南等地有暴雪，局地大暴雪，新增积雪深度4～8厘米，局地可达10～20厘米。此外，贵州中东部、湖南中北部、湖北东南部、江西西北部有冻雨。言归正传，天气无时无刻都在陪伴着我们，今天小编带大家利用Python网络爬虫来实现天气情况的实时采集。此次的目标网站是绿色呼吸网。绿色呼吸网站免费... 继续阅读 >

2020
10-06

Python调用.net动态库实现过程解析

pythonnet简介pythonnet是cpython的扩展pythonnet提供了cpython和.net程序集之间交互的桥梁pythonnet开源在github上pythonnet安装通过pipinstallpythonnet安装pythonnet的使用帮助pythonnet的使用帮助，请参见github.pythonnet中的坑cpython是分32和64位的，对应的pythonnet也是分的，版本要对应好pythonnet最核心的就是python.Runtime.dll动态库，这个库是c#编写的实现了两种语言的交互ref类型的参数如何返回返回值的... 继续阅读 >

2020
10-06

Python实现将元组中的元素作为参数传入函数的操作

本文由Markdown语法编辑器编辑完成。1.需求：现在有一个Python的需求需要实现：就是实现连接一次数据库，就能够执行多条SQL语句，而且这个SQL语句是需要通过调用者将每一次执行的参数传入进来，组合成一条完整的SQL语句再去执行。经过初步研究，传入参数时，通过数组的形式，数组中的每一个元素则是一个元组tuple（因为SQL中需要填入的参数可能是多个，所以需要通过元组的形式传入）。比如SQL语句的形式为：basic_sql=‘SELECT... 继续阅读 >

2020
10-06

Python Dict找出value大于某值或key大于某值的所有项方式

对于一个Dict：test_dict={1:5,2:4,3:3,4:2,5:1}想要求key值大于等于3的所有项：print({k:vfork,vintest_dict.items()ifk>=3})得到{3:3,4:2,5:1}想要求value值大于等于3的所有项：print({k:vfork,vintest_dict.items()ifv>=3}){1:5,2:4,3:3}如果想要求k或者v某一个就取一个即可：#-*-coding:utf-8-*-__author__='ShawDa'test_dict={1:5,2:4,3:3,4:2,5:1}print({k:vfork,vintest_dic... 继续阅读 >

2020
10-06

Python使用20行代码实现微信聊天机器人

近来，打开微信群发消息，就会秒收到一些活跃分子的回复，有的时候感觉对方回答很在理，但是有的时候发现对方的回答其实是驴唇不对马嘴，仔细深究发现，原来对方是机器人。今天，小编就带大家用20行代码，带你一起打造一个微信聊天机器人，让你的微信群一直嗨不停~~首先我们需要安装一个微信相关的第三方库，itchat，在Windows上通过命令：pipinstallitchat，就可以将其安装。其二，我们需要去图灵机器人官网：http://www.tuling... 继续阅读 >

2020
10-06

Python实现加密接口测试方法步骤详解

加密接口怎么测试？(1)写个函数或者方法，把要加密的参数使用这个函数过滤一遍，等于就是说把数据丢进去，加密了之后，再通过这个加密好的数据传输过去就可以了！！(2)至于用什么加密算法，这个要根据产品和自己的业务场景和需求不管是AES或者公钥私钥也好看自己的选择(3)也可能是编码的问题，就直接用base64码把需要传输加密的东西通过base64返回base64码，然后再放进去，然后再进行传输(4)这是编码不是加密，真的要加密的话，首... 继续阅读 >

2020
10-06

基于python 将列表作为参数传入函数时的测试与理解

将一个列表传入函数后，会对这个列表本身产生什么改变？这就是本文主要考察的内容。list=[1,2,3,4,5,6,7]word=list.pop(0)print(word)print(list)#输出结果理所当然地为：#1#[2,3,4,5,6,7]#defa(temp):b=temp.pop(0)print(b)print(temp)a(list)#输出结果为：#2#[3,4,5,6,7]#此处，传给temp时，list是[2,3,...7]，但pop后，原list#有什么变化呢？试试下面的代码print(list)#输出结果为：#[3,4,5,... 继续阅读 >

2020
10-06

python 引用传递和值传递详解(实参,形参)

python中函数参数是引用传递（不是值传递）。对于不可变类型，因变量不能被修改，所以运算时不会影响到变量本身；而对于可变类型来说，函数体中的运算有可能会更改传入的参数变量.形参：函数需要传递的参数实参：调用函数时传递的参数补充知识：python函数方法实参给形参传值时候的隐形‘陷阱'众所周知，在python函数里面参数分为形参，实参两种。形参当然了就是形式参数，而实参是我们需要给这个函数传入的变量，在我们给实参传... 继续阅读 >

2020
10-06

Python检测端口IP字符串是否合法

IP合法性校验是开发中非常常用的，看起来很简单的判断，作用确很大，写起来比较容易出错，今天我们来总结一下，看一下3种常用的IP地址合法性校验的方法。不使用正则表达式的方式：defis_ip(ip:str)->bool:returnTrueif[True]*4==[x.isdigit()and0<=int(x)<=255forxinip.split(".")]elseFalse使用正则表达式的方式importredefisIP(str):p=re.compile('^((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){... 继续阅读 >

2020
10-06

Python如何基于Tesseract实现识别文字功能

机器视觉从Google的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广泛且具有深远的影响和雄伟的愿景的领域。这里我们将重点介绍机器视觉的一个分支：文字识别。介绍如何用一些Python库来识别和使用在线图片中的文字。我们可以很轻松的阅读图片里的文字，但是机器阅读这些图片就会非常困难，利用这种人类用户可以正常读取但是大多数存贮器没法读取的图片，这时验证码（CAPTCHA）就出现了。验证码读取的难易程... 继续阅读 >

2020
10-06

如何导出python安装的所有模块名称和版本号到文件中

Python模块概念python中的模块是什么？简而言之，在python中，一个文件（以“.py”为后缀名的文件）就叫做一个模块，每一个模块在python里都被看做是一个独立的文件。模块可以被项目中的其他模块、一些脚本甚至是交互式的解析器所使用，它可以被其他程序引用，从而使用该模块里的函数等功能，使用Python中的标准库也是采用这种方法。分类在Python中模块分为以下几种：系统内置模块，例如：sys、time、json模块等等；自定义模... 继续阅读 >