分类：Python

2020
10-06

python ETL工具 pyetl

pyetl是一个纯python开发的ETL框架，相比sqoop,datax之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python代码操作，更加符合开发人员习惯安装pip3installpyetl使用示例数据库表之间数据同步frompyetlimportTask,DatabaseReader,DatabaseWriterreader=DatabaseReader("sqlite:///db1.sqlite3",table_name="source")writer=DatabaseWriter("sqlite:///d... 继续阅读 >

2020
10-06

python框架flask入门之路由及简单实现方法

路由简单来说，路由就是一个url到函数的映射，通过路由规则，可以使得url被指定的函数进行处理解析。我们都知道现在的web系统的URL都是可以自定义的，也就是我们可以指定url和具体的业务控制器相关联，而这些就是通过路由来实现的。flask中集成了路由处理模块，我们只需要简单地使用route装饰器就可以实现路由匹配。@app.route('/')defindex():return'IndexPage'@app.route('/hello')defhello():return'Hello,World'上面的... 继续阅读 >

2020
10-06

python框架flask入门之环境搭建及开启调试

传说中的pythonweb开发有2大宝器，一个是倚天剑，一个就是屠龙刀。django作为倚天剑已经被大众所熟知，今天我们就来看看flask这把屠龙宝刀。简介Flask是依赖Jinja模板引擎和 WerkzeugWSGI套件的一套web微框架。它是小巧的，它是符合wsgi标准的，它是优雅的，也是容易上手的框架，可以说谁掌握了flask这把屠龙刀，谁就可以号令python的web江湖。安装包管理工具的出现使得软件安装变得异常简单和容易。python中的包管理工具... 继续阅读 >

2020
10-06

python实现一次性封装多条sql语句(begin end)

python封装利用beginend执行多条sql因为业务需求，优化模型运行时间。考虑到sql语句每一次执行都要建立连接，查询，获取数据耗时过多。就想到将sql一起提交上去运行，能够节省很多时间。原本1.6-2.5秒耗时的sql语句经过修改后时间降到0.3-0.6秒，感觉性能提升挺好的。当然还有一种想法，如果有python框架的orm可能会更快，相比来说耗时基本看不到了吧，这只是我的猜想，仅仅为了优化一个模型写一个框架的话代码可能需要改的比较... 继续阅读 >

2020
10-06

python 在sql语句中使用%s,%d,%f说明

python连接数据库执行增删查改mysql数据库importpymysqlpostgresql数据库importpsycopg2普通含%的python语句sql语句中普通sql语句select*fromtableswheretablename='table_name',所以这里该加的引号还是要加不加的情况翻页的情况like的情况因为普通sql语句是where列名like'4301%'这里需要多加一个%防止转义补充知识：python中sql语句包含%怎么格式化问题描述：python中sql语句包含%时，格式化会出问题，怎... 继续阅读 >

2020
10-06

解决python 执行sql语句时所传参数含有单引号的问题

在编写自己的程序时，需要实现将数据导入数据库，并且是带参数的传递。执行语句如下：sql_str="INSERTINTOteacher(t_name,t_info,t_phone,t_email)VALUES\(\'%s\',\'%s\',\'%s\',\'%s\')"%(result,result2,phoneNumber,Email)cur.execute(sql_str)执行程序后，产生错误：ProgrammingError:(1064,"YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfort... 继续阅读 >

2020
10-06

python 解决mysql where in 对列表(list,,array)问题

例如有这么一个查询语句：select*fromserverwhereipin(....)同时一个存放ip的列表：['1.1.1.1','2.2.2.2','2.2.2.2']我们希望在查询语句的in中放入这个Ip列表，这里我们首先会想到的是用join来对这个列表处理成一个字符串，如下：>>>a=['1.1.1.1','2.2.2.2','2.2.2.2']>>>','.join(a)'1.1.1.1,2.2.2.2,2.2.2.2'可以看到，join后的结果并不是我们想要的结果，因为引号的问题。所以我们会想到另外的办法：>>>a=['1.1.1.... 继续阅读 >

2020
10-06

在python中使用pyspark读写Hive数据操作

1、读Hive表数据pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：frompyspark.sqlimportHiveContext,SparkSession_SPARK_HOST="spark://spark-master:7077"_APP_NAME="test"spark_session=SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()h... 继续阅读 >

2020
10-06

使用Python构造hive insert语句说明

mysql可以使用nevicat导出insert语句用于数据构造，但是hive无法直接导出insert语句。我们可以先打印在hive命令行，然后使用脚本拼装成insert语句，进行数据构造。手动copy到python脚本进行sql语句构造：deftransformString(s):list_s=s.split('\t')print(len(list_s))s_new=''foriteminlist_s:s_new+='\"'+item.strip('')+'\"'+','returnstr(s_new.rstrip(','))#为手动copyhive命令行打印输出... 继续阅读 >

2020
10-06

Python通过kerberos安全认证操作kafka方式

如何通过Kerberos认证.1.安装Kerberos客户端CentOS：yuminstallkrb5-workstation使用whichkinit查看是否安装成功；2.拷贝Kerberos配置文件conf目录下krb5.conf和kafka.keytab和jaas.conf拷贝到客户端机器的etc目录,同时,krb5.conf中的kdc集群主机名和IP配置到客户端机器hosts配置文件中3.Kinit客户端通过kerberos认证获取Principalklist-ktkafka.keytab4.安装python-gssapipipinstallgssapi遇到的问题,如下:a.在linux中执... 继续阅读 >

2020
10-06

python使用hdfs3模块对hdfs进行操作详解

之前一直使用hdfs的命令进行hdfs操作，比如：hdfsdfs-ls/user/spark/hdfsdfs-get/user/spark/a.txt/home/spark/a.txt#从HDFS获取数据到本地hdfsdfs-put-f/home/spark/a.txt/user/spark/a.txt#从本地覆盖式上传hdfsdfs-mkdir-p/user/spark/home/datetime=20180817/....身为一个python程序员，每天操作hdfs都是在程序中写各种cmd调用的命令，一方面不好看，另一方面身为一个Pythoner这是一个耻辱，于是乎就挑了一... 继续阅读 >

2020
10-06

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

1.Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网2.需要安装的包（基于centos）yuminstalllibsasl2-devyuminstallgcc-c++python-devel.x86_64cyrus-sasl-devel.x86_64yuminstallpython-develyuminstallkrb5-develyuminstallpython-krbVpipinstallkrbcontext==0.9pipinstallthrift==0.9.3pipinstallthrift-sasl==0.2.1pipinstallimpyla==0.14... 继续阅读 >

2020
10-06

python访问hdfs的操作

pipinstallhdfspython读取hdfs目录或文件importhdfsclient=hdfs.Client("http://10.10.1.4:50070")fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"try:status=client.status(fileDir,False)ifstatus:print(status)rst=client.download(fileDir,"/home/dev/gewei")print(rst)exceptionExceptionase:print(e)补充知识：用python访问hdfs出现webhdfs找不到的情况有可能是webhdfs服务... 继续阅读 >

2020
10-06

Python API 操作Hadoop hdfs详解

http://pyhdfs.readthedocs.io/en/latest/1：安装由于是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的>pipinstallhdfs2：Client——创建集群连接>fromhdfsimport*>client=Client("http://s100:50070")其他参数说明：classhdfs.client.Client(url,root=None,proxy=None,timeout=None,session=None)url：ip：端口root：制定的hdfs根目录proxy：制定登陆的用户身份timeout：设置的... 继续阅读 >

2020
10-06

python读取hdfs上的parquet文件方式

在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)：1、安装anaconda环境。2、安装hdfs3。condainstallhdfs33、安装fastparquet。condainstallfastparquet4、安装python-snappy。condainstallpython-snappy5、读取文件##namenodemode:fromhdfs3importHDFileS... 继续阅读 >

2020
10-06

Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

1.目标通过hadoophive或spark等数据计算框架完成数据清洗后的数据在HDFS上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2.实现安装Python模块pyhdfs版本:Python3.6,hadoop2.9读文件代码如下frompyhdfsimportHdfsClientclient=HdfsClient(hosts='ghym:50070')#hdfs地址res=client.open('/sy.txt')#hdfs文件路径,根目录/forrinres:line=str(r,encoding='utf8'... 继续阅读 >