分类：hive

2021
11-05

Java API如何实现向Hive批量导入数据

JavaAPI实现向Hive批量导入数据Java程序中产生的数据，如果导入oracle或者mysql库，可以通过jdbc连接insert批量操作完成，但是当前版本的hive并不支持批量insert操作，因为需要先将结果数据写入hdfs文件，然后插入Hive表中。packagecom.enn.idcard;importjava.io.IOException;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.SQLException;importjava.sql.Statement;importjava.util.ArrayList;i... 继续阅读 >

2021
04-07

解决hive中导入text文件遇到的坑

今天帮一同学导入一个excel数据，我把excel保存为txt格式，然后建表导入，失败！分隔符格式不匹配，无法导入！！！！怎么看两边都是\t，怎么不匹配呢？做为程序员，最不怕的就是失败，因为我们有一颗勇敢的心！再来！又特么失败。。。想了好久，看看了看我的表格式，我犯了一个好低级的错误：hive表的存储格式设置为了orcfile!!!众所周知：orcfile为压缩格式，可以节约大量存储空间，但orc还有个特点就是不能直接load数据！要想loa... 继续阅读 >

2021
01-03

hive从mysql导入数据量变多的解决方案

原始导数命令：bin/sqoopimport-connectjdbc:mysql://192.168.169.128:3306/yubei-usernameroot-password123456-tableyl_city_mgr_evt_info--split-byrec_id-m4--fields-terminated-by"\t"--lines-terminated-by"\n"--hive-import--hive-overwrite-create-hive-table-delete-target-dir-hive-databasedefault-hive-tableyl_city_mgr_evt_info原因分析：可能是mysql中字段里面有'\n'等分隔符，导入hive时... 继续阅读 >

2020
10-10

hive中将string数据转为bigint的操作

使用CAST函数将STRING转为BIGINT:SELECTCAST('00321'ASBIGINT)FROMtable;AsaBIGINTitwillshowonthescreenandindelimitedtextfilesas321.参考：Hive-Convertingastringtobigint补充知识：hive中bigint和varchar字段做关联，关联数据错误的解决方法把bigint和varchar都隐式转换成String类型的就可以关联出正确的结果了cast(t1.PARTY_NUMasstring)=cast(t12.customerIdasstring)以上这篇hive中将s... 继续阅读 >

2020
10-08

大数据 java hive udf函数的示例代码（手机号码脱敏）

HiveUDFHiveUDF函数1POM文件2.UDF函数3利用idea打包4添加hiveudf函数4.1上传jar包到集群4.2修改集群hdfs文件权限4.3注册UDF4.4使用UDFHiveUDF函数1POM文件<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/ma... 继续阅读 >

2020
10-06

在python中使用pyspark读写Hive数据操作

1、读Hive表数据pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：frompyspark.sqlimportHiveContext,SparkSession_SPARK_HOST="spark://spark-master:7077"_APP_NAME="test"spark_session=SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()h... 继续阅读 >

2020
10-06

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

1.Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网2.需要安装的包（基于centos）yuminstalllibsasl2-devyuminstallgcc-c++python-devel.x86_64cyrus-sasl-devel.x86_64yuminstallpython-develyuminstallkrb5-develyuminstallpython-krbVpipinstallkrbcontext==0.9pipinstallthrift==0.9.3pipinstallthrift-sasl==0.2.1pipinstallimpyla==0.14... 继续阅读 >

2020
09-29

python 实现 hive中类似 lateral view explode的功能示例

背景：加入现在有这样的数据，可能一条ocr代表两个label，并且label通过","分隔。我们想把数据转换成下面的。原始数据：labelocr日常行车服务,汽车资讯去加油站，加完油后直接离开？最开心的可能是加油站的工作人员社会民生已致2死20伤！景区突遭尘卷风袭击，孩子被卷上天！现场画面曝光目标数据：labelocr日常行车服务... 继续阅读 >

2020
09-29

Python pandas 列转行操作详解(类似hive中explode方法)

最近在工作上用到Python的pandas库来处理excel文件，遇到列转行的问题。找了一番资料后成功了，记录一下。1.如果需要爆炸的只有一列：df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})dfOut[1]:AB01[1,2]12[1,2]如果要爆炸B这一列，可以直接用explode方法（前提是你的pandas的版本要高于或等于0.25）df.explode('B')AB0111122213222.如果需要爆炸的有2列及以上df=pd.DataFrame({'A':[1,2],'B':[[1,2]... 继续阅读 >

2020
09-24

django xadmin中form_layout添加字段显示方式

需求：用的是django的框架，想显示一个基本固定的页面，用到了form_layout上图的ROW中添加的是model中的字段名，可以显示对应的内容，如果想一行显示多个，可以写成Row('Flow_type'，'Demand_name'),效果如下图（图片是别人的，借鉴一下）想正常的显示，还有最后一步就是在把你需要展示的ROW中的字段，放在fields中（部分截取了一下）补充知识：xadmin编辑页隐藏字段引用xadmin的fieldSet对不想显示的字段添加**{"style":"disp... 继续阅读 >