分类：hive分区表parquet

2022
05-30

pyspark操作hive分区表及.gz.parquet和part-00000文件压缩问题

目录pyspark操作hive表1>saveAsTable写入2>insertInto写入2.1>问题说明2.2>解决办法3>saveAsTextFile写入直接操作文件pyspark操作hive表pyspark操作hive表，hive分区表动态写入；最近发现spark动态写入hive分区，和saveAsTable存表方式相比，文件压缩比大约4:1。针对该问题整理了spark操作hive表的几种方式。1>saveAsTable写入saveAsTable(self,name,format=None,mode=None,partitionBy=None,**options)示例：df.w... 继续阅读 >