分类：创建DataFrame

2020
10-10

JAVA spark创建DataFrame的方法

述说正传，接下来开始说正事。以前用Python和Scala操作Spark的时候比较多，毕竟Python和Scala代码写起来要简洁很多。今天一起来看看Java版本怎么创建DataFrame，代码写起来其实差不多，毕竟公用同一套API。测试数据可以参考我之前的文章。先来总结下Spark的一般流程：1，先创建Spark基础变量，spark，sc2，加载数据，rdd.textFile，spark.read.csv/json等3，数据处理，mapPartition,map，filter，reduce等一系列transformation操... 继续阅读 >