分类：SparkSQL

2022
02-21

SparkSQL使用IDEA快速入门DataFrame与DataSet的完美教程

目录1.使用IDEA开发SparkSQL1.1创建DataFrame/DataSet1.1.1指定列名添加Schema1.1.2StructType指定Schema1.1.3反射推断Schema1.使用IDEA开发SparkSQL1.1创建DataFrame/DataSet1、指定列名添加Schema2、通过StrucType指定Schema3、编写样例类，利用反射机制推断Schema1.1.1指定列名添加Schema//导包importorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.SparkSession//代码//1.创建SparkSessionvalspark=SparkSes... 继续阅读 >

2022
02-12

IDEA 开发配置SparkSQL及简单使用案例代码

1.添加依赖在idea项目的pom.xml中添加依赖。<!--sparksql依赖，注意版本号--><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.0.0</version></dependency>2.案例代码packagecom.zf.bigdata.spark.sqlimportorg.apache.spark.SparkConfimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.{DataFrame,Dataset,Row,SparkSession}objectSpark01_Spar... 继续阅读 >