分类：dataframe新增列

2020
09-27

pyspark给dataframe增加新的一列的实现示例

熟悉pandas的pythoner应该知道给dataframe增加一列很容易，直接以字典形式指定就好了，pyspark中就不同了，摸索了一下，可以使用如下方式增加frompysparkimportSparkContextfrompysparkimportSparkConffrompypsark.sqlimportSparkSessionfrompyspark.sqlimportfunctionsspark=SparkSession.builder.config(conf=SparkConf()).getOrCreate()data=[['Alice',19,'blue','["Alice",19,"blue"]'],['Jane',20... 继续阅读 >