分类：写入ElasticSearch

2020
09-27

Python如何把Spark数据写入ElasticSearch

这里以将Apache的日志写入到ElasticSearch为例，来演示一下如何使用Python将Spark数据导入到ES中。实际工作中，由于数据与使用框架或技术的复杂性，数据的写入变得比较复杂，在这里我们简单演示一下。如果使用Scala或Java的话，Spark提供自带了支持写入ES的支持库，但Python不支持。所以首先你需要去这里下载依赖的ES官方开发的依赖包包。下载完成后，放在本地目录，以下面命令方式启动pyspark:pyspark--jarselasticsearch-hadoo... 继续阅读 >