2015
02-04
02-04
Spark SQL中对Json支持的详细介绍
在这篇文章中，我将介绍一下SparkSQL对Json的支持，这个特性是Databricks的开发者们的努力结果，它的目的就是在Spark中使得查询和创建JSON数据变得非常地简单。随着WEB和手机应用的流行，JSON格式的数据已经是WEBServiceAPI之间通信以及数据的长期保存的事实上的标准格式了。但是使用现有的工具，用户常常需要开发出复杂的程序来读写分析系统中的JSON数据集。而SparkSQL中对JSON数据的支持极大地简化了使用JSON数据的终端的相...
继续阅读 >
一个Hive查询生成多个MapReduceJob，一个MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob）的优化，下文会分别阐述。在开始之前，先把MR的流程图帖出来（摘自Hadoop权威指南），方便后面对照。另外要说明的是，这个优化只是针对Hive0.9版本，而不是后来Hortonwork发起Stinger项目...