ChinaAzure在HDinsight中使用Spark功能

国际版的Azure 已经可以正常支持Spark应用，但是当我们在使用中国版的Azure的时候，在Azure中国版官网里面发现了有对Spark服务的介绍，而真正去使用的时候，却发现无法创建。只有Storm，HBase和Hadoop。如图：

创新互联是一家专业从事成都网站建设、网站设计、网页设计的品牌网络公司。如今是成都地区具影响力的网站设计公司,作为专业的成都网站建设公司,创新互联依托强大的技术实力、以及多年的网站运营经验,为您提供专业的成都网站建设、营销型网站建设及网站设计开发服务！

那问题来了，中国版Azure的HDInsight是否支持Spark？
答案当然可以，不过需要自定义一下：

1. 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。

   

2. 创建基于PAAS 层的HADOOP 集群：

   HDInsight 3.1 clusters会安装Spark 1.0.2
   HDInsight 3.2 clusters会安装Spark 1.2.0

   

3. 配置集群节点和虚拟机：

   

4. 配置访问用户，勾选配置Oozie云存储：

   

5. 配置Oozie存储SQL Database数据库：

   

6. 配置存储：

   

7. 使用脚本安装Spark：

   

1. 插入Spark 配置脚步：

   https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"

   

   最后点击"创建"按钮即可。

当前名称：ChinaAzure在HDinsight中使用Spark功能
文章链接：http://cdxtjz.cn/article/pcogjs.html