189 8069 5689

docker中spark+scala安装配置-创新互联

一、scala安装
首先下载scala压缩包

目前累计服务客户1000多家，积累了丰富的产品开发及服务经验。以网站设计水平和技术实力，树立企业形象，为客户提供成都网站建设、网站建设、网站策划、网页设计、网络营销、VI设计、网站改版、漏洞修补等服务。创新互联始终以务实、诚信为根本，不断创新和提高建站品质，通过对领先技术的掌握、对创意设计的研究、对客户形象的视觉传递、对应用系统的结合，为客户提供更好的一站式互联网解决方案，携手广大客户，共同发展进步。

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

解压

tar -zxvf scala-2.11.7.tgz

移动目录

mv scala-2.11.7 /usr/local/

改名

cd /usr/local/
mv scala-2.11.7 scala

配置环境变量

vim /etc/profile
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

docker中spark+scala安装配置

环境变量生效

source /etc/profile

查看scala版本

scala -version

分发scala到其他主机

scp -r /usr/local/scala/ root@Master:/usr/local/
scp -r /usr/local/scala/ root@Slave2:/usr/local/

二、spark安装
复制spark压缩包 到容器中

docker cp /root/spark-2.1.2-bin-hadoop2.4.tgz b0c77:/

docker中spark+scala安装配置

查看并解压

docker中spark+scala安装配置
在profile中添加spark环境变量
docker中spark+scala安装配置
生效环境变量

source /etc/profile

编辑spark-env.sh

vim /usr/local/spark/conf/spark-env.sh

docker中spark+scala安装配置

  • JAVA_HOME：Java安装目录
  • SCALA_HOME：Scala安装目录
  • HADOOP_HOME：hadoop安装目录
  • HADOOP_CONF_DIR：hadoop集群的配置文件的目录
  • SPARK_MASTER_IP：spark集群的Master节点的ip地址
  • SPARK_WORKER_MEMORY：每个worker节点能够大分配给exectors的内存大小
  • SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目
  • SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目
    修改slaves文件

cp slaves.template slaves

docker中spark+scala安装配置

vi conf/slaves

docker中spark+scala安装配置

scp -r /usr/local/spark/ Master:/usr/local

docker中spark+scala安装配置

scp -r /usr/local/spark/ Slave2:/usr/local

docker中spark+scala安装配置
同时其他两个节点也要修改 /etc/profile
启动spark

./sbin/start-all.sh

docker中spark+scala安装配置
成功打开之后使用jps在Master、Slave1和Slave2节点上分别可以看到新开启的Master和Worker进程。
docker中spark+scala安装配置
docker中spark+scala安装配置
docker中spark+scala安装配置
成功打开Spark集群之后可以进入Spark的WebUI界面，可以通过
SparkMaster_IP:8080
端口映射：

iptables -t nat -A DOCKER -p tcp --dport 8080 -j DNAT --to-destination 172.17.0.2:8080

docker中spark+scala安装配置

此时我们可以通过映射到宿主机的端口访问，可见有两个正在运行的Worker节点。
docker中spark+scala安装配置
打开Spark-shell
使用

spark-shell

docker中spark+scala安装配置

推出spark-shell的命令是“:quit”
因为shell在运行，我们也可以通过
SparkMaster_IP:4040(172.17.0.2:4040)

访问WebUI查看当前执行的任务。
先进行端口映射：

iptables -t nat -A DOCKER -p tcp --dport 4040 -j DNAT --to-destination 172.17.0.2:4040

docker中spark+scala安装配置
docker中spark+scala安装配置

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


分享名称：docker中spark+scala安装配置-创新互联
新闻来源：http://cdxtjz.cn/article/djieci.html

其他资讯