前提安装 hadoop ,JDK 环境
下载地址 scala:
http://www.scala-lang.org/download/2.11.6.html
解压: tar –zxvf scala-2.11.6.tgz
配置环境变量:vi /etc/profile
export SCALA_HOME=/opt/scala-2.11.6
export PATH=$SCALA_HOME/bin:$PATH
执行(立即生效):source /etc/profile
执行:cd /opt/scala-2.11.6/bin
./scala –version
输出(安装成功):Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
下载地址 spark:
http://apache.fayea.com/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz
解压: tar –zxvf spark-1.4.0-bin-hadoop2.6.tgz
配置环境变量: vi /etc/profile
export SPARK_HOME=/opt/spark-1.4.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH
执行(立即生效):source /etc/profile
进入spark conf 目录: cd /opt/spark-1.4.0-bin-hadoop2.6/conf
执行: cp spark-env.sh.template spark-env.sh
执行: vi spark-env.sh
添加如下内容:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export SCALA_HOME=/opt/scala-2.11.6
export SPARK_MASTER_IP=192.168.68.84
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/soft-228238/hadoop-2.6.0/etc/hadoop
注: SPARK_MASTER_IP 为 spark 集群中的主机IP; SPARK_WORKER_MEMORY是worker使用的最大内存
执行: cp slaves.template slaves
执行: vi slaves
增加两个slave节点:
192.168.68.84
192.168.68.85
进入: cd /opt/spark-1.4.0-bin-hadoop2.6/sbin
执行:./start-all.sh
执行: jps 结果如红色方框中的内容说明成功
访问:http://192.168.68.84:8080/
相关推荐
Ambari2.1.0安装配置(hadoop yarn spark集群安装配置)
即时通讯配置文档 OpenFire&Spark&MySQL
Spark-1.0.2安装配置,简单的demo运行,包含vbox、jdk、Scala、SSH的安装配置
实验八、Spark的安装与使用.doc
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上,关闭HDFS的安全模式: 3. 在 master 节点上
Spark的介绍,spark的安装配置,认识spark,spark的特点
大数据环境搭建——>Spark安装配置
本文档详细说明了在Linux环境下,hadoop与spark安装与配置的每一个步骤。
spark下安装hive标准配置文档。Ubuntu安装hive,并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件,可以根据这个文件联系我的博文内容就行修改,避免入坑。实现快捷启动hive。
spark配置参数优化,spark配置参数优化,spark配置参数优化,spark配置参数优化
用于Spark3.0.0的模式配置
CDH6针对hive on spark的调优文档,这个是生产的实战经验
单机伪分布式Hadoop-spark配置
openfire+spark+sparkweb的配置,中英文版的都有
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件,完成以下设置: 1. 设置运行master进程的节点, e
Openfire+Spark+Spark_Web安装配置
scala和spark的安装和配置,以及启动spark,分发节点。
在自己的机器上配置spark的本地开发模式,可以用来测试spark代码是否正确,如果没问题,可以提交到spark集群上去运行,免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建,所以就...
第三章 安装SPARK客户端 13 第四章 配置MSN网关 15 4.1 服务端配置MSN网关 15 第五章 RED5视频配置 18 5.1 部署RED5.WAR 18 5.2 SPARK客户端配置视频插件 19 第六章 使用SMACK开发即时通信功能 22
Spark 性能相关参数配置详解