博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop-环境搭建
阅读量:6851 次
发布时间:2019-06-26

本文共 1110 字,大约阅读时间需要 3 分钟。

hot3.png

1.下载复制jar包

2.配置

2.1 配置hadoop-env.sh

由于启动Hadoop时可能会使用ssh,所以在JAVA_HOME变量的值处写死为固定的路径,具体JDK在哪里,可以这样查看:

echo $JAVA_HOME

然后再在内容替换即可:

export JAVA_HOME=/usr/local/jdk1.7.0_67

2.2 配置core-site.xml

fs.defaultFS
hdfs://mini1:9000
hadoop.tmp.dir
/home/hadoop/hdpdata

2.3 配置mapred-site.xml

mapreduce.framework.name
yarn

2.4 配置yarn-site.xml

yarn.resourcemanager.hostname
weekend-1206-01
yarn.nodemanager.aux-services
mapreduce_shuffle

2.5 配置环境变量

修改 /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.6 修改slaves

在文件中输入所有的slave

mini1mini2mini3

3 格式化namenode(是对namenode进行初始化)

hdfs namenode -format (hadoop namenode -format)

4 启动hadoop

sbin/start-dfs.shsbin/start-yarn.sh

  • (HDFS管理界面)
  • (MR管理界面)

转载于:https://my.oschina.net/hengbao666/blog/1632685

你可能感兴趣的文章
系统架构介绍
查看>>
oracle唯一约束
查看>>
C++获取类成员函数地址
查看>>
【MOOC手写体】王文敏教授.《人工智能原理》 第10章 机器学习的任务 Part5 C10.2 Classification 分类...
查看>>
Plot transpant lines in Matleb 在Matlab中绘制透明线条
查看>>
MsChart<1> 线性图
查看>>
C# 调试之 Debug.WriteLine()、Trace.WriteLine()
查看>>
META Header实例讲解(转)
查看>>
自动备份5天前的日志
查看>>
一个小方法解决RGBA不兼容IE8
查看>>
SELECT INTO 和 INSERT INTO SELECT 两种表复制语句
查看>>
Linux基础-优良文本处理工具awk
查看>>
DIV 全屏遮罩
查看>>
nexus 开机自启动
查看>>
Median of Two Sorted Arrays
查看>>
Go中链路层套接字的实践
查看>>
linux驱动的异步通知(kill_fasync,fasync)---- 驱动程序向应用程序发送信号
查看>>
安装Pycharm
查看>>
Laravel 4 Blade模板引擎
查看>>
数据持久化存储回顾
查看>>