hadoop笔记
日期: 2020-09-08 分类: 个人收藏 425次阅读
【1】Hadoop框架核心:MapReduce、HDFS。
【2】Hadoop单机部署
【3】伪分布式部署
【4】eclipse-hadoop 插件问题汇总
【5】ubuntu16.04部署hadoop2.9集群
【6】配置hadoop集群HA
【1】Hadoop框架核心:MapReduce、HDFS。
【2】Hadoop单机部署
#本地模式是最简单的模式,所有模块都运行与一个JVM进程中,使用的本地文件系统,而不是HDFS,本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置,默认的就是本地模式。
1.安装ssh
sudo apt-get install ssh
sudo apt-get install rsync #远程数据同步工具
2.下载hadoop安装包
https://mirror.bjtu.edu.cn/apache/hadoop/common/stable/
3.解压安装包,并配置环境变量。
export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop-2.9.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.运行MapReduce程序(运行hadoop自带的wordcount例子)
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount /opt/data/wc.input output
bin/hadoop jar share/hadoop/mapreduce
除特别声明,本站所有文章均为原创,如需转载请以超级链接形式注明出处:SmartCat's Blog
下一篇: Vbs刷屏代码
精华推荐