Just so so
3/24
2018

Hadoop 笔记

Hadoop基础及演练

Hadoop 优点

  • 高扩展
  • 低成本
  • 成熟的生态圈
    • HIVE 降低了Hadoop使用门槛,可以将SQL语句转化为Hadoop任务
    • HBase 是一个存储结构化数据的分布式数据库,放弃了事务特性,追求更高的特战,HBase提供数据的随机读写和实时访问,实现了对表数据的读写功能
    • Zookeeper 监控Hadoop集群的一个状态,管理集群配置,维护节点间数据的一致性

Hadoop安装

  1. 安装JDK
  2. 安装Hadoop
  3. 配置Hadoop

    conf/start-all.sh

    jps 查看本地启动进程
    

HDFS 优点

  • 适合大文件存储,支持TB、PB级的数据存储,并有副本策略
  • 可以构建在廉价的机器上,并有一定的容错和恢复机制
  • 支持流式数据访问,一次写入,多次读取最高效

HDFS 缺点

  • 不适合大量小文件存储
  • 不适合并发写入,不支持文件随机修改
  • 不支持随机读低延时的访问方式

HDFS 写流程

  1. 客户端向NameNode发起写数据请求
  2. 分块写入DataNode节点,DataNode自动完成副本备份
  3. DataNode向NameNode汇报存储完成,NameNode通知客户端

HDFS 读流程

  1. 客户端向NameNode发起读数据请求
  2. NameNode找出距离最近的DataNode节点信息
  3. 客户端从DataNode分块下载文件

HDFS Shell命令

很多命令和Linux是一致的

./hdfs dfs -help #查看帮助文档
hdfs dfs -ls / #查看根目录
hdfs dfs -du -h #查看文件大小
hdfs dfs -text #查看文件
hdfs dfs -mkdir /test #创建test目录
hdfs dfs -copyFromLocal /home/hadoop/mk.txt /test/
hdfs dfs -cat /test/mk.txt
hdfs dfs -copyToLocal /test/mk.txt /home/hadoop/mk2.txt
hdfs dfs -chmod 777 /test/mk.txt

lzop

//使用lzop命令解压并查看
lzop -cd xxx.lzo |more

//压缩命令:
lzop xxx.log (生成xxx.log.lzo)

//列出test.lzo中各个文件的压缩信息
lzop -l test.lzo 

程序操作HDFS

通过相应的API,调用相应的方法即可

YARN

Hadoop 2.0 之后的资源管理器,移除了原有的JobTracker和TaskTracker,所有的MapReduce需要通过YARN进行调度。

  • ResourceManager: 分配调度资源,启动监控ApplicationManager,监控NodeManager
  • ApplicationManager: 为MR程序申请资源,分配任务,负责数据切片,监控任务执行,容错
  • NodeManager: 管理单个节点的资源,处理ResourceManager,ApplicationManager的命令

MapReduce 编程模型

  1. 输入一个大的模型,通过Split之后,将其切分为多个分片。
  2. Map阶段每个文件分片由单独的机器处理(需要编码)
  3. Shuffle阶段.Map输入到Reduce输出的过程,涉及到网络传输
  4. Reduce阶段将各个机器的结果汇总,并得到最终的结果(需要编码)

Hadoop 1.x 默认block大小64M
Hadoop 2.x 默认block大小128M
可以在hdfs-site.xml中设置参数:dfs.block.size

map任务个数

map任务个数是受多条件制约的,一般一个DataNode的map任务数量控制在10到100比较合适

  • 可增大mapred.map.tasks;减少map个数
  • 可增大mapred.min.split.size
  • 如果要减少map个数,但有很多小文件,可将小文件合并为大文件,再使用上条准则

数据经过Map端输出后会进行网络混洗,经Shuffle后进入Reduce,在大数据量的情况下可能会造成巨大的网络开销。故可以在本地先按照key进行一轮排序与合并,在进行网络混洗,这个过程就是Combine.


partition任务,reduce任务,输出文件三者的数量总是相等的。所有数据默认会按照key值升序排序。

reduce任务个数

reduce任务不像Map任务那样受多个因素制约,大数据情况下,reduce数量不宜过少

  • 可通过调节参数 mapred.reduce.tasks
  • 可在代码中调用 job.setNumReduceTasks(int n)

问题

  1. 如何通过Hadoop存储小文件?

    Hadoop Archives 出现就是为了缓解大量小文件消耗NameNode内存的问题,HAR文件是通过在HDFS上构建一个分层文件系统来工作;使用SequenceFile,用文件名(filename)作为key,并且文件内容(file contents)作为value;可以通过Hbase开发一个对象存储服务;可以采用压缩、合并小文件的策略,例如设置文件输入类型为CombineFileInputFormat格式

  2. 当有节点故障的时候,集群是如何继续提供服务的,如何读?如何写?
  3. 哪些是影响MapReduce性能的因素?

HBase

  • 高可靠,高性能,面向列,可伸缩,实时读写的分布式数据库
  • 利用HDFS作为其文件存储系统,支持MR程序读取数据
  • 存储非结构化和半结构化数据
  • RowKey: 数据唯一标识,按字典排序
  • ColumnFamily: 列族,多个列的集合,最多不超过三个
  • TimeStamp: 支持多版本数据同时存在

HIVE

show databases;
use database;
show tables;
desc table;
dfs -ls 目录;
! 操作系统命令
select * from gen_yp_show_log_det_hour limit 5;
source mysql.sql;
hive -S #进入静默模式

Spark

  • 基于内存计算的大数据并行计算框架
  • Spark是MapReduce的替代方案,兼容HDFS,Hive等数据源
  • 抽象出分布式内存存储数据结构,弹性分布式数据集RDD
  • 基于事件驱动,通过线程池复用线程提高性能

MapReduce

image

既可以直接编写相应JAVA处理程序,也可用Python等其他语言编写Map,Reduce处理过程,利用Hadoop进行执行

  1. 编写 WordCount.java 程序
  2. 编译 WordCount.java

    javac -classpath -d
    
  3. 打包
    jar -cvf wordcount.jar *.class

  4. 提交作业
    hdfs dfs -copyFromLocal
    hadoop jar
    yarn logs -applicationId xxxx    //查看日志
    

    Hadoop分布式缓存

    在执行MapReduce时,可能Mapper之间需要共享一些信息,如果信息量不大,可以将其从HDFS加载到内存中,这就是Hadoop分布式缓存机制

加载到内存发生在Job执行之前,每个从节点各自都缓存一份相同的共享数据。如果数据量过大,可以将其分批缓存,重复执行作业。

  1. 在main方法中加载共享文件的HDFS路径,路径可以是目录也可以是文件。可以在路径末尾追加“#”+别名,在map阶段可以使用该别名

    String cache = "hdfs://10.105.***.***:8020/cache/file";    //目录或文件
    cache = cache + "#myfile";     //myfile是文件别名
    job.addCacheFile(new Path(cache).toUri(),conf)    //添加到job设置
    
  2. 在Mapper类或Reducer的setup方法中,用输入流获取分布式缓存中的文件

    //该方法只执行一次,在map方法循环之前

    protected void setup(Context context) throws IOException,InterruptedException{
        FileReader reader = new FileReader("myfile");
        BufferedReader br = new BufferedReader(reader);
         
    1
    2
    3
    4
    5
    6
    }
    ### Mac Eclipse Hadoop-plus配置
    将插件jar包放在Eclipse的 **dropins** 文件夹下
    - 查看端口
    > hdfs端口号在:```$HADOOP_HOME/conf/core-site.xml中

mr端口号在:$HADOOP_HOME/conf/mapred-site.xml中

dfs.datanode.ipc.address  JobTracker端口,默认50020
fs.defaultFS    HDFS端口,默认8020

Python MapReduce

 cat 0318part-00001|python mapper.py 
cat 0318part-00001|python mapper.py |sort -k1,1|python reducer.py 

yarn

//查看日志
yarn logs -applicationId appid
//查看状态
yarn application -status
//杀掉任务
yarn application -kill appid