Born to be proud
3/24
2018

Hadoop 笔记

Hadoop基础及演练

Hadoop 优点

  • 高扩展
  • 低成本
  • 成熟的生态圈
    • HIVE 降低了Hadoop使用门槛,可以将SQL语句转化为Hadoop任务
    • HBase 是一个存储结构化数据的分布式数据库,放弃了事务特性,追求更高的特战,HBase提供数据的随机读写和实时访问,实现了对表数据的读写功能
    • Zookeeper 监控Hadoop集群的一个状态,管理集群配置,维护节点间数据的一致性

Hadoop安装

  1. 安装JDK
  2. 安装Hadoop
  3. 配置Hadoop

    conf/start-all.sh

    jps 查看本地启动进程
    

HDFS 优点

  • 适合大文件存储,支持TB、PB级的数据存储,并有副本策略
  • 可以构建在廉价的机器上,并有一定的容错和恢复机制
  • 支持流式数据访问,一次写入,多次读取最高效

HDFS 缺点

  • 不适合大量小文件存储
  • 不适合并发写入,不支持文件随机修改
  • 不支持随机读低延时的访问方式

+ MORE

3/15
2018

实习面试

过完年回来开始准备找实习,才发现自己把寒假的时间都浪费了,什么事情都没有干。本来打算寒假准备一下,到北京直接开始面试的,没想到计划赶不上变化。分析原因可能来自两方面,一是作为研一新生,在家和校园里还没有感受到现实与工作的压力;二是自己本身自控能力就差吧,这也是老毛病了。

终于还是到了北京,在双坤租的房子里待了将近一个星期。忽然到一个陌生的环境,让自己很不自在,也感受到了强烈的现实压迫感,好像忽然就要毕业了一样,每过一天,都像是自己失去了许多原本拥有的东西。不过这样也好,人无远虑,必有近忧,提早感受一下毕业找工作的压力,总比天天颓废堕落好了许多。

急急忙忙写完了选修课的作业,花了一天时间做了份简历,开始在实习僧和拉勾网上投简历,也逐渐收到了各个公司HR打来的电话。主要投的就是机器学习算法岗,但其实自己是没有什么机器学习相关实际项目经验的,这也是我一直心虚的地方。

+ MORE

1/24
2018

卜东波算法课程作业

本学期的算法课程作业,一共6次,用LaTex完成。卜老师的算法课深入浅出,本学期的所有课程都由卜老师亲自授课,课程内容不仅包含面试中常见的分治、动规、贪心等方法,还详细介绍了线性规划、网络流、NP问题等内容。非常高质量密度的一门课,感谢卜东波老师。

image

+ MORE