NYC's Blog Oozie任务死锁解决方案
Oozie是Apache下面的一个用于流程调度（workflow scheduler）的系统，主要用于管理Hadoop生态圈中的各种任务，目前支持丰富的任务类型：Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等。如果想详细了解Ooize强大的调度功能，可参考其官方(http://oozie.apache.org/)文档。本文主要讨论使用Oozi...
YARN调度策略
在之前的《Hadoop系列三——YARN简介》中我们已经介绍了YARN的基本架构，但对于其调度策略只是简单提了一下，本文稍微深入一点，作为补充。YARN总共有三种调度策略：FIFO、Capacity Scheduler、Fair Scheduler。FIFO就是先进先出，最简单，实际中用的也比较少，这里就不再赘述了。Capacity Scheduler比Fair Scheduler出现的早，...
YARN简介
YARN(Yet Another Resource Negotiator)是Hadoop 2中开发的一个资源管理框架，主要用于改善之前Hadoop版本中的一些问题。和Mesos类似，是一个比较通用的分布式集群资源管理框架，目前主要用在Hadoop生态圈中。不过YARN一般主要是配合一些其他计算框架使用（比如spark、MapReduce 2(Hadoop 2)、Tez等），用户一般无需关注Y...
HDFS简介
在前文《Hadoop部署》中，我们已经提到过HDFS（Hadoop Distributed File System），它是Hadoop核心的一部分，是Hadoop默认使用的一套分布式文件系统。这里之所以说默认，是因为Hadoop项目其实有一层比较通用的文件系统抽象层，这使得它可以使用多种文件系统，比如本地文件系统、Amazon S3等。当然本文主要介绍HDFS。设计目标优势我们知道Hadoo...
Hadoop安装部署
Hadoop介绍Hadoop是Apache下面的一个开源的、可靠地、可扩展的分布式计算存储系统。Hadoop项目中主要包含四个部分：Hadoop Common：用于支持Hadoop其他模块的一些公共程序。Hadoop Distributed File System (HDFS)：Hadoop使用的一个高吞吐量的分布式文件系统。Hadoop YARN：用于Hadoop任务调度和集群资源管理的框...