Hadoop2.7.3和Ceph0.94结合

Hadoop2.7.3和Ceph0.94结合

 

Hadoop2.7.3集群环境

Ceph0.94 (我部署的centos6.5,单节点集群)

按照上一篇hadoop集群搭建手册接着进行部署安装。

一、Hadoop节点安装必要的包以及节点间ssh免密码互联

需要在Hadoop节点上安装的包有:

cephfs-java libcephfs1-devel python-cephfs libcephfs_jni1-devel 继续阅读Hadoop2.7.3和Ceph0.94结合

centos6系统下网卡bond模式介绍

概览:

目前网卡绑定mode共有七种(0~6)bond0、bond1、bond2、bond3、bond4、bond5、bond6

常用的有三种:

mode=0:平衡负载模式,有自动备援,但需要”Switch”支援及设定。

mode=1:自动备援模式,其中一条线若断线,其他线路将会自动备援。

mode=6:平衡负载模式,有自动备援,不必”Switch”支援及设定。

继续阅读centos6系统下网卡bond模式介绍

ceph纠删原理和配置手册

一、概念和原理

1.1 概念

按照误码控制的不同功能,可分为检错码、纠错码和纠删码等。
检错码仅具备识别错码功能 而无纠正错码功能;
纠错码不仅具备识别错码功能,同时具备纠正错码功能;
纠删码则不仅具备识别错码和纠正错码的功能,而且当错码超过纠正范围时可把无法纠错的信息删除。 继续阅读ceph纠删原理和配置手册

Hadoop1.1.2和Ceph0.94结合

Hadoop1.1.2集群环境

Ceph0.94 (我部署的centos6.5,单节点集群)

按照ceph官网介绍,cephfs替换hdfs,只支持hadoop1.1系列。hadoop集群环境搭建参考我另外一篇文章http://www.178pt.com/archives/160.html

hadoop2.7.3与ceph0.94结合,参考另外文章http://www.178pt.com/175.html

操作过程部分参考网络文章 继续阅读Hadoop1.1.2和Ceph0.94结合