hibench7.0编译安装

 

引言

HiBench是一个大数据基准套件,可以帮助您评测不同大数据平台的性能、吞吐量和系统资源利用率。本文仅介绍如何对hadoop进行测试,其他大数据平台使用请参考官网https://github.com/intel-hadoop/HiBench

软件依赖

HiBench需要java环境,以及Maven管理。

继续阅读hibench7.0编译安装

Hadoop2.7与ceph10.2 S3对象存储进行集成测试

公司提出测试需求,将Hadoop2.7与ceph10.2 S3对象存储进行集成测试,hadoop官网介绍:[官网介绍](http://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html)
后查阅相关资料完成对接测试,现将环境部署,对接测试完整过程,整理如下:
继续阅读Hadoop2.7与ceph10.2 S3对象存储进行集成测试

Hadoop2.7.3和Ceph0.94结合

Hadoop2.7.3和Ceph0.94结合

 

Hadoop2.7.3集群环境

Ceph0.94 (我部署的centos6.5,单节点集群)

按照上一篇hadoop集群搭建手册接着进行部署安装。

一、Hadoop节点安装必要的包以及节点间ssh免密码互联

需要在Hadoop节点上安装的包有:

cephfs-java libcephfs1-devel python-cephfs libcephfs_jni1-devel 继续阅读Hadoop2.7.3和Ceph0.94结合

Hadoop1.1.2和Ceph0.94结合

Hadoop1.1.2集群环境

Ceph0.94 (我部署的centos6.5,单节点集群)

按照ceph官网介绍,cephfs替换hdfs,只支持hadoop1.1系列。hadoop集群环境搭建参考我另外一篇文章http://www.178pt.com/archives/160.html

hadoop2.7.3与ceph0.94结合,参考另外文章http://www.178pt.com/175.html

操作过程部分参考网络文章 继续阅读Hadoop1.1.2和Ceph0.94结合