Hadoop2.7与ceph10.2 S3对象存储进行集成测试

公司提出测试需求,将Hadoop2.7与ceph10.2 S3对象存储进行集成测试,hadoop官网介绍:[官网介绍](http://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html)
后查阅相关资料完成对接测试,现将环境部署,对接测试完整过程,整理如下:
继续阅读Hadoop2.7与ceph10.2 S3对象存储进行集成测试

TDB文件介绍

samba在运行时,Samba 存储许多信息,从本地密码到希望从中收到信息的一系列客户端。这类数据其中一些是暂时的,在 Samba 重启时可能会被丢弃,但是另一些却是永久的,不会被丢弃。这类数据可能是很大的,也可能是不经常访问只是在内存中保留,或者在重启时保持存在。要满足这些要求,Samba 团队创建了 Trivial Database。它实际上是一个键值存储,这意味着数据通过惟一键的方式存储和检索,且没有像在关系数据库中那样的表联接。键值存储 — 尤其是 TDB — 被设计成将数据存储到磁盘并将其取回的一种快速方式。
继续阅读TDB文件介绍

利用BLKTRACE分析磁盘IO

http://www.idcat.cn

在Linux系统上,查看磁盘的负载情况,咱们一般使用iostat监控工具,iostat的详细介绍查看另外的培训资料。其中很重要的参数就是await,await表示单个I/O所需的平均时间,但它同时包含了I/O Scheduler所消耗的时间和硬件所消耗的时间,所以不能作为硬件性能的指标。那如何才能分辨一个io从下发到返回整个时间上,是硬件层耗时多还是在io调度上耗时多呢?如何查看io在各个时间段所消耗的时间呢?那么,blktrace在这种场合就能派上用场,因为它能记录I/O所经历的各个步骤,从中可以分析是IO Scheduler慢还是硬件响应慢,以及各个时间段所用时间。

继续阅读利用BLKTRACE分析磁盘IO