Hadoop2.7与ceph10.2 S3对象存储进行集成测试

公司提出测试需求,将Hadoop2.7与ceph10.2 S3对象存储进行集成测试,hadoop官网介绍:[官网介绍](http://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html)
后查阅相关资料完成对接测试,现将环境部署,对接测试完整过程,整理如下:
继续阅读Hadoop2.7与ceph10.2 S3对象存储进行集成测试

ceph10.2 radosgw网关配置

 

3台主机部署ceph10.2 过程略

 

[root@radosgw1 ~]# ceph  -s
cluster 5f1ea62e-d5a5-49b3-bc31-f7967c79d2f9
health HEALTH_OK
monmap e3: 3 mons at {radosgw1=192.168.1.31:6789/0,radosgw2=192.168.1.32:6789/0,radosgw3=192.168.1.33:6789/0}
election epoch 6052, quorum 0,1,2 radosgw1,radosgw2,radosgw3
fsmap e564: 1/1/1 up {0=radosgw1=up:active}, 2 up:standby
osdmap e2129: 6 osds: 6 up, 6 in
flags sortbitwise,require_jewel_osds
pgmap v142022: 760 pgs, 18 pools, 480 MB data, 367 objects
38182 MB used, 84625 MB / 119 GB avail
760 active+clean
client io 48471 B/s rd, 0 B/s wr, 47 op/s rd, 31 op/s wr

继续阅读ceph10.2 radosgw网关配置

openstack ocata版block+swift+rbd+radosgw对接安装部署手册

一、文档介绍

本文仅是对openstack ocata版本做基础的安装部署指导,功能接口对接指导。包括基础openstack各个基础组件安装,块存储组件安装, swift对象存储组件安装,ceph rbd对接原cinder,glance, images组件提供分布式块存储功能,ceph radosgw网关对接原swift接口提供对象存储功能。

Openstack各个组件功能介绍本文不作详细解读,该配置指导手册适合测试人员、技支人员做基础功能对接调试用。详情运维以及功能讲解请自行官网查看。

继续阅读openstack ocata版block+swift+rbd+radosgw对接安装部署手册

ceph-backup对块设备进行备份与恢复

 

一、简介

一个用来备份ceph的RBD的image的开源软件,提供了两种模式
增量:在给定备份时间窗口内基于rbd快照的增量备份
完全:完整映像导出时不包含快照

超过时间窗口以后,会进行一次全量备份,并且把之前的快照进行删除掉,重新备份一次全量,并且基于这个时间计算是否需要删除备份的文件

软件包含以下功能:

  • 支持存储池和多image的只对
  • 支持自定义备份目标路径
  • 配置文件支持
  • 支持备份窗口设置
  • 支持压缩选项
  • 支持增量和全量备份的配置

继续阅读ceph-backup对块设备进行备份与恢复