新闻 动态 ·
News Center
关注我们 关注前沿

高性能OLTP解决方案——基于傲腾技术的Ceph系统

发表日期:2018-06-25        文章编辑:         阅读次数:

内容简介

本文主要介绍使用英特尔® 傲腾(Optane™)技术以及Ceph BlueStore构建能有效应对联机事务处理过程(Online Transactional Processing, OLTP)负载的全闪存阵列(All-Flash Array, AFA)参考架构,还展示了使用傲腾技术和英特尔® SSD DC P3700系列成功在极低的延迟(Latency)下实现百万级QPS(Queries Per Second),同时分享Ceph BlueStore 与MySQL的优化方法及参数配置。

背景

互联网公司都需要处理一些典型的工作负载,如OLTP负载,其常常表现为大量用户同时访问数据库,并要求系统在数毫秒内响应请求。这类负载的主要特点是高并发,数据量大,要求快速响应等。为了应对不断增长的业务量,现在很多互联网公司开始探索使用Ceph系统配合高性能硬件来构建存储系统。在这之前我们已经研究过Ceph的CPU和SSD选型问题,详情可见:英特尔®CPU & SSD实现高达1.9M IOPS Ceph存储

文中的Journal用于Ceph 的存储后端FileStore, 主要功能是保证数据一致性(Consistency)。而WAL(Write-Ahead Logging)预写日志系统与Journal是类似的,但WAL属于BlueStore。BlueStore是一个用来替代FileStore的新存储后端,其使用RocksDB来存储元数据(metadata),而RocksDB使用本文提到的WAL来保证数据一致性。
 

Ceph AFA性能测试环境

我们的测试环境如图1所示,该测试环境由5个Ceph存储服务器和5个客户端(Client)节点构成,具体的配置可见表1和表2。Ceph存储服务器的硬件选型基于《英特尔®CPU & SSD实现高达1.9M IOPS Ceph存储》研究成果,即每5个core-GHz对应1个OSD,且为了满足低时延,高数据吞吐量等要求,选择傲腾™ SSD DC P4800X作为Journal或WAL存储设备。

图1 存储集群拓扑结构
表1.  Ceph存储系统配置

表2. Docker 容器配置情况
 

Ceph AFA性能测试结果

我们分别使用Sysbench在100% 读,100% 写,混合读写(75%/25%)的情况下测试Ceph AFA的性能,主要指标为QPS以及延迟。实验结果如图2所示,其中最接近于真实使用场景的混合读写测试可达1245k 的QPS,以及仅6.8ms的延迟时间。

图2 Ceph系统性能概览
为了提升系统性能,改善P99延迟时间等指标,我们分别验证了使用英特尔® SSD P3700与傲腾™ SSD DC P4800X作为RocksDB和WAL存储设备的实验效果,图3展示了两者的延迟对比结果。从图3中可以看出使用傲腾技术的存储系统,延迟时间均有较为明显地降低,其中,100% OLTP 写时P99延迟降低了25%,混合OLTP读写时延迟降低了181%。

图3 傲腾技术减小存储延迟时间(P4800X VS P3700)
如图4展示了Ceph AFA对不同数量Sysbench线程在不同读写模式下的性能测试结果。首先看OLTP读性能方面,优化后的配置方案在OLTP读上展现出极佳的线程扩展能力(Thread Scale-out Ability)。随着线程数量翻倍,QPS也增加到原来的两倍,而延迟时间在线程数量少于CPU数量时保持在5ms以下,当线程数量超越CPU数量,延迟时间急剧增加。在OLTP写方面,当线程数量增加至8个时QPS不再增加,同时延迟时间从此大幅增加。OLTP混合读写方面,QPS在一定范围内也随着线程数量翻倍而增加。

图4 Ceph AFA线程可扩展性测试
图4和图5展示了OLTP读与写的单卷吞吐量(Per Volume Throughput),从图中可以看出,当超过5卷时,OLTP读与写的单卷吞吐量都在下降,同时平均延迟开始增加。

图5. OLTP read per volume performance

图6. OLTP write per volume performance

构建高性能Ceph AFA

本文优化了传统的Ceph AFA配置方案,即使用英特尔® 傲腾™ SSD作为Journal或WAL 存储设备,可提供卓越的数据吞吐量以及超低的延迟。优化后的Ceph 配置方案如下:

1. Ceph存储使用全闪存,即全部使用NVMe/PCIe SSD。

    a.  使用傲腾™ SSD作为Journal 或 WAL 存储设备。

    b.    使用英特尔NVMe/PCIe SSD作为数据存储设备。

2. 建议每5个core-GHz对应1个OSD,根据此条件选择对应的英特尔® 至强® 处理器。

3. 双口10Gb以太网卡,如Intel® 82599ES 10 Gigabit Ethernet Controller。

4. 系统内存至少为128GB。

综上,典型的高性能Ceph 全闪存阵列硬件选型建议如图4所示。


Ceph AFA系统进一步改进

在客户端一侧增加缓存设备可进一步提升Ceph AFA系统性能。因此我们分别测试了英特尔® SSD P3700 与英特尔® 傲腾™ SSD P4800X,作为客户端与存储系统之间的缓存设备的实验效果。从图3的实验结果可以看出,增加缓存后,IOPS以及延迟时间都有很大程度的改善,尤其是使用傲腾™ SSD P4800X作为缓存后实现了高达345462 IOPS,平均延迟降低到0.432ms,P99延迟则更是低至4.17ms。


总结

本文主要介绍了一个高性能OLTP解决方案,使用傲腾技术以及英特尔® 至强® 处理器等硬件,配合Ceph BlueStore成功搭建了一个高性能Ceph 全闪存阵列。

文章摘自英特尔精英汇

 

欢迎联系永信贵宾会集团咨询英特尔产品信息

永信贵宾会集团联系方式

咨询热线:0755-88603572

永信贵宾会官网:www.yyhsjs.com
客户垂询邮箱:cuifang.mo@yyhsjs.com

客户垂询QQ1627678462

地址:深圳市福田区深南大道1006号国际创新中心C11
邮编:518026

电话:0755-82964380
邮件:xinyuan.guo@yyhsjs.com
地址:深圳市福田区深南大道1006号国际创新中心C座11楼

  • 官方微信

  • 官方微博
  • 服务热线

    0755-83647532

    微信服务号

    [!--page.stats—]