GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案:实现高性能分布式部署

NVIDIA InfiniBand是一种被广泛使用的网络互联技术,基于IBTA(InfiniBand Trade Association)而定义的高带宽、低延时、低CPU占用率、大规模易扩展的通信技术,是世界领先的超级计算机的互连首选,为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。通过高速的InfiniBand技术,将业务负载由单机运行转化为基于多机协作的高性能计算集群,并使高性能集群的性能得以进一步释放与优化。

GreatSQL是由万里数据库维护的国内自主MySQL分支版本,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,适用于金融级应用。

此次通过对比测试基于InfiniBand 的 NVMe SSD池化方案 及本地NVMe SSD的传统方案的性能表现,评估使用基于InfiniBand的存算分离架构对分布式数据库性能的提升程度及扩展性。

经过双方合作,通过大量数据分析,可以看出基于InfiniBand池化方案的存算分离架构的性能更优、稳定性更强,为GreatSQL实现更高性能的分布式部署提供了有力的技术平台支撑。

1、NVIDIA InfiniBand 池化方案介绍

GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案:实现高性能分布式部署

分布式数据库集群由两部分组成:

[En]

A distributed database cluster consists of two parts:

  1. 计算节点是无SSD盘的裸金属服务器,运行MySQL数据库服务程序;
  2. 存储节点提供NVMe SSD资源池,通过软件聚合方式提供高性能Lun实现对于数据库的数据的存储服务;

两部分服务器通过Quantum 平台的InfiniBand网络实现对计算节点和存储节点的无损连接,结合NVMe-oF(NVMe over Fabric)高效的数据存储传输协议,将存储节点的Lun挂载到计算节点,实现结算节点本地高性能的数据存储能力。

  1. 测试环境

为了可以公平对比两种方案的优劣,两次测试均采用同一台计算服务器进行测试,不同的是,本地方案存储由本地的PCIe4.0 NVMe SSD承载,InfiniBand 池化方案由100Gbps速率的HDR100网卡接入,通过相同型号的NVMe SSD组成的全闪服务器借助NVMe-oF提供高性能虚拟Lun完成数据访问。

2.1 存储设备

本次测试主要采用两种存储方案:

[En]

This test mainly adopts two storage schemes:

  • InfiniBand + NVMe SSD设备
  • 本机挂NVMe SSD设备

`sql
$ nvme list
Node SN Model Namespace Usage Format FW Rev

Original: https://www.cnblogs.com/greatsql/p/16623317.html
Author: GreatSQL
Title: GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案:实现高性能分布式部署

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/504948/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 工具 | 一条 SQL 实现 PostgreSQL 数据找回

    作者:张连壮 PostgreSQL 研发工程师从事多年 PostgreSQL 数据库内核开发,对 citus 有非常深入的研究。 快速恢复丢失的数据是数据库的重要功能要求,一般推荐…

    数据库 2023年5月24日
    093
  • mysql对属性的增删改

    修改表 alter table 创建表db 查看表 desc与describe desc table 查看建表语句show create table t1; 修改表名 alter …

    数据库 2023年6月9日
    0116
  • MySQL 数据库

    内容概要 数据演变 数据存储发展 数据库类型 SQL与NoSQL的由来 下载安装MySQL MySQL文件目录 系统服务 密码相关 8.0版本的小问题 基本SQL语句 数据库的增删…

    数据库 2023年5月24日
    080
  • dockerfile

    基本结构 Dockerfile 是一个文本格式的配置文件,用户可以使用 Dockerfile 快速创建自定义镜像。 Dockerfile 由一行行命令语句组成,并且支持以 # 开头…

    数据库 2023年6月14日
    089
  • leetcode 105. Construct Binary Tree from Preorder and Inorder Traversal 从前序与中序遍历序列构造二叉树(中等)

    一、题目大意 给定两个整数数组 preorder 和 inorder ,其中 preorder 是二叉树的先序遍历, inorder 是同一棵树的中序遍历,请构造二叉树并返回其根节…

    数据库 2023年6月16日
    0108
  • 记一次部署系列:grafana配置特定指标进行邮件告警

    { "__inputs": [ { "name": "DS_PROMETHEUS", "label"…

    数据库 2023年6月9日
    076
  • TortoiseGit的下载以及配置

    TortoiseGit 人称 _小乌龟插件_是一个来源的版本控制客户端,和 git功能类似, 不过相对于git支持界面操作. TortoiseGit下载地址: 点我下载 当前稳定版…

    数据库 2023年6月16日
    092
  • SQLZOO练习三–SELECT within SELECT Tutorial

    This tutorial looks at how we can use SELECT statements within SELECT statements to perfor…

    数据库 2023年6月16日
    052
  • MySql 删除数据表

    定义: 删除数据表就是将数据库中已经存在的表从数据库中删除。注意,在删除表的同时,表的定义和表中所有的数据均会被删除。因此,在进行删除操作前,最好对表中的数据做一个备份,以免造成无…

    数据库 2023年6月14日
    084
  • 一文了解Cookie

    Cookie 什么是 Cookie? 先要了解HTTP是 无状态的Web服务器,什么是无状态呢?一次对话完成后下一次对话完全不知道上一次对话发生了什么。如果在Web服务器中只是用来…

    数据库 2023年6月11日
    0102
  • shutdown 关机与取消关机命令

    Windows 系统自带一个名为Shutdown.exe的程序,可以用于关机操作(位置在Windows\System32下) shutdown -a 取消关机 shutdown -…

    数据库 2023年6月11日
    086
  • 配置nginx只打印延迟超过0.1s和非2XX的accesslog

    背景 当业务accesslog全开时,写入es的qps达到了10W,评估后觉得不太值得,所以考虑抽样打印。查看相关文档后发现目前我们使用的nginx版本不支持抽样打印,所以考虑其他…

    数据库 2023年6月9日
    0100
  • SQL Server的Descending Indexes降序索引

    SQL Server的Descending Indexes降序索引 1、建立测试环境 测试环境:SQL Server 2012 表结构如下 USE [test] GO CREATE…

    数据库 2023年6月9日
    089
  • 类加载器ClassLoader

    1.双亲委派模型 java是根据双亲委派模型的加载类的,当一个类加载器加载类时,会先尝试委托给父类加载器去加载,直到到达启动类加载器顶层若加载不了,则再让子类加载器去加载直到类成功…

    数据库 2023年6月16日
    0109
  • 在Debian系统上安装StoneDB数据库

    今天我会进行StoneDB数据库在Debian系统下的安装。官方文档中没有说明在Debian系统的安装步骤,我来试试能否顺利安装。 准备Debian系统 我是在本地使用虚拟机安装的…

    数据库 2023年5月24日
    081
  • MySQL的Explain总结

    Explain简介 MySQL优化器在基于成本的计算和基于规则的SQL优化会生成一个所谓的 执行计划,我们就可以使用执行计划查看MySQL对该语句具体的执行方式。 介绍这个好啰嗦就…

    数据库 2023年5月24日
    080
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球