GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案:实现高性能分布式部署

NVIDIA InfiniBand是一种被广泛使用的网络互联技术,基于IBTA(InfiniBand Trade Association)而定义的高带宽、低延时、低CPU占用率、大规模易扩展的通信技术,是世界领先的超级计算机的互连首选,为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。通过高速的InfiniBand技术,将业务负载由单机运行转化为基于多机协作的高性能计算集群,并使高性能集群的性能得以进一步释放与优化。

GreatSQL是由万里数据库维护的国内自主MySQL分支版本,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,适用于金融级应用。

此次通过对比测试基于InfiniBand 的 NVMe SSD池化方案 及本地NVMe SSD的传统方案的性能表现,评估使用基于InfiniBand的存算分离架构对分布式数据库性能的提升程度及扩展性。

经过双方合作,通过大量数据分析,可以看出基于InfiniBand池化方案的存算分离架构的性能更优、稳定性更强,为GreatSQL实现更高性能的分布式部署提供了有力的技术平台支撑。

1、NVIDIA InfiniBand 池化方案介绍

GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案:实现高性能分布式部署

分布式数据库集群由两部分组成:

[En]

A distributed database cluster consists of two parts:

  1. 计算节点是无SSD盘的裸金属服务器,运行MySQL数据库服务程序;
  2. 存储节点提供NVMe SSD资源池,通过软件聚合方式提供高性能Lun实现对于数据库的数据的存储服务;

两部分服务器通过Quantum 平台的InfiniBand网络实现对计算节点和存储节点的无损连接,结合NVMe-oF(NVMe over Fabric)高效的数据存储传输协议,将存储节点的Lun挂载到计算节点,实现结算节点本地高性能的数据存储能力。

  1. 测试环境

为了可以公平对比两种方案的优劣,两次测试均采用同一台计算服务器进行测试,不同的是,本地方案存储由本地的PCIe4.0 NVMe SSD承载,InfiniBand 池化方案由100Gbps速率的HDR100网卡接入,通过相同型号的NVMe SSD组成的全闪服务器借助NVMe-oF提供高性能虚拟Lun完成数据访问。

2.1 存储设备

本次测试主要采用两种存储方案:

[En]

This test mainly adopts two storage schemes:

  • InfiniBand + NVMe SSD设备
  • 本机挂NVMe SSD设备

`sql
$ nvme list
Node SN Model Namespace Usage Format FW Rev

Original: https://www.cnblogs.com/greatsql/p/16623317.html
Author: GreatSQL
Title: GreatSQL 开源数据库 & NVIDIA InfiniBand存算分离池化方案:实现高性能分布式部署

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/504948/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 【转】SpringBoot多模块打包瘦身分离

    背景 首先项目是个多层级的多模块springBoot项目,每次打出来的jar包都在90M,其中包含核心代码以及所有依赖的jar包,上传到服务器速度比较慢。 由于核心代码(contr…

    数据库 2023年6月6日
    0143
  • Redis的五大数据类型(简单使用)

    redis是基于内存的,内存的读写速度非常快 ; redis是单线程的,省去了很多上下文切换线程的时间; *redis因为是基于内存的 不涉及io操作 所以单线程效率是最高的 回归…

    数据库 2023年6月6日
    0147
  • SQL与数据库编程学习笔记-day1

    一:理论知识参考 学习网站参考: 数据库主要分为两类: 1.关系型数据库:关系型数据库采用表格的储存方式,数据以行和列的方式进行存储,要读取和查询都十分方便,例如常见的:Oracl…

    数据库 2023年6月9日
    0137
  • 教师节我用Python做了个学生点名系统送给老师当礼物,这回毕业稳了

    今年教师节前夕,我特意用Python做了个学生点名系统,非常好用,送给各科老师、辅导员当节日礼物,老师们都喜滋滋,说平常逃课就原谅我了,我心想,这次毕业应该不是问题了~ 本文背景 …

    数据库 2023年6月14日
    0123
  • Spring(五)-Spring的其他知识点

    1、细说ServletContext、WebApplicationContext、Servlet的初始化 参考博客–>细说ServletContext、WebAp…

    数据库 2023年6月16日
    0143
  • [Npoi]Npoi导入Excel, 转为Entity

    Npoi导入Excel其实只要读成DataTable就可以随意操作了, 比如转为Entity… By: 胖纸不争NetCore🐧群: 743336452 核心代码: p…

    数据库 2023年6月9日
    0116
  • MySQL高可用安装

    MySQL HA部署 环境准备 创建本地yum源 确认关闭 SELinux 防火墙设置 MySQL安装 使用 root 用户操作创建相关的用户组和用户 上传/解压介质 设置自启动 …

    数据库 2023年6月16日
    0105
  • MySQL学习笔记-day02

    select distinct job from emp;# distinct关键字去除重复记录。 结果: +———–+ | job | +———–+ …

    数据库 2023年6月11日
    0136
  • 如何成为一名开发人员——第 1 部分:编码技巧

    1 学习一门语言 程序员编写计算机代码,所以你必须学会说这种语言。 但是, 你首先学习哪种编程语言并不重要!这完全取决于你对什么感兴趣。例如… 如果你想进入 Web 开…

    数据库 2023年6月14日
    0148
  • MYSQL/Oracle中常用函数总结

    记录在日常工作或者学习中中使用到的函数,以下是做一个备忘~ MySQL: 窗口函数: 原文地址:https://zhuanlan.zhihu.com/p/92654574 1、窗口…

    数据库 2023年6月14日
    0189
  • mysql绿色版在windows系统中的启动

    Original: https://www.cnblogs.com/java265/p/15597871.htmlAuthor: java265Title: mysql绿色版在wi…

    数据库 2023年5月24日
    0127
  • MongoDB的CRUD操作(入门)

    MongoDB的简单介绍: 1:MongoDB是什么? mongodb是非关系数据库 但是是非关系数据库当中功能最丰富,最像关系数据库的 MongoDB是一个基于分布式文件存储的数…

    数据库 2023年6月6日
    0181
  • Java 多线程共享模型之管程(上)

    主线程与守护线程 默认情况下,Java 进程需要等待所有线程都运行结束,才会结束。有一种特殊的线程叫做守护线程,只要其它非守护线程运行结束了,即使守护线程的代码没有执行完,也会强制…

    数据库 2023年6月16日
    0138
  • [springmvc]springmvc超详细总结笔记

    springMvc 1.回顾mvc 模型 模型(dao,service):业务逻辑,保存数据的状态 视图 视图(jsp,html……):展示页面 控制器 控…

    数据库 2023年6月16日
    0128
  • Windows 是最安全的操作系统

    建了一个用户交流群,我在群里说:”Windows 是最安全的操作系统。” 立刻引发了很多有意思的观点。我在群里一个人说不过大家,先篇文章把自己的论点罗列一下…

    数据库 2023年6月6日
    0299
  • 线程池系列一:线程池原来是个外包公司,打工人我悟了

    我们在工作中经常用到线程池,线程池(Thread Pool)是一种基于池化思想管理线程的工具。 线程的作用是处理任务,而池则是帮助我们实现资源的重复利用和管理。线程池就是帮助我们异…

    数据库 2023年6月6日
    0140
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球