做数据时代的加油站,ShardingSphere 为易车数据库架构演进提供新动力

Apache ShardingSphere 前段时间应邀来到易车北京总部,PMC Chair 张亮与易车的技术同学在数据加解密、扩容、迁移、上云等话题展开了深度交流与探讨。

作为中国领先的汽车互联网企业,易车深耕汽车行业二十余载,为中国汽车用户提供专业、丰富的互联网资讯和导购服务,并为汽车厂商和汽车经销商提供卓有成效的互联网营销解决方案。在公司”1234″的战略推动下,易车技术团队考察并选择了ShardingSphere,为优化数据服务提供更多选择。在讨论最后,张亮也表示,ShardingSphere 核心团队将与易车 DBA 团队保持紧密沟通,双方将建立起长期的技术合作关系,共同为繁荣 ShardingSphere 社区生态而努力。

在数据加解密方案中,可以通过 Proxy 来统一实现吗?

这个是可以的,无论是通过 Proxy 或是 JDBC 都能实现,只用 Proxy 也是没问题的。如果需要将数据迁移至 Proxy 端,Apache ShardingSphere 提供了弹性迁移模块,用户完全不需要担心迁移、上线的处理问题。其次,随着业务的增长和变化,也许企业后期会需要对已经分片处理过的数据库进行二次分片。Apache ShardingSphere 结合 Scaling 可以实现数据分片的弹性伸缩,保证系统可以随着业务变化而不断调整,从而满足业务快速增长的需求。

另一方面,ShardingSphere 的加密与一般数据库的内容加密不同,是基于行列级别进行加密。如常见身份证、密码等等要素,只需要通过 ShardingSphere 将这些要素进行加密即可。此外,ShardingSphere 通过对这部分能力进行标准化并集成在中间件生态上,自动化用户对新、旧业务的数据脱敏以及加解密的过程,整个过程实现了用户层面的无感知。同时支持多种内置的数据加解密/脱敏算法,用户也可根据自身情况来自定义扩展相应的数据算法。

在数据扩容或迁移时,如何在不停服的情况下实现数据扩容?对于新增数据如何处理?

在数据迁移构成中,分为存量数据迁移以及增量数据迁移,数据体量越大耗时越长。同时增量数据往往是动态变化的,为了最终确认两端数据一致,一定是需要一段停写时间,让日志能够追上来并完成校验。Apache ShardingSphere 可以将数据迁移任务分为多个部分并行执行,合并同一记录的修改操作,在配置上之后再执行一条命令停止主库的写入,使主库只具备只读的权限,同时在只读期间暂停 SQL 执行并在停写的瞬间确保数据是全局一致的,进而再操作切库,减少对于系统可用性的影响。

当下大部分企业为了保证高可靠以及高吞吐量,往往会对数据库进行主从配置。如何确保主从库之间的数据一致性,尤其是在数据迁移过程中,需要能够在几乎不影响业务的情况下实现数据校验。Apache ShardingSphere 提供了多种内置的比对策略和数据一致性校验算法,用以比较源端数据和目标端数据是否一致,默认使用 CRC32 以便在速度与一致性上取得平衡,且校验算法支持 SPI 自定义。

ShardingSphere 上云后,与应用和云之间的兼容性问题

不论是在云上还是本地,主要是应用连接 ShardingSphere,如果该应用有部署负载均衡,直接更改访问 URL 即可。

另外一种方式,可以根据 Database Mesh 设计理念,在每一个应用端部署一台 Sidecar,利用 Sidecar 来收集和探测 ShardingSphere 本身,从根本状态层面保证高可用。Database Mesh 为用户提供了完全隔离不同环境的能力。

关于 Database Mesh,面向运维工程师时,用户只需变更数据面板到分布式数据库的网络配置,以标准界面配置数据库访问规则、资源配额、数据变更、可观测性等;面向研发工程师,Database Mesh 对其完全屏蔽了数据库所在的具体网络地址,研发工程师只需面向本地数据库进行开发,无需感知分布式数据库的存在。

通过 Database Mesh 提供的云原生服务,未来用户可通过接收控制面板发送的指令,来执行限流、熔断、基于标签的路由等操作。未来,所有云上数据库流量的管理和控制都可以交由 Database Mesh 体系来进行管理,既可以管理普通的数据库,也可以搭配 ShardingSphere-Proxy 管控端。

欢迎点击链接,了解更多内容:

Apache ShardingSphere 官网:https://shardingsphere.apache.org/

Apache ShardingSphere GitHub 地址:https://github.com/apache/shardingsphere

SphereEx 官网:https://www.sphere-ex.com

欢迎添加社区经理微信(ss_assistant_1)加入交流群,与众多 ShardingSphere 爱好者一同交流。

做数据时代的加油站,ShardingSphere 为易车数据库架构演进提供新动力

Original: https://www.cnblogs.com/sphereex/p/16333955.html
Author: SphereEx
Title: 做数据时代的加油站,ShardingSphere 为易车数据库架构演进提供新动力

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/622793/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 女同桌找我要表情包,还好我会Python,分分钟给她下载几十个G…

    emmm~ 起因呢,这昨晚女同桌跟我说电脑有点卡,喊我去宿舍给她装个新系统,装系统就装系统吧,结果又说新系统表情包都没保存~ 我当时就有点生气,真当我是万能的呢? 于是我直接就用P…

    数据库 2023年6月14日
    097
  • SpringBoot快速入门

    虽然我的工作中更多的是与数据库打交道,但是作为一个 Coder,我觉得掌握前后端的 Web技术来说是非常有必要的。 不仅可以帮助我们在工作中更好的理解其他岗位与你对接的人他的工作痛…

    数据库 2023年6月11日
    068
  • Spring Boot之WebSocket

    1、项目地址:https://github.com/hqzmss/test01-springboot-websocket.git 2、IDE:IntelliJ IDEA 2018….

    数据库 2023年6月9日
    078
  • MySQL约束

    约束 约束(constraint)概述 为什么要约束 为了保证数据完整性 什么是约束 对表中 字段的(强制)限制 约束的分类 角度一:字段个数 单类约束,多列约束 角度二:约束的作…

    数据库 2023年5月24日
    090
  • 2. 函数

    404. 抱歉,您访问的资源不存在。 可能是网址有误,或者对应的内容被删除,或者处于私有状态。 代码改变世界,联系邮箱 contact@cnblogs.com 园子的商业化努力-困…

    数据库 2023年6月16日
    091
  • 05-ElasticSearch高级搜索

    * package com.coolman.hotel.test; import com.coolman.hotel.pojo.HotelDoc; import com.faste…

    数据库 2023年6月16日
    083
  • PHP获取前一天,前一个月,前半年,前一年的时间戳

    // 获取前一秒 strtotime("-1 seconds"); // 获取前一分钟 strtotime("-1 minute"); //…

    数据库 2023年6月14日
    0125
  • 强大博客搭建全过程(1)-hexo博客搭建保姆级教程

    1、 前言 本人本来使用国内的开源项目solo搭建了博客,但感觉1核CPU2G内存的服务器,还是稍微有点重,包括服务器内还搭建了数据库。如果自己开发然后搭建,耗费时间又比较多,于是…

    数据库 2023年6月16日
    0105
  • 23种设计模式之备忘录模式

    文章目录 概述 备忘录模式的优缺点 备忘录模式的结构和实现 * 模式结构 模式实现 总结 概述 备忘录模式(Memento Pattern) 保存一个对象的某个状态,以便在适当的时…

    数据库 2023年6月6日
    083
  • Centos7.9编译OpenSSH的rpm安装包并升级OpenSSH

    本文介绍如何通过openssh-9.0p1.tar.gz制作openssh的rpm安装包,并升级openssh到9.0。 下载openssh-9.0p1.tar.gz 编译成rpm…

    数据库 2023年6月14日
    090
  • MySQL实战45讲 9

    09 | 普通索引和唯一索引,应该怎么选择? 每个人都有一个唯一的身份证号,而且业务代码已经保证了不会写入两个重复的身份证号。如果市民系统需要按照身份证号查姓名,就会执行类似这样的…

    数据库 2023年6月16日
    0105
  • 多线程

    多线程使用Callable实现多线程 多线程第三种创建方式 定义一个任务类,实现Callable接口,结合FutureTask完成 交给Thread处理,重写call方法 目标:学…

    数据库 2023年6月16日
    092
  • 重写Feign编码器

    有个spring cloud 架构的项目需要调用php小组的api接口,但php提供的接口入参大部分是下划线命名,而Java这边的实体类是按照驼峰编写,如果使用Fegin调用会导致…

    数据库 2023年6月6日
    080
  • MySQL主从不生效且无错误

    现象、主从不生效且无错误 前几天配置个MySQL主从,结果MySQL主从不生效,但在show slave status\G还没有错误,当时感觉很奇怪。change master t…

    数据库 2023年6月9日
    0103
  • 最简单的学习往往是最无效的

    想必大家都是从学生时代过来的,或者现在还处于学生时代。 在学生时代,大家有没有见过,有的同学非常非常努力,上课听得非常认真,笔记也记录得非常认真,同时各种颜色和标记把书上画得密密麻…

    数据库 2023年6月15日
    095
  • Docker安装和卸载(centos)

    Docker安装和卸载 一,已安装Docker,卸载Docker 1.方法一 sudo yum remove docker \ docker-client \ docker-cli…

    数据库 2023年6月11日
    072
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球