在centos环境下编译安装myrocksdb

rocksdb(https://rocksdb.org.cn/)是脸书(facebook)公司开源的一个key-value存储引擎,基于leveldb开发。rocksdb使用的是LSM存储引擎,纯c++编写。rocksdb具有很好的读写性能。但是rocksdb的实际操作需要很好的阅读rocksdb api文档,很多实现要自己编写代码来执行,还要考虑诸如线程安全等问题。Myrocks是rocksdb和mysql结合的结果,它将mysql的innodb引擎替换为rocksdb引擎,剥离实际操作底层rocksdb的方式,通过熟悉的操作mysql的方式进行数据库的连接、数据的存储读取等操作,方便很多。

参考页面http://myrocks.io/docs/getting-started/

1. 执行前两步安装必要的包

sudo yum install cmake gcc-c++ bzip2-devel libaio-devel bison \
zlib-devel snappy-devel
sudo yum install gflags-devel readline-devel ncurses-devel \
openssl-devel lz4-devel gdb git

2. 下载facebook的mysql-5.6源码包

初始化init和更新submodule因为很耗时间,我采用在本地(windows)下载和执行。

git clone https://github.com/facebook/mysql-5.6.git
cd mysql-5.6
git submodule init
git submodule update

执行过后将这些文件上传至centos,我设置的接收目录是/usr/local/myrocksdb。

3. 处理dos文件(*)

如果上一步都在linux中执行,则可以忽略这一步。

这一步执行的原因是git在windows上执行上一步的一系列操作之后,执行/产生的文件是dos文件格式,和centos 的unix文件格式存在不同,不执行的话,会出现一系列未知错误。

通过如下命令对mysql-5.6中的所有文件进行转码:

cd /usr/local/myrocksdb/mysql-5.6
find . -type f -exec dos2unix {} \;

如果不存在dos2unix命令,执行:

yum install –y dos2unix

4. 安装zstd

zstd是zstandard数据压缩工具,由Facebook开发。该工具如果不安装,执行第14步时会提示缺少zstd的问题。

参考页面:https://www.howtoing.com/zstd-fast-data-compression-algorithm-used-by-facebook

执行如下几步:

cd /usr/local
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install

在centos环境下编译安装myrocksdb

编译和安装(make install)后的zstd文件产生的文件在 /usr/local/lib 下,我们需要将该目录下的文件拷贝至 /usr/lib64 目录下。

cd /usr/local/lib
cp * /usr/lib64

5. 下载‪googletest-release-1.8.0.zip文件

https://codeload.github.com/google/googletest/zip/release-1.8.0 页面下下载googletest-release-1.8.0.zip文件。

将该文件存放到如下目录,

/usr/local/myrocksdb/mysql-5.6/source_downloads/

6. 安装boost

boost是c++的标准库,编译过程中会用到。

yum install boost
yum install boost-devel
yum install boost-doc

7. 执行make操作

7.1. cmake操作

在 /usr/local/myrocksdb/mysql-5.6 目录下执行,

cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo -DWITH_SSL=system \
-DWITH_ZLIB=bundled -DMYSQL_MAINTAINER_MODE=0 -DENABLED_LOCAL_INFILE=1 \
-DENABLE_DTRACE=0 -DCMAKE_CXX_FLAGS="-march=native"

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

7.2. make操作

make -j8

这一步要求centos环境 至少要有3G的内存,而且执行时间很长,出现以下结果表示执行成功。

在centos环境下编译安装myrocksdb

8. 添加压缩软件库(*)

这一步没怎么看明白,也可以不执行。

assume libsnappy.a is located at /usr/lib/
export WITH_SNAPPY=/usr
cmake ...

make ...

9. 执行MTR 测试(*)

这一步是对mysql数据库做一个测试,也可以不执行。

cd mysql-test
./mysql-test-run.pl --mem --async-client --parallel=16 --fast \
--max-test-fail=1000 --retry=0 --force --mysqld=--rocksdb \
--mysqld=--default-storage-engine=rocksdb --mysqld=--skip-innodb \
--mysqld=--default-tmp-storage-engine=MyISAM --suite=rocksdb

出现如下结果,表示MTR测试执行完毕。

在centos环境下编译安装myrocksdb

10. 安装Linkbench(*)

Linkbench是对mysql进行性能测试的一个工具,这里可以不安装。

确保安装JDK 和maven,如果没有要安装上,如下,

sudo apt-get install openjdk-7-jdk maven
git clone https://github.com/facebook/linkbench.git
cd linkbench;
mvn clean package -P fast-test

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

11. 安装mysql数据库

执行以下命令安装数据库。

make install

出现以下结果表示执行安装完成。

在centos环境下编译安装myrocksdb

成功之后会在 /usr/local/ 目录下生成 /mysql 文件,这个就是我们熟知的mysql安装目录。

在centos环境下编译安装myrocksdb

12.创建mysql用户并赋权

useradd -d /home/mysql -m mysql

将mysql目录的权限赋给mysql用户。

cd /usr/localchown -R mysql:mysql mysql

13. 创建my.cnf文件

对mysql的配置文件 /etc/my.cnf 填入以下内容。

[client]
default-character-set=utf8
[mysqld]

#skip-grant-tables
character_set_server=utf8
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
user=mysql
port=3306
default_authentication_plugin=mysql_native_password

rocksdb
default-storage-engine=rocksdb
skip-innodb
default-tmp-storage-engine=MyISAM
collation-server=utf8_bin

log-bin
binlog-format=ROW

14. 初始化数据库服务

cd /usr/local/mysql/scripts
./mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

15. 启动数据库服务

切换到 /usr/local/mysql/bin 目录下,执行mysql服务的启动。

cd /usr/local/mysql/bin
./mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

通过 ps -ef | grep mysql 命令查看,出现mysql的启动进程表示启动成功。

在centos环境下编译安装myrocksdb

16. mysql的登录和赋权

在 /usr/local/mysql/bin 目录下,执行,

use mysql;
insert into mysql.user(Host,User,Password) values ("%","root",password("123456"));
grant all privileges on *.* to root@'%' identified by '123456';
flush privileges;

17.开放防火墙端口

这里防火墙是cetos默认的firewall防火墙。

打开设置的端口,重启防火墙。

firewall-cmd --zone=public --add-port=3306/tcp --permanent
systemctl restart firewalld.service

18. 尝试创建库和表

创建数据库

create database myrocks;

创建表

CREATE TABLE linktable (
  id1 bigint(20) unsigned NOT NULL DEFAULT '0',
  id1_type int(10) unsigned NOT NULL DEFAULT '0',
  id2 bigint(20) unsigned NOT NULL DEFAULT '0',
  id2_type int(10) unsigned NOT NULL DEFAULT '0',
  link_type bigint(20) unsigned NOT NULL DEFAULT '0',
  visibility tinyint(3) NOT NULL DEFAULT '0',
  data varchar(255) NOT NULL DEFAULT '',
  time bigint(20) unsigned NOT NULL DEFAULT '0',
  version int(11) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (link_type, id1,id2) COMMENT 'cf_link_pk',
KEY id1_type (id1,link_type,visibility,time,version,data) COMMENT 'rev:cf_link_id1_type'
) ENGINE=RocksDB DEFAULT COLLATE=utf8_bin;

Original: https://www.cnblogs.com/lunyu/p/10190364.html
Author: 论语
Title: 在centos环境下编译安装myrocksdb

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/613117/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • mysql查询优化

    1.count优化 a语句当行数超过11行的时候需要扫描的行数比b语句要多, b语句扫描了6行,此种情况下,b语句比a语句更有效率。 当没有where语句的时候直接select c…

    数据库 2023年5月24日
    085
  • MySQL45讲之count操作

    本文介绍 MyISAM 和 InnoDB 如何执行 count 操作,如果是一个需要使用 count 进行大量计数的场景,应该如何设计实现,以及不同 count 操作的效率。 My…

    数据库 2023年5月24日
    090
  • 23种设计模式之模板模式

    文章目录 概述 模版模式的优缺点 * 优点 缺点 模版模式的使用场景 模板模式的结构和实现 * 模式结构 模式实现 总结 ; 概述 模板模式指:一个抽象类中,有一个主方法,再定义1…

    数据库 2023年6月6日
    0106
  • Harsh =哈希 =散列

    key-hash-%-index Harsh =哈希 =散列 HarshCode=哈希码=哈希代码=散列码=散列值 哈希函数=散列函数=哈希算法=Harsh Algorithm 散…

    数据库 2023年6月14日
    082
  • MySQL事务提交流程详解

    一. 事务的提交流程。 获取 MDL_key::COMMIT 锁: FTWRL会阻塞 commit 操作。 XID_Event生成并写入binlog cache中。会首先将事务中的…

    数据库 2023年5月24日
    098
  • haproxy

    haproxy 一.haproxy简介 二.负载均衡 三.haproxy安装 1.yum安装 2.源码安装 2.1 配置文件解析 2.2时间格式 2.3 全局global 2.4 …

    数据库 2023年6月14日
    074
  • B树-删除

    B树系列文章 1. B树-介绍 2. B树-查找 3. B树-插入 4. B树-删除 删除 根据B树的以下两个特性 每一个非叶子结点(除根结点)最少有 ⌈ m/2⌉ 个子结点 有k…

    数据库 2023年6月14日
    077
  • 从生命周期的角度看线程和进程之间的异同

    概述 进程与线程想必都不陌生,两者有诸多相同点,甚至可以这样说,线程就是”轻量级的进程”。而且两者基本的五个状态也几乎一样,但进程和线程在状态切换时的触发条…

    数据库 2023年6月11日
    087
  • 链表问题一些常用的套路与方法

    概述 链表问题应该是数据结构中比较基础的一类问题,但同时也是在面试中常考的一类问题。但是围绕链表问题的一些基本方法或者处理思想,也无外乎那几类,因此本文尝试对链表常用的一些方法或者…

    数据库 2023年6月11日
    080
  • Navicat 连接服务器不成功(Access denied for user ‘root’@ ‘*.*.*.*’ (using password: YES))

    出现的原因一般是服务器的root用户没有开启访问权限,一般来说值允许本地的访问。 解决方法: 一:第一种方法 1、首先打开xshell连接服务器的终端 2、以root权限登录 my…

    数据库 2023年6月11日
    074
  • 记一次血淋淋的MySQL崩溃修复案例

    摘要:今天给大家带来一篇MySQL数据库崩溃的修复案例 问题描述 研究MySQL源代码,调试并压测MySQL源代码时,MySQL崩溃了!问题是它竟然崩溃了!而且还损坏了InnoDB…

    数据库 2023年5月24日
    0117
  • IDEA插件和个性化配置推荐

    插件推荐 我自己现在使用的一些插件和一些自己感觉比较舒服配置分析给大家 idea如何安装插件: 如果打开设置没有看到,直接搜索plugins 然后在这里搜索即可 CodeGlanc…

    数据库 2023年6月16日
    0100
  • 模板语法之传值取值

    模板语法之传值 变量相关使用:{{}}逻辑语法相关:{% %} 后端传值部分: def index(request): # 模版&amp…

    数据库 2023年6月14日
    073
  • 创新能力加速产业发展,SphereEx 荣获“中关村银行杯”『大数据与云计算』领域 TOP1

    8 月 9 日下午,2022 中关村国际前沿科技创新大赛”中关村银行杯”大数据与云计算领域决赛在北京市门头沟区中关村(京西)人工智能科技园·智能文创园落下了…

    数据库 2023年6月16日
    091
  • mysql约束

    一、表约束 PK主键约束(索引)唯一约束 非空 默认值 在关系数据库,一个表中,只能有一个主键(Primary Key),有些数据库没有pk,系统报出错误。 在myql数据库,建立…

    数据库 2023年6月9日
    083
  • Java面试题(四)–RabbitMQ

    1、MQ有哪些使用场景?(高频) 异步处理:用户注册后,发送注册邮件和注册短信。用户注册完成后,提交任务到 MQ,发送模块并行获取 MQ 中的任务。 系统解耦:比如用注册完成,再加…

    数据库 2023年6月16日
    084
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球