在centos环境下编译安装myrocksdb

rocksdb(https://rocksdb.org.cn/)是脸书(facebook)公司开源的一个key-value存储引擎,基于leveldb开发。rocksdb使用的是LSM存储引擎,纯c++编写。rocksdb具有很好的读写性能。但是rocksdb的实际操作需要很好的阅读rocksdb api文档,很多实现要自己编写代码来执行,还要考虑诸如线程安全等问题。Myrocks是rocksdb和mysql结合的结果,它将mysql的innodb引擎替换为rocksdb引擎,剥离实际操作底层rocksdb的方式,通过熟悉的操作mysql的方式进行数据库的连接、数据的存储读取等操作,方便很多。

参考页面http://myrocks.io/docs/getting-started/

1. 执行前两步安装必要的包

sudo yum install cmake gcc-c++ bzip2-devel libaio-devel bison \
zlib-devel snappy-devel
sudo yum install gflags-devel readline-devel ncurses-devel \
openssl-devel lz4-devel gdb git

2. 下载facebook的mysql-5.6源码包

初始化init和更新submodule因为很耗时间,我采用在本地(windows)下载和执行。

git clone https://github.com/facebook/mysql-5.6.git
cd mysql-5.6
git submodule init
git submodule update

执行过后将这些文件上传至centos,我设置的接收目录是/usr/local/myrocksdb。

3. 处理dos文件(*)

如果上一步都在linux中执行,则可以忽略这一步。

这一步执行的原因是git在windows上执行上一步的一系列操作之后,执行/产生的文件是dos文件格式,和centos 的unix文件格式存在不同,不执行的话,会出现一系列未知错误。

通过如下命令对mysql-5.6中的所有文件进行转码:

cd /usr/local/myrocksdb/mysql-5.6
find . -type f -exec dos2unix {} \;

如果不存在dos2unix命令,执行:

yum install –y dos2unix

4. 安装zstd

zstd是zstandard数据压缩工具,由Facebook开发。该工具如果不安装,执行第14步时会提示缺少zstd的问题。

参考页面:https://www.howtoing.com/zstd-fast-data-compression-algorithm-used-by-facebook

执行如下几步:

cd /usr/local
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install

在centos环境下编译安装myrocksdb

编译和安装(make install)后的zstd文件产生的文件在 /usr/local/lib 下,我们需要将该目录下的文件拷贝至 /usr/lib64 目录下。

cd /usr/local/lib
cp * /usr/lib64

5. 下载‪googletest-release-1.8.0.zip文件

https://codeload.github.com/google/googletest/zip/release-1.8.0 页面下下载googletest-release-1.8.0.zip文件。

将该文件存放到如下目录,

/usr/local/myrocksdb/mysql-5.6/source_downloads/

6. 安装boost

boost是c++的标准库,编译过程中会用到。

yum install boost
yum install boost-devel
yum install boost-doc

7. 执行make操作

7.1. cmake操作

在 /usr/local/myrocksdb/mysql-5.6 目录下执行,

cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo -DWITH_SSL=system \
-DWITH_ZLIB=bundled -DMYSQL_MAINTAINER_MODE=0 -DENABLED_LOCAL_INFILE=1 \
-DENABLE_DTRACE=0 -DCMAKE_CXX_FLAGS="-march=native"

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

7.2. make操作

make -j8

这一步要求centos环境 至少要有3G的内存,而且执行时间很长,出现以下结果表示执行成功。

在centos环境下编译安装myrocksdb

8. 添加压缩软件库(*)

这一步没怎么看明白,也可以不执行。

assume libsnappy.a is located at /usr/lib/
export WITH_SNAPPY=/usr
cmake ...

make ...

9. 执行MTR 测试(*)

这一步是对mysql数据库做一个测试,也可以不执行。

cd mysql-test
./mysql-test-run.pl --mem --async-client --parallel=16 --fast \
--max-test-fail=1000 --retry=0 --force --mysqld=--rocksdb \
--mysqld=--default-storage-engine=rocksdb --mysqld=--skip-innodb \
--mysqld=--default-tmp-storage-engine=MyISAM --suite=rocksdb

出现如下结果,表示MTR测试执行完毕。

在centos环境下编译安装myrocksdb

10. 安装Linkbench(*)

Linkbench是对mysql进行性能测试的一个工具,这里可以不安装。

确保安装JDK 和maven,如果没有要安装上,如下,

sudo apt-get install openjdk-7-jdk maven
git clone https://github.com/facebook/linkbench.git
cd linkbench;
mvn clean package -P fast-test

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

11. 安装mysql数据库

执行以下命令安装数据库。

make install

出现以下结果表示执行安装完成。

在centos环境下编译安装myrocksdb

成功之后会在 /usr/local/ 目录下生成 /mysql 文件,这个就是我们熟知的mysql安装目录。

在centos环境下编译安装myrocksdb

12.创建mysql用户并赋权

useradd -d /home/mysql -m mysql

将mysql目录的权限赋给mysql用户。

cd /usr/localchown -R mysql:mysql mysql

13. 创建my.cnf文件

对mysql的配置文件 /etc/my.cnf 填入以下内容。

[client]
default-character-set=utf8
[mysqld]

#skip-grant-tables
character_set_server=utf8
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
user=mysql
port=3306
default_authentication_plugin=mysql_native_password

rocksdb
default-storage-engine=rocksdb
skip-innodb
default-tmp-storage-engine=MyISAM
collation-server=utf8_bin

log-bin
binlog-format=ROW

14. 初始化数据库服务

cd /usr/local/mysql/scripts
./mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

15. 启动数据库服务

切换到 /usr/local/mysql/bin 目录下,执行mysql服务的启动。

cd /usr/local/mysql/bin
./mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

通过 ps -ef | grep mysql 命令查看,出现mysql的启动进程表示启动成功。

在centos环境下编译安装myrocksdb

16. mysql的登录和赋权

在 /usr/local/mysql/bin 目录下,执行,

use mysql;
insert into mysql.user(Host,User,Password) values ("%","root",password("123456"));
grant all privileges on *.* to root@'%' identified by '123456';
flush privileges;

17.开放防火墙端口

这里防火墙是cetos默认的firewall防火墙。

打开设置的端口,重启防火墙。

firewall-cmd --zone=public --add-port=3306/tcp --permanent
systemctl restart firewalld.service

18. 尝试创建库和表

创建数据库

create database myrocks;

创建表

CREATE TABLE linktable (
  id1 bigint(20) unsigned NOT NULL DEFAULT '0',
  id1_type int(10) unsigned NOT NULL DEFAULT '0',
  id2 bigint(20) unsigned NOT NULL DEFAULT '0',
  id2_type int(10) unsigned NOT NULL DEFAULT '0',
  link_type bigint(20) unsigned NOT NULL DEFAULT '0',
  visibility tinyint(3) NOT NULL DEFAULT '0',
  data varchar(255) NOT NULL DEFAULT '',
  time bigint(20) unsigned NOT NULL DEFAULT '0',
  version int(11) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (link_type, id1,id2) COMMENT 'cf_link_pk',
KEY id1_type (id1,link_type,visibility,time,version,data) COMMENT 'rev:cf_link_id1_type'
) ENGINE=RocksDB DEFAULT COLLATE=utf8_bin;

Original: https://www.cnblogs.com/lunyu/p/10190364.html
Author: 论语
Title: 在centos环境下编译安装myrocksdb

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/613117/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球