上篇文章简单的实现了基于LSM数据库的初步版本，在该版本中如数据写入到内存表后但还未持久化到SSTable排序字符串表，此时正好程序崩溃，内存表中暂未持久化的数据将会丢失。
引入WAL
为了解决上述问题，将引入数据库中常用于解决类似问题的方法： WAL（Write Ahead Log）预写式日志——在计算机科学中，WAL（预写式日志）是数据库系统提供原子性和持久性的一系列技术；也就是说WAL用于保证数据操作的原子性和持久性；
不同组件、数据库所使用的WAL实现也有所差异， MySQL、Sqlite、Postgresql、Etcd、Hbase、Zookeeper等都有自己的WAL机制实现；
在MySQL中是通过Redo、Undo日志实现WAL，当MySQL崩溃后重启时，可以通过Redo重做日志对尚未持久化的操作进行 Redo，Undo为撤销操作，MySQL崩溃后可时系统恢复一致的状态；
在etcd中数据目录下有子目录： wal与snap，两个目录都是WAL机制所产生的；
1、wal目录存放的数据是记录整个数据库变化过程，数据修改前都需先写WAL文件；
2、Snap目录存放的是当etcd的wal文件过多是所生成的数据快照文件；
LSMDB的WAL机制实现
一、数据写入
写入数据时先往WAL文件写入再将数据写入内存表，当内存表数据达到某个阈值进行数据持久化后，将WAL文件清空，此WAL只存储尚未持久化的数据；代码如下：
/**
设置键值
*/
func (l *LSMStore) Set(key string, value string) {
    var cmd = &SetCommand{Command{1}, key, value}
    //写入wal
    writer := bufio.NewWriter(l.walFile)
    cmdBytes, _ := json2.Marshal(cmd)
    cmdLen, _ := IntToBytes(len(cmdBytes), 4)
    writer.Write(cmdLen)
    writer.Write(cmdBytes)
    err := writer.Flush()
    if err != nil {
        return
    }
    //写入内存表
    l.memoryTable.Put(key, cmd)
    if l.memoryTable.Size() > storeThreshold {
        l.switchTable()
        l.toSSTable()
    }
}
与之前的区别只在于先写wal文件再写内存表，在switchTable方法中切换内存表的同时切换新旧WAL文件，用于保证与持久化内存表机制是一致的。持久化删除上一步所切换出来的WAL文件；
二、数据恢复
程序每次启动时都会检查是否有WAL文件存在，如存在WAL则说明程序上一次时异常关闭退出，此时将 加载WAL文件，并将WAL数据还原到内存表中；
在还原数据到内存表时还需检查内存表数据是否达到预设的阈值，超过则将其写入到持久化磁盘文件当中；
上次留下的四大坑，此处填了一个坑，还有三大坑待解决：
1、索引问题
2、SSTable合并问题
3、单机版本问题；
Original: https://www.cnblogs.com/softlin/p/15849235.html
Author: AiFly
Title: 基于LSM的Key-Value数据库实现WAL篇
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/516454/
转载文章受原作者版权保护。转载请注明原作者出处！