时序数据库和传统关系型数据库

时序数据特点:

1、写多读少:持续高并发的写入,由于定期采样的特点,写入量平稳,几乎不会有更新操作。

2、冷热明显:查询一般查近期产生的数据,很少查过期数据。

3、数据关联性小:数据之间几乎不存在关系,不需要Join。

4、查询场景不同,索引特殊:数据都包含设备信息(服务器、传感器)和时间戳,大部分都是聚合查询。

应用场景:IOT传感器数据、服务器监控数据、证券交易数据

绝大多数关系型数据库的特点:

1、读多写少:大部分RDBMS都是基于B+树实现的,B+树主要通过增加节点大小降低树的层级从而减小IO,索引更多数据,从而优化读取性能。

2、随机读写:B+树读写会直达叶子节点,读写性能稳定,少部分热数据直接通过LRU进行缓存。

3、表间关系紧密:关系型数据库的特点就是关联关系,通过范式来避免数据冗余,查询数据库时通过Nested Loop Join,Hash Join,Sort Merge Join等算法进行关联。

4、按查询场景建立二级索引:为了提升查询性能,会对查询字段额外创建另一个B+树索引,也就是所谓的“二级索引”,这也导致写操作需要同时更新这些索引。

应用场景:一致性较强的应用数据

B+树的优缺点

image

优点

1、随机读写:根据B+树索引查询,能对磁盘中的数据实现快速读写。按照InnoDB的16KB块大小计算,对8字节bigint类型的ID值进行索引,包括下级物理指针在内,一个16KB节点就可以存储1000左右的key。这样算第二层16MB的节点可以存1百万左右的key,内两层可以通过mmap的形式缓存在内存中,第三层可以索引16GB左右的数据,所以三层B+树基本只要一次I/O操作。

2、范围查询:B+树叶子节点通过双向链表连起来了,可以直接顺着叶子节点的链表进行范围扫描,避免了B树回溯节点的I/O问题。

3、查询稳定:数据都存在叶子节点,内部节点只存key,一方面可以让内部节点索引更多的数据,降低树的层级,另一方面能让查询都沉到叶子节点,性能相对稳定,不会像B树那样,有的查询读到第二层,有的查询读到第三层。

4、WAL保证写操作的持久性:将修改先写入预写日志(Write-Ahead Log),如果修改的脏页因为宕机等原因没有落盘,可以通过WAL进行恢复。

缺点

1、页分裂,写性能不稳定:写操作可能导致页面数据已满,触发页分裂,页分裂会产生多次磁盘I/O,导致写放大。所以对于大并发量的写操作,B+树性能急剧下降。特别是当一张表存在多个二级索引时,这个现象越明显。

2、大数据量I/O性能下降:数据量过大,会导致B+树层级过深,I/O次数上升,性能下降。一般的策略是分库分表,通常单表超过三层B+树的百万级别数据量后就需要考虑分库分表。但是分库分表需要根据系统业务选择列进行路由,通用性不强。虽然现在MySQL和PostgreSQL等数据库都有提供分区表的功能,但是对于跨分区的查询性能仍有局限。

LSM存储结构

Log-Structure MergeTree将写操作写入内存树,当达到一定阈值再Flush进磁盘,磁盘中的小树会逐级合并大树。

优点

1、写性能吞吐量极高:随机写合并成大批量的顺序写。支持高吞吐的写操作,写入性能能得到大幅度提升。

2、没有B+树的页分裂。删除操作,会以墓碑标记的方式追加到树;修改操作以删除和新增两条记录的形式直接追加到树中;查询会从树遍历到…树。

缺点

1、读放大:读取操作需要,从依次检查读到,当有未合并的垃圾数据存在时,I/O读取操作增多,性能也不稳定。特别是当数据不存在的时候,需要扫描所有的树。

2、写放大:对数据的修改和删除,需要延迟到Compact阶段进行后台合并。总体上,写操作的次数实际上增多了。

3、空间放大:LSM-Tree的深层树中可能存在未合并的垃圾数据。相比于B+树的原地修改,LSM-Tree会占用更多空间。

优化

1、读优化:可以在内存中使用BloomFilter对树中的数据进行预判,如果不存在就不需要进行读操作了。

2、写优化和空间优化:优化Compact算法,尽量减少写放大和空间放大。Compact其实质是多路归并排序,目前有两种基本的Compact策略:level vs. size/tier。不同的Compact策略是对写优化和空间优化之间的权衡。

使用LSM-Tree实现时序数据库

LSM-Tree非常适合存储时序数据。

1、首先LSM-Tree的写性能满足了时序数据持续性高并发的写入和读多写少的场景。

2、时序数据基本不会修改和删除,所以避免了不必要的Compact操作,也就没有空间放大的问题,写放大也能避免。

3、老数据会随着层级的层架,进入更深层,契合了是冷热数据查询的场景。

参考资料:

本作品采用 知识共享署名 4.0 国际许可协议 进行许可。

转载时请注明原文链接:https://blog.hufeifei.cn/2023/08/DB/time-series&rdbms/

鼓励一下
支付宝微信