一种对RocksDB内存管理的优化方法及系统与流程

本发明涉及数据库内存分配的优化，具体为一种对rocksdb内存管理的优化方法及系统。
背景技术：
：：1、日志结构合并树，也就是lsmtree如今被广泛应用于现代nosql系统中。与传统的本地更新结构不同，lsmtree在存储数据时，首先缓冲内存中的所有写操作，然后在内存存满时刷新到磁盘。因此磁盘上的组件通常被组织成指数增长的级别，其中较小的层级被合并到相邻的较大层级中。为了绑定合并所占用的临时磁盘空间，现代lsmtree实现通常将磁盘组件的分区划分为许多固定大小的存储空间。2、高效的内存管理对于索引结构要实现高性能至关重要。与所有页面都在缓冲池中管理的更新替换系统相比，lsmtree会产生额外的内存墙。内存组件被分配固定的大小，这就导致活跃的数据集只能分得固定的一部分的有限的写内存。但是最佳内存分配很大程度上取决于工作负载，因此内存管理也必须适应工作负载，才能最大限度地提高系统效率。因此，通过自适应的内存管理结构的方式，来降低因为固定或者平均分配内存对系统造成的可能的负面影响。3、通过lsmtree对内存进行动态的规划和分配管理，以达到对内存进行自适应管理的效果。将rocksdb对内存的固定划分优化为根据lsmtree的存储内存管理结构，根据工作负载进行动态调节写内存和缓冲区缓存内存分配的调优器。4、然而现有的lsmtree实现，如rocksdb，使用静态内存分配方案，虽然这种分配方式比较简单，但是却造成了效率的浪费。这样的情况会产生如下几个问题：5、1.多个之间的内存分配。基于lsm的存储系统通常包含多个lsm tree，来表示不同的数据集和二级索引。每个lsm tree可以具有不同的写特性，因此正确分配和释放它们的内存组件以使得系统效率最大化非常重要。6、2.管理大内存组件。大多数现有的lsm tree实现使用单片b+树或跳表来管理它们的内存组件，因此当内存满时，它们会被全部刷新。对于较大的内存，需要连续刷新内存组件，尽量最小化阻塞来保证最大化内存利用率。此外，由于写放大是由磁盘级别的数量决定的，因此可能需要调整磁盘结构以减少写放大。7、3.磁盘缓冲缓存和内存组件之间的内存分配。在rocksdb使用时，内存需要同时兼顾磁盘的缓冲内存和其中的内存组件系统必须决定如何在二者之间进行分配。这可以表述为一个优化问题。然而，挑战在于准确地建模工作负载特征，特别是当工作负载倾斜时，并确保系统在工作负载波动时做出正确的反应。技术实现思路1、本发明的目的在于提供一种对rocksdb内存管理的优化方法及系统，以解决上述
背景技术：
：中提出的问题。2、为实现上述目的，本发明提供如下技术方案：一种对rocksdb内存管理的优化方法，所述方法包括以下步骤：3、步骤1，将内存空间按照lsm tree的数据结构进行分层划分；4、步骤2，在内存中以分层模式动态分配存储空间，以适应不同场景的内存需求；5、步骤3，当lsm tree的上一层存储空间满足预设的合并条件时，将该层数据通过sstable进行合并，并转移到下一层；6、步骤4，在内存中，按照lsm tree的结构对数据进行合并操作；7、步骤5，将lsm tree的最底层数据刷新到磁盘进行持久化存储；8、步骤6，循环执行步骤3至步骤5，以实现内存到磁盘的循环刷新。9、优选的，lsm tree的分层划分，动态利用内存空间，避免因内存划片造成的内存碎片，提高内存的使用效率。10、优选的，在数据写入过程中，首先在内存中进行数据的初步合并，合并时遵循lsmtree的合并策略，确保数据的逻辑顺序和物理存储顺序的一致性。11、优选的，当lsm tree的某一层数据满足刷新条件时，选择该层中具有最小日志序号的sstable作为刷新对象，将其数据刷新到磁盘中，以确保数据的时序性和完整性。12、优选的，在数据刷新到磁盘的过程中，采用循环刷新机制，每次刷新最底层的数据，并将刷新后的空间重新纳入lsm tree的内存管理循环中，以实现写操作的持续进行和内存空间的高效利用。13、一种对rocksdb内存管理的优化系统，所述系统由数据分层模块、存储分配模块、数据合并模块以及数据存储模块组成；14、数据分层模块，将内存空间按照lsm tree的数据结构进行分层划分；15、存储分配模块，在内存中以分层模式动态分配存储空间，以适应不同场景的内存需求；16、数据合并模块，当lsm tree的上一层存储空间满足预设的合并条件时，将该层数据通过sstable进行合并，并转移到下一层；在内存中，按照lsm tree的结构对数据进行合并操作；17、数据存储模块，将lsm tree的最底层数据刷新到磁盘进行持久化存储。18、优选的，所述数据分层模块，lsm tree的分层划分，动态利用内存空间，避免因内存划片造成的内存碎片，提高内存的使用效率。19、优选的，所述数据合并模块，在数据写入过程中，首先在内存中进行数据的初步合并，合并时遵循lsm tree的合并策略，确保数据的逻辑顺序和物理存储顺序的一致性。20、优选的，所述数据存储模块，当lsm tree的某一层数据满足刷新条件时，选择该层中具有最小日志序号的sstable作为刷新对象，将其数据刷新到磁盘中，以确保数据的时序性和完整性。21、优选的，所述数据存储模块，在数据刷新到磁盘的过程中，采用循环刷新机制，每次刷新最底层的数据，并将刷新后的空间重新纳入lsm tree的内存管理循环中，以实现写操作的持续进行和内存空间的高效利用。22、与现有技术相比，本发明的有益效果是：23、本发明提出的对rocksdb内存管理的优化方法及系统，通过分区内存组件结构和新的刷盘策略，降低写内存的碎片化，更好地调用内存运算能力，以更好地利用写入内存，改善写放大问题造成的损耗；使用lsmtree的形式来对内存进行动态的分配管理，避免因为内存平均分配无法适应各种读写应用场景所带来的性能浪费或者利用率不高等负面影响，提高内存的使用效率。技术特征：1.一种对rocksdb内存管理的优化方法，其特征在于：所述方法包括以下步骤：2.根据权利要求1所述的一种对rocksdb内存管理的优化方法，其特征在于：lsm tree的分层划分，动态利用内存空间，避免因内存划片造成的内存碎片，提高内存的使用效率。3.根据权利要求1所述的一种对rocksdb内存管理的优化方法，其特征在于：在数据写入过程中，首先在内存中进行数据的初步合并，合并时遵循lsm tree的合并策略，确保数据的逻辑顺序和物理存储顺序的一致性。4.根据权利要求1所述的一种对rocksdb内存管理的优化方法，其特征在于：当lsmtree的某一层数据满足刷新条件时，选择该层中具有最小日志序号的sstable作为刷新对象，将其数据刷新到磁盘中，以确保数据的时序性和完整性。5.根据权利要求1所述的一种对rocksdb内存管理的优化方法，其特征在于：在数据刷新到磁盘的过程中，采用循环刷新机制，每次刷新最底层的数据，并将刷新后的空间重新纳入lsm tree的内存管理循环中，以实现写操作的持续进行和内存空间的高效利用。6.一种根据权利要求1-5任意一项所述的对rocksdb内存管理的优化方法的对rocksdb内存管理的优化系统，其特征在于：所述系统由数据分层模块、存储分配模块、数据合并模块以及数据存储模块组成；7.根据权利要求6所述的一种对rocksdb内存管理的优化系统，其特征在于：所述数据分层模块，lsm tree的分层划分，动态利用内存空间，避免因内存划片造成的内存碎片，提高内存的使用效率。8.根据权利要求6所述的一种对rocksdb内存管理的优化系统，其特征在于：所述数据合并模块，在数据写入过程中，首先在内存中进行数据的初步合并，合并时遵循lsm tree的合并策略，确保数据的逻辑顺序和物理存储顺序的一致性。9.根据权利要求6所述的一种对rocksdb内存管理的优化系统，其特征在于：所述数据存储模块，当lsm tree的某一层数据满足刷新条件时，选择该层中具有最小日志序号的sstable作为刷新对象，将其数据刷新到磁盘中，以确保数据的时序性和完整性。10.根据权利要求6所述的一种对rocksdb内存管理的优化系统，其特征在于：所述数据存储模块，在数据刷新到磁盘的过程中，采用循环刷新机制，每次刷新最底层的数据，并将刷新后的空间重新纳入lsm tree的内存管理循环中，以实现写操作的持续进行和内存空间的高效利用。技术总结本发明涉及数据库内存分配的优化
技术领域：
：，具体为一种对RocksDB内存管理的优化方法及系统，包括以下步骤：将内存空间按照LSM Tree的数据结构进行分层划分；在内存中以分层模式动态分配存储空间，以适应不同场景的内存需求；当LSM Tree的上一层存储空间满足预设的合并条件时，将该层数据通过SSTable进行合并，并转移到下一层；在内存中，按照LSM Tree的结构对数据进行合并操作；将LSM Tree的最底层数据刷新到磁盘进行持久化存储；有益效果为：本发明提出的对RocksDB内存管理的优化方法及系统，通过分区内存组件结构和新的刷盘策略，降低写内存的碎片化，更好地调用内存运算能力，以更好地利用写入内存，改善写放大问题造成的损耗。技术研发人员：夏子扬,潘心冰,王宝伟,时云智,张祥钦受保护的技术使用者：浪潮云信息技术股份公司技术研发日：技术公布日：2024/10/24