本发明涉及数据处理，具体为一种多核加速的冷冻电镜数据处理系统、方法及存储介质。
背景技术：
1、冷冻电镜技术(cryo-em)是一种革命性的生物医学成像技术，它能够以原子或近原子分辨率观察生物大分子，对药物设计和生物分子结构分析具有重要意义。随着科技的发展，冷冻电镜技术已经能够产生大量的高分辨率数据，这些数据的处理需要极高的计算资源和时间。传统的单核或低效的多核处理方法已经无法满足当前高通量和高精度的数据处理需求，导致数据处理成为制约该技术进一步应用的瓶颈。
2、现有的冷冻电镜数据处理技术主要依赖于传统的计算架构，这些架构通常在处理大规模数据集时显得力不从心。虽然一些系统尝试使用gpu加速特定的图像处理任务，但这些方案往往缺乏灵活的任务调度和动态资源管理机制，使得处理效率和资源利用率仍有较大的提升空间。此外，现有技术通常未能充分利用多核处理器的并行计算能力，处理大数据集时常常出现响应延迟，且难以适应数据量的快速增长。
3、为了解决上述问题，迫切需要开发一种新型的多核加速冷冻电镜数据处理系统。
技术实现思路
1、针对现有技术的不足，本发明提供了一种多核加速的冷冻电镜数据处理系统、方法及存储介质，能够有效整合多核处理器和gpu的计算资源，实现数据处理任务的高效并行执行和动态资源管理。通过引入动态任务重新分配模块和多尺度三维重构技术，不仅能提升处理速度和精度，还能根据实时负载自动优化资源分配，大幅提高系统的灵活性和可扩展性。
2、为实现以上目的，本发明通过以下技术方案予以实现：一种多核加速的冷冻电镜数据处理系统，包括：
3、处理单元，配置为执行数据处理任务，包括多核处理器和gpu，其中多核处理器用于执行多任务并行计算，gpu用于执行并行图像处理任务；
4、数据存储模块，配置为存储冷冻电镜图像数据及其处理过程中生成的中间数据，所述数据存储模块与处理单元连接进行数据交换；
5、动态任务重新分配模块，配置为根据实时监控得到的处理单元的负载情况，动态调整数据处理任务的分配；
6、多尺度三维重构模块，配置为先在低分辨率下快速生成三维模型，然后在高分辨率下细化模型；
7、任务监控模块，配置为实时监控各数据处理任务的执行状态和处理单元的运行负载，所述任务监控模块通过反馈机制与动态任务重新分配模块交互，以调整任务分配策略；
8、任务调度模块，配置为根据任务的依赖关系和优先级，调度各数据处理任务至处理单元。
9、优选的，所述动态任务重新分配模块包括：
10、性能评估单元，配置为通过对处理单元执行标准计算任务来评估其计算性能，并根据评估结果生成性能指标；
11、初始任务分配单元，配置为基于所述性能指标将数据处理任务初步分配给多核处理器和gpu；
12、实时监控单元，配置为实时收集处理单元的负载数据及任务执行进度，以监控系统的实时运行状态；
13、任务迁移单元，配置为在检测到处理单元负载不平衡时，自动重新分配任务，从负载较高的处理单元转移任务到负载较低的处理单元。
14、优选的，所述性能评估单元通过收集cpu使用率、内存使用情况和gpu负载指标进行基准测试，并根据指标计算处理单元的性能评分σi，性能评分的计算公式为：
15、
16、其中，fcpu表示cpu的频率，bmem表示内存带宽，pgpu表示gpu的性能指标，lcurrent表示当前的负载指标。
17、优选的，所述实时监控单元能够识别处理单元的性能瓶颈，并在发现负载超过预定阈值时触发任务迁移，负载偏差的计算公式为：
18、load discrepancy＝max({σi})-min({σi})
19、其中，σi表示各处理单元的性能评分。
20、优选的，所述多尺度三维重构模块包括：
21、低分辨率重构单元，配置为对输入的冷冻电镜数据执行下采样处理，以减少数据量，并在此低分辨率数据上快速生成初步的三维模型；
22、高分辨率细化单元，配置为使用高分辨率数据细化低分辨率生成的初步三维模型，通过图像处理算法在gpu上执行细化操作；
23、并行处理单元，配置为将高分辨率细化过程分解为多个子任务，并在多核处理器和gpu上并行执行这些任务，通过同步机制整合各个子任务的结果，形成最终的三维重构模型。
24、优选的，所述低分辨率重构单元是通过减少像素点实现减少冷冻电镜数据的数据量，降低计算复杂度，并在低分辨率数据上执行快速三维重构算法，使用简化的重构模型来加速处理，获得初步三维结构。
25、优选的，所述高分辨率细化单元实现包括以下步骤：
26、将低分辨率模型使用插值函数恢复至高分辨率；
27、迭代执行细化重构步骤，提高三维模型的精度：
28、
29、其中，α是学习率，表示成本函数关于rhigh的梯度，i代表原始高分辨率数据。
30、优选的，所述并行处理单元实现包括以下步骤：
31、将高分辨率细化任务分解为多个子任务，分配给不同的处理单元；
32、各处理单元并行执行分配到的子任务，进行局部优化；
33、将所有处理单元完成的子任务结果整合，形成完整的高分辨率三维模型。
34、本发明还提供一种多核加速的冷冻电镜数据处理方法，包括以下步骤：
35、通过性能评估单元对每个处理单元进行基准测试，确定其计算能力；
36、根据处理单元的计算能力初步分配任务；
37、实时监控各处理单元的负载和任务执行情况；
38、在负载不均衡时，将部分任务从高负载处理单元迁移至低负载处理单元；
39、在低分辨率下使用下采样函数进行冷冻电镜数据的快速三维重构；
40、恢复低分辨率模型至高分辨率，并使用插值技术和迭代优化算法在高分辨率下进行精细化的三维重构；
41、将高分辨率细化任务分解为多个子任务并行处理，最终整合各子任务的结果。
42、本发明还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的方法。
43、本发明提供了一种多核加速的冷冻电镜数据处理系统、方法及存储介质。
44、具备以下有益效果：
45、1、本发明的多核加速冷冻电镜数据处理系统通过高效的并行处理架构和智能的任务管理，显著提高了数据处理的速度和精度，动态任务重新分配能够根据实时负载优化资源使用，减少能源消耗，提高系统的响应速度和处理能力，多尺度三维重构策略能够有效地处理大量数据，同时保持高精度的输出结果。
46、2、本发明通过动态任务重新分配模块，系统能够根据实时监控得到的负载情况，动态调整任务分配，从而优化资源利用率，避免处理单元过载或空闲，提升整体系统的计算效率和稳定性。
47、3、本发明多尺度三维重构模块先在低分辨率下快速生成初步模型，再在高分辨率下进行细化处理。此多尺度策略不仅加快了初步重构的速度，还确保了最终模型的高精度和细节丰富度，满足高分辨率成像需求。
48、4、本发明任务调度模块根据任务的依赖关系和优先级，科学合理地调度各数据处理任务至适当的处理单元，确保任务执行的连贯性和效率，避免任务冲突和资源争抢。
1.一种多核加速的冷冻电镜数据处理系统，其特征在于，包括：
2.根据权利要求1所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述动态任务重新分配模块包括：
3.根据权利要求2所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述性能评估单元通过收集cpu使用率、内存使用情况和gpu负载指标进行基准测试，并根据指标计算处理单元的性能评分σi，性能评分的计算公式为：
4.根据权利要求2所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述实时监控单元能够识别处理单元的性能瓶颈，并在发现负载超过预定阈值时触发任务迁移，负载偏差的计算公式为：
5.根据权利要求1所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述多尺度三维重构模块包括：
6.根据权利要求5所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述低分辨率重构单元是通过减少像素点实现减少冷冻电镜数据的数据量，降低计算复杂度，并在低分辨率数据上执行快速三维重构算法，使用简化的重构模型来加速处理，获得初步三维结构。
7.根据权利要求6所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述高分辨率细化单元实现包括以下步骤：
8.根据权利要求7所述的一种多核加速的冷冻电镜数据处理系统，其特征在于，所述并行处理单元实现包括以下步骤：
9.一种多核加速的冷冻电镜数据处理方法，基于权利要求1-8任一项所述的系统，其特征在于，包括以下步骤：
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求9任一项所述的方法。
