本发明涉及医疗技术和人工智能，具体是指一种基于多模态数据融合的藏医尿诊智能诊断方法。
背景技术：
1、藏医学是祖国医学宝库的重要组成部分，已有三千多年的悠久历史，为藏民族和整个中华民族的繁衍昌盛做出了巨大贡献。藏医诊断疾病的方法大致分为“望、问、触”三种，其中藏医尿诊属望诊范围，是通过观察尿液的颜色、气味、泡沫、沉淀物等诊断疾病的一种方法。
2、随着大数据时代的到来，藏医领域积累了一定数量且日益增长的医疗数据，其中包括尿诊数据。如何结合先进的机器学习和深度学习等算法，学习大量的尿诊数据，自动识别和分析潜在的病理特征，提供更为准确和个性化的信息，辅助藏医进行更为精准的诊断是我们面临的一项任务。
技术实现思路
1、本发明的目的在于，提供一种基于多模态数据融合的藏医尿诊智能诊断方法，以实现智能化辅助医生诊断。
2、为实现上述发明目的，本发明提出一种基于多模态数据融合的藏医尿诊智能诊断方法，该方法包括以下步骤：
3、步骤1：收集藏医尿诊数据信息；
4、步骤2：对步骤1中收集的数据信息预处理和清洗，包括图像与文本的处理，处理后图像数据分类后进行标签标记；
5、步骤3：对步骤2中处理的文本数据进行命名实体识别，提取与尿诊的相关信息；
6、步骤4：基于步骤3中得到的实体识别结果构建提示模板进行智能诊断过程提醒；
7、步骤5：使用clip模型将收集的图像数据与步骤4中构建的提示模板通过进行微量参数微调。
8、优选的，所述步骤1中藏医尿诊数据信息包括患者病历信息，具体为患者病历、尿样图片、医生诊断记录、尿样尿检数据。
9、优选的，所述步骤2中文本数据的处理包括还包括去除重复数据、处理缺失值、统一格式；
10、图像数据处理包括图像尺寸标准化处理，所述标准化处理后图像数据按照藏医疾病分类进行标签标记。
11、优选的，所述步骤3中相关信息包括病理特征、临床表现、疾病名称，包括使用sws-flat模型对收集到的处理之后的文本数据进行命名实体识别。
12、优选的，所述步骤5中使用clip-adapter方法对clip模型进行微量参数微调。
13、优选的，所述clip-adapter方法包括视觉编码器和文本编码器，还包括
14、图像特征f，分类权重矩阵w，特征适配器av(·)和at(·)，softmax温度参数τ，第i类的预测概率pi，第i类的权重向量wi，所有类别的总数n，若i表示真实类别yi＝1，其余情况yi＝0；iy
15、所述clip-adapter方法公式如下：
16、
17、
18、微调后的特征与原始特征混合：
19、f*＝αav(f)t+(1-α)f
20、w*＝βat(w)t+(1-β)w
21、模型预测类别概率：
22、
23、交叉熵损失函数优化特征适配器参数：
24、
25、优选的，所述sws-flat模型包括音节嵌入、词嵌入、句子嵌入，所述词嵌入数据通过与藏文词典匹配获得，所述句子嵌入包括：其中表示向量求平均过程后的中间值，为第i句话的第j个音节所对应的音节嵌入，为第i句话的第j个词所对应的句子嵌入；
26、es为句子嵌入，w为参数矩阵，b是对应的偏置。
27、本发明与现有技术相比的优点在于：本发明在智能藏医尿诊领域具有显著的优势。首先，通过综合利用多模态数据，包括患者病历文本和尿样图片，本发明通过关键词抽取等技术将这些数据进行整合和融合，针对个性化需求，本发明构建了专属的提示词模板，根据病历中的关键信息进行个性化定制，更好地指导后续的智能诊断过程，提高了诊断的精准度和效率。其次，采用clip模型作为主要的诊断工具，并通过clip-adapter方法进行少量参数微调，使其更适应藏医尿诊领域的特点，提高了模型在该领域的适用性和准确性。最后，通过同时结合图像和文本信息进行智能诊断，本发明更全面地考虑了诊断过程中的各种因素，提高了诊断结果的准确性和可信度。本发明在藏医尿诊领域具有卓越的应用前景，为医疗诊断提供了一种全新的智能化解决方案，为患者提供更精准、高效的医疗服务。
1.一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：所述步骤1中藏医尿诊数据信息包括患者病历信息，具体为患者病历、尿样图片、医生诊断记录、尿样尿检数据。
3.根据权利要求2所述的一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：所述步骤2中文本数据的处理包括还包括去除重复数据、处理缺失值、统一格式；
4.根据权利要求1所述的一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：所述步骤3中相关信息包括病理特征、临床表现、疾病名称，包括使用sws-flat模型对收集到的处理之后的文本数据进行命名实体识别。
5.根据权利要求1所述的一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：所述步骤5中使用clip-adapter方法对clip模型进行微量参数微调。
6.根据权利要求5所述的一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：所述clip-adapter方法包括视觉编码器和文本编码器，还包括
7.根据权利要求4所述的一种基于多模态数据融合的藏医尿诊智能诊断方法，其特征在于：所述sws-flat模型包括音节嵌入、词嵌入、句子嵌入，所述词嵌入数据通过与藏文词典匹配获得，所述句子嵌入包括：其中表示向量求平均过程后的中间值，为第i句话的第j个音节所对应的音节嵌入，为第i句话的第j个词所对应的句子嵌入；
