《利用多模态数据集增强药物不良事件检测：语料库创建和模型开发》

药物不良事件（ADE）包括药物使用造成的任何伤害，无论是意外、超说明书用药，还是由于用药差错造成的。药物不良反应（ADR）是一种特殊类型的药物不良事件(ADE)，指的是在规定剂量下正确使用药物而引起的意外伤害。不当用药或超说明书用药造成的伤害不属于药物不良反应（ADR）。药物不良事件（ADE）造成了重大的公共卫生问题，导致大量死亡、重伤、数百万人住院和长期住院。因而造成了巨大的经济负担，使全球医疗行业蒙受巨大资金损失。尽管医疗行业已取得了很大进步，但药物不良事件（ADE）检测仍然是一个重大难题。实施有效的检测和监测策略可以大大减轻对患者和医疗行业的不利影响。以往的药物不良事件检测工作大多仅基于文本数据，由于其主观性和缺乏视觉线索的具体细节，存在明显的缺陷，导致药物不良事件检测可能不准确和分类不完整。尽管进行了广泛的研究，但将文本数据与图像等视觉信息整合的潜力在很大程度上被忽视了。

视觉辅助在药物不良事件检测中至关重要，原因有很多。相当一部分人不能熟练使用医学术语，妨碍了对症状的准确描述。此外，某些症状本身就很难通过语言文字表达出来。患者可能很难区分一些类似的症状，如皮疹、湿疹、脱皮和水疱。再者，图像可能会给缺乏足够医学专业知识的人带来困惑。在这些场景中，文本和图像的整合可以提高药物不良事件检测的准确性和有效性，提供对患者当前医疗状况的全面了解。据作者们所知，之前还没有探索过使用图像和文本数据进行药物不良事件检测，他们为此引入了一个多模态药物不良事件数据集，其中包括药物不良反应图像和相应的文本描述。

大语言模型（LLMs）和视觉语言模型（VLMs）在生成类人文本方面表现出了卓越的性能，这便激励人们将其整合到各种医疗应用中，包括生成胸片报告、生成摘要或小结，以及医疗问答等任务。然而，它们在涉及文本和图像的药物不良事件检测中的潜力尚未得到应有的探索。利用大语言模型和视觉语言模型来完成这项任务存在固有的局限性，因为它们主要是在ImageNet、维基百科和互联网等数据库中的通用自然图像上进行训练的。通用模型可能不具备生成综合性的说明文字所需的专业医学知识，这可能会导致描述过于简单，忽视症状和医学的复杂性等基本细节。

在这项研究的模型开发中，作者采用了“指令BLIP”，它建立在BLIP-2的坚实基础之上，BLIP-2是一个具有高质量视觉表示和强大语言生成能力的预训练模型。细致的微调过程使其能够弥合通用模型与药物不良事件这一特定任务的专业需求之间的差距。此外，作者对BLIP和GIT（生成式图像到文本转换模型）的探索表明，这些模型在微调之前表现出不足的性能。然而，在利用特定领域的数据进行微调后，它们的性能得到了显著改善。