用大模型帮忙整理文献综述,初看条理清晰、引用规范,逐条核对却发现三篇参考文献根本不存在;让AI帮忙解读实验数据,结论写得头头是道,单位却换算错了。这类"一本正经地编造"被称为大模型幻觉。AI正在进入文献解读、实验总结、方案起草等科研环节,如何识别和核查幻觉输出,已经成为科研团队绕不开的功课。
科研场景中的幻觉长什么样
与日常聊天不同,科研场景的幻觉往往披着专业外衣,更难一眼识别。典型表现有四类:一是虚构引用,编造看似合理的作者、期刊、卷期页码甚至DOI;二是编造数据,对未提供的参数给出"确定的"数值,或对趋势给出没有依据的定量结论;三是概念混淆,把相近但不同的术语混用,如把检测限说成定量限;四是过度概括,把单一条件下的结论推广为普适规律。共同特征是表述流畅、格式规范,但关键信息经不起溯源。
幻觉为什么难以避免
大模型生成文本的机制是基于概率的续写,而不是检索事实。当训练数据中缺少相应信息,或问题超出其可靠知识范围时,模型不会回答"不知道",而是生成形式上合理的文本。可以理解为:模型的强项是语言组织,弱项是事实存档。因此,幻觉不是偶发故障,而是使用生成式AI时必须预设的常态风险,管理手段是核查流程,而不是寄望于模型自我纠正。
科研AI输出的核查方法
| 核查维度 | 核查动作 | 判定标准 |
| 引用核查 | 逐条检索文献标题、DOI与作者 | 所有引用可溯源到真实文献 |
| 数据核查 | 与原始记录、仪器导出数据比对 | 数值、单位、条件与记录一致 |
| 概念核查 | 对照药典、标准或教科书术语 | 术语使用准确、边界清楚 |
| 结论核查 | 检查结论是否有对应数据支撑 | 结论范围不超过证据范围 |
| 完整性核查 | 检查是否遗漏关键限制条件 | 适用条件与限制一并呈现 |
一个实用习惯是把AI输出当作"待验证的草稿"而不是"成品答案":凡是会进入实验记录、报告、申报材料的句子,都要能指出其来源——要么来自被核实的文献,要么来自本组数据,要么来自人工判断。
把AI用在恰当的位置
降低幻觉风险另一个方向是选对任务。结构化整理、语言润色、格式转换、初步检索线索等任务中,AI输出容易核验,风险可控;而需要事实精确性的环节,如法规条文引用、关键参数确认、临床结论表述,应保留人工主导,AI只做辅助整理。衍因智研云的灵研科研助手将AI文献解读、实验总结定位为辅助能力,输出内容与原始文献、实验记录关联呈现,便于使用者逐条回溯核对,为"AI生成、人工复核"提供了可落地的工具形态。
常见问题
提示词写得好一点,幻觉就没有了吗?
提示词优化可以减少幻觉,但不能消除。要求模型标注不确定、给出处,能降低核查成本,但关键信息仍需逐条验证,尤其是引用和数值。
AI编造的参考文献有迹象可循吗?
常见的可疑迹象包括:期刊与主题不匹配、作者组合反常、DOI格式正确但检索不到、卷期页码异常整齐。但最可靠的判断只有一个——去数据库检索核实。
AI生成的实验总结能直接存入实验记录吗?
建议先人工复核再入库,并保留复核痕迹。总结中与原始数据不一致的部分以原始记录为准。将AI输出与原始记录关联存档,既保留效率,也保住可追溯性。
团队层面如何统一管理这类风险?
两点最有效:在数据管理规范中写明AI输出的使用边界与复核要求;对高频使用场景提供核查清单和培训。让每个人都知道哪些环节必须二次核对,比单纯禁止或放任都更可持续。
大模型是科研效率的真实助力,但它的输出需要被当作需要核验的材料而非权威结论。建立"生成—核查—留痕"的使用习惯,团队才能既享受AI效率,又不为幻觉买单。可以从为高频AI场景配一份核查清单开始,衍因灵研智能体提供了AI输出与原始资料关联的辅助能力,可作为起步工具。