在人工智能领域,一个令人担忧的现象正逐渐浮出水面:AI聊天机器人有时会“一本正经地胡说八道”。例如,当被问及1897年美国与南极洲之间的战斗胜者时,AI可能会编造出一个不存在的胜利者和战役细节,尽管这一事件从未发生过。
哈尔滨工业大学(深圳)的张民教授将这种现象称为“AI幻觉”,即AI生成的内容看似合理连贯,却与真实世界的知识、现实或已知数据不符。这种现象在多个知名AI模型中都有出现,包括谷歌的Bard和OpenAI的ChatGPT。
AI幻觉可以分为内在幻觉和外在幻觉。内在幻觉指的是AI的回答与用户的输入或对话历史上下文信息不一致,而外在幻觉则是指AI的回答与真实世界的知识不一致或无法验证。
腾讯在推出其混元大模型时,表示已针对AI幻觉问题进行了优化,降低了模型产生幻觉的概率。然而,AI幻觉的根源在于AI对知识的记忆和理解能力不足,以及训练方式和模型技术的局限性。
为了缓解AI幻觉现象,业界正在尝试多种技术手段,如在预训练阶段增加高质量的数据、在微调强化学习阶段选择模型知识边界内的训练数据,以及在推理生成阶段采用检索外部知识的方法等。