用搜索增强生成技术解决人工智能幻觉问题
作者|RahulPradhan来源|https://www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html人工智能有望成为当代最具影响力的技术。最近在transformer技术和生成式人工智能方面取得的进展已经展示了其大规模释放创新和独创性的潜力。然而，生成式人工智能并非没有挑战——这些挑战甚至可能会严重阻碍这一变革性技术的应用和价值创造。随着生成式人工智
作者| Rahul Pradhan
来源| https://www.infoworld.com/article/3708254/addressing-ai-hallucinations-with-retrieval-augmented-generation.html
人工智能有望成为当代最具影响力的技术。最近在transformer技术和生成式人工智能方面取得的进展已经展示了其大规模释放创新和独创性的潜力。
然而，生成式人工智能并非没有挑战——这些挑战甚至可能会严重阻碍这一变革性技术的应用和价值创造。随着生成式人工智能模型的复杂性和能力不断提高，它们也带来了独特的挑战，包括生成不基于输入数据的输出
这些所谓的 "幻觉 "是指模型产生的输出结果虽然连贯，但可能脱离了事实或输入背景。本文将简要介绍生成式人工智能的变革性影响，审视该技术的不足和挑战，并讨论可用于缓解幻觉的技术。
生成式人工智能的变革效应
重新表述为：生成式人工智能模型利用深度学习这一复杂计算过程来识别大量数据集中的模式，并利用这些信息创造出新的、令人信服的输出。这些模型采用了机器学习技术中的神经网络，其灵感源自于人脑处理和解释信息的方式，并随着时间的推移不断学习进步
OpenAI的GPT-4和谷歌的PaLM 2等生成式人工智能模型有望在自动化、数据分析和用户体验方面带来创新。这些模型可以编写代码、总结文章，甚至帮助诊断疾病。然而，这些模型的可行性和最终价值取决于它们的准确性和可靠性。在医疗保健、金融或法律服务等关键领域，准确性的可靠性至关重要。但对于所有用户来说，要充分发挥生成式人工智能的潜力，就必须解决这些挑战
大型语言模型的缺点
LLM 从根本上说是概率性和非确定性的。它们根据下一个特定词序出现的可能性生成文本。LLM 没有知识概念，完全依赖于通过训练有素的数据语料库作为推荐引擎进行导航。它们生成的文本一般遵循语法和语义规则，但完全以满足与提示的统计一致性为基础。
LLM 的这种概率性质既是优点也是缺点。如果目标是得出正确答案或根据答案做出关键决定，那么幻觉就是不好的，甚至会造成损害。然而，如果目标是创造性的努力，那么可以利用 LLM 培养艺术创造力，从而相对较快地创作出艺术作品、故事情节和剧本。
然而，无论目标如何，无法信任 LLM 模型的输出都会造成严重后果。这不仅会削弱人们对这些系统能力的信任，还会大大降低人工智能对加速人类生产力和创新的影响。
最终，人工智能的好坏取决于它所训练的数据。LLM 的幻觉主要是数据集和训练的缺陷造成的，包括以下方面：
- 过度拟合： 当模型对训练数据（包括噪声和异常值）的学习效果太好时，就会出现过度拟合。模型的复杂性、训练数据的噪声或训练数据的不足都会导致过度拟合。这会导致低质量的模式识别，使模型无法很好地泛化到新数据中，从而导致分类和预测错误、与事实不符的输出、信噪比低的输出或完全的幻觉。
- 数据质量： 用于训练的数据的错误标记和错误分类可能在幻觉中起重要作用。有偏差的数据或缺乏相关数据实际上会导致模型输出结果看似准确，但可能被证明是有害的，这取决于模型建议的决策范围。
- 数据稀缺： 数据稀缺或对新鲜或相关数据的需求是导致幻觉并阻碍企业采用生成式人工智能的重要问题之一。使用最新内容和上下文数据刷新数据有助于减少幻觉和偏见。
解决大型语言模型中的幻觉
有几种方法可以解决 LLM 中的幻觉问题，包括微调、提示工程和检索增强生成 (RAG) 等技术。
- 微调是指使用特定领域的数据集重新训练模型，以便更准确地生成与该领域相关的内容。然而，重新训练或微调模型需要较长的时间，此外，如果不持续训练，数据很快就会过时。此外，重新训练模型也会带来巨大的成本负担。
- 提示工程旨在通过在输入中提供更多描述性和说明性特征作为提示，帮助 LLM 得出高质量的结果。为模型提供额外的上下文并使其立足于事实，这样就能降低模型产生幻觉的可能性。
- 检索增强生成（RAG）是一种侧重于用最准确、最新的信息为 LLM 提供基础的框架。通过实时向模型提供来自外部知识库的事实，可以改善 LLM 的响应。
检索增强生成和实时数据
检索增强生成是提高大型语言模型准确性的最有前途的技术之一。事实证明，RAG 与实时数据相结合可大大减轻幻觉。
RAG通过利用最新的专有数据和上下文数据，使企业能够利用LLM。此外，RAG还能够利用特定语境信息丰富输入内容，从而帮助语言模型生成更准确、与语境更相关的响应。在企业环境中，微调往往是不切实际的，但RAG提供了一种低成本、高收益的替代方案，可用于提供个性化、信息灵通的用户体验
为了提高 RAG 模型的效率，有必要将 RAG 与可操作的数据存储结合起来，该数据存储能够以 LLMs 的母语存储数据，即被称为嵌入的高维数学向量，用于编码文本的含义。当用户提出查询时，数据库会将其转换为数字向量。这样，无论是否包含相同的术语，都可以通过向量数据库查询相关文本。
高可用性、高性能、能够使用语义搜索存储和查询海量非结构化数据的数据库是 RAG 流程的关键组成部分。
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
