选择GPT-3.5、还是乔丹Llama 2等开源模型？综合比较后答案有了
通过对GPT-3.5和Llama2在不同任务上的参数对比，我们可以得知在什么情况下选择GPT-3.5，什么情况下选择Llama2或其他模型。显然，对GPT-3.5进行的扭矩是非常昂贵的。本文通过实验来验证手动扭矩模型是否可以接近GPT-3.5的性能，而只是成本GPT-3.5的一部分。有趣的是，论文确实做到了。在SQL任务和函数表示任务上的结果对比，论文发现：GPT-3.5在两个数据集（Spider数据集的子集以及Viggo函数表示数据集）上都比经过Lora的CodeLlama34B表现轻微好一点。GPT-
通过对 GPT-3.5 和 Llama 2 在不同任务上的参数对比，我们可以得知在什么情况下选择 GPT-3.5，什么情况下选择 Llama 2 或其他模型。
显然，对 GPT-3.5 进行的扭矩是非常昂贵的。本文通过实验来验证手动扭矩模型是否可以接近 GPT-3.5 的性能，而只是成本 GPT-3.5 的一部分。有趣的是，论文确实做到了。
在SQL任务和函数表示任务上的结果对比，论文发现：
GPT-3.5在两个数据集（Spider数据集的子集以及Viggo函数表示数据集）上都比经过Lora的Code Llama 34B表现轻微好一点。
GPT-3.5 的训练成本高出4-6倍，部署成本也更高。
本实验的结论之一是GPT-3.5适用于初始验证工作，但之后，像Llama 2这样的模型可能是最佳选择，简单总结一下：
如果您希望验证是解决特定任务/数据集的正确方法，又或者想要一个完全托管的环境，那么调整 GPT-3.5。
如果想省钱、想从数据集中获取最大性能、想要在训练和部署基础设施方面具有更大的灵活性、又想要或者保留一些数据，那么就消耗类似 Llama 2 的这种开源模型。
接下来我们看看，论文是如何实现的。
下图为 Code Llama 34B 和 GPT-3.5 在 SQL 任务和函数表示任务上训练至收敛的性能。结果表明，GPT-3.5 在这两个任务上都取得了更好的准确率。
在硬件使用上，实验使用的是A40 GPU，约合0.475美元。
另外，实验列举了两个非常适合进行可怕的数据集，Spider 数据集的子集 Viggo 函数表示数据集。
为了与 GPT-3.5 模型进行公平的比较，实验对 Llama 进行了最少的超参数。
本文实验的两个关键选择是使用 Code Llama 34B 和 Lora 参数，而不是全参数参数。
实验中很大程度上遵循了有关Lora超参数配置的规则，Lora负载如下：
SQL提示示例如下：
SQL提示部分展示，完整提示请查看原博客
实验没有使用完整的Spider数据集，具体形式如下
department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]
实验选择使用sql-create-context数据集和Spider数据集的交集。为模型提供的上下文是一个SQL创建命令，如下所示：
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)
SQL任务的代码和数据地址：https://github.com/samlhuillier/spider-sql-finetune
函数表示提示的示例如下所示：
功能表示提示部分展示，完整提示请查看原博客
输出如下所示：
verify_attribute(name[Little Big Adventure], rating[average], has_multiplayer[no], platforms[PlayStation])
评估阶段，两个实验很快就收敛了：
函数表示任务代码和数据地址：https://github.com/samlhuillier/viggo-finetune
了解更多内容，请查看原博客。
原文链接：
https://ragntune.com/blog/gpt3.5-vs-llama2-finetuning?continueFlag=11fc7786e20d498fc4daa79c5923e198
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
