笔记本就能运行的ChatGPT平替来了，附完整版技术报告
自从OpenAI发布ChatGPT后，最近几个月聊天机器人热度不减。虽然ChatGPT功能强大，但OpenAI几乎不可能将其开源。不少人都在做开源方面的努力，比如前段时间Meta开源的LLaMA。其是一系列模型的总称，参数量从70亿到650亿不等，其中，130亿参数的LLaMA模型「在大多数基准上」可以胜过参数量达1750亿的GPT-3。LLaMA的开源可是利好众多研究者，比如斯坦福在LLaMA的基础上加入指令微调（instructtuning），训练了一
自从 OpenAI 发布 ChatGPT 后，最近几个月聊天机器人热度不减。
虽然 ChatGPT 功能强大，但 OpenAI 几乎不可能将其开源。不少人都在做开源方面的努力，比如前段时间 Meta 开源的 LLaMA。其是一系列模型的总称，参数量从 70 亿到 650 亿不等，其中，130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过参数量达 1750 亿的 GPT-3。
LLaMA 的开源可是利好众多研究者，比如斯坦福在 LLaMA 的基础上加入指令微调（instruct tuning），训练了一个名为 Alpaca（羊驼）的 70 亿参数新模型（基于 LLaMA 7B）。结果显示，只有 7B 参数的轻量级模型 Alpaca 性能可媲美 GPT-3.5 这样的超大规模语言模型。
又比如，我们接下来要介绍的这个模型 GPT4All，也是一种基于 LLaMA 的新型 7B 语言模型。项目上线两天，Star 量已经突破 7.8k。
项目地址：https://github.com/nomic-ai/gpt4all
简单来讲，GPT4All 在 GPT-3.5-Turbo 的 800k 条数据上进行训练，包括文字问题、故事描述、多轮对话和代码。
根据项目显示，M1 Mac、Windows 等环境都能运行。
我们先来看看效果。如下图所示，用户可以和 GPT4All 进行无障碍交流，比如询问该模型：「我可以在笔记本上运行大型语言模型吗？」GPT4All 回答是：「是的，你可以使用笔记本来训练和测试神经网络或其他自然语言（如英语或中文）的机器学习模型。重要的是，你需要足够可用的内存 （RAM） 来适应这些模型的大小……」
接下来，如果你不清楚到底需要多少内存，你还可以继续询问 GPT4All，然后它给出回答。从结果来看，GPT4All 进行多轮对话的能力还是很强的。
在 M1 Mac 上的实时采样
有人将这项研究称为「改变游戏规则，有了 GPT4All 的加持，现在在 MacBook 上本地就能运行 GPT。」
与 GPT-4 相似的是，GPT4All 也提供了一份「技术报告」。
技术报告地址：https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf
这份初步的技术报告简要描述了 GPT4All 的搭建细节。研究者公开了收集的数据、数据整理程序、训练代码和最终的模型权重，以促进开放研究和可重复性，此外还发布了模型的量化 4 位（quantized 4-bit）版本，这意味着几乎任何人都可以在 CPU 上运行该模型。
接下来，让我们看看这份报告中写了什么。
GPT4All 技术报告
1、数据收集和整理
在 2023 年 3 月 20 日至 2023 年 3 月 26 日期间，研究者使用 GPT-3.5-Turbo OpenAI API 收集了大约 100 万对 prompt 回答。
首先，研究者通过利用三个公开可用的数据集来收集不同的问题 /prompt 样本：
- LAION OIG 的统一 chip2 子集
- Stackoverflow Questions 的一个随机子样本集 Coding questions
- Bigscience/P3 子样本集进行指令调优
参考斯坦福大学 Alpaca 项目 (Taori et al., 2023)，研究者对数据准备和整理给予了大量关注。在收集了最初的 prompt 生成对的数据集后，他们将数据加载到 Atlas 进行整理和清理，删除了所有 GPT-3.5-Turbo 未能响应 prompt 并产生畸形输出的样本。这使得样本总数减少到 806199 个高质量的 prompt - 生成对。接下来，研究者从最终的训练数据集中删除了整个 Bigscience/P3 子集，因为它的输出多样性非常低。P3 包含许多同质化的 prompt，这些 prompt 从 GPT-3.5-Turbo 中产生了简短而同质化的反应。
这种排除法产生了一个包含 437,605 个 prompt - 生成对的最终子集，如图 2 所示。
模型训练
研究者在 LLaMA 7B (Touvron et al., 2023) 的一个实例中将几个模型进行微调。他们最初的公开版本相关的模型是用 LoRA (Hu et al., 2021) 在 437605 个后处理的例子上以 4 个 epoch 训练的。详细的模型超参数和训练代码可以在相关的资源库和模型训练日志中找到。
可重复性
研究者发布了所有的数据（包括未使用的 P3 generations）、训练代码和模型权重，供社区进行复现。感兴趣的研究者可以在 Git 存储库中找到最新的数据、训练细节和检查点。
成本
研究者大概用了四天的时间制作这些模型，GPU 成本为 800 美元（从 Lambda 实验室和 Paperspace 租的，其中包括几次失败的训练），此外还有 500 美元的 OpenAI API 费用。
最终发布的模型 gpt4all-lora 可以在 Lambda 实验室的 DGX A100 8x 80GB 上用大约 8 小时训练完成，总成本为 100 美元。
这个模型可以在普通笔记本上运行，真就像网友说的「除了电费之外，没有任何成本。」
评估
研究者使用 SelfInstruct 论文 (Wang et al., 2022) 中的人类评估数据对该模型进行了初步评估。报告还对比了该模型与已知最好的公开的 alpaca-lora 模型（该模型由 huggingface 的用户 chainyo 提供）的 ground truth 困惑度。他们发现，所有的模型在少数任务上都有非常大的困惑度，并且报告的困惑度最大为 100。与 Alpaca 相比，在这个收集的数据集上进行微调的模型在 Self-Instruct 评估中表现出了更低的困惑度。研究者表示，这个评估不是详尽的，仍存在进一步的评估空间 —— 他们欢迎读者在本地 CPU 上运行该模型（文件见 Github），并对它的能力有一个定性的认识。
最后，需要注意的是，作者公布了数据和训练细节，希望它能加速开放的 LLM 研究，特别是在对齐和可解释性领域。GPT4All 模型的权重和数据仅用于研究目的，并获得许可，禁止任何商业使用。GPT4All 是基于 LLaMA 的，LLaMA 具有非商业许可。助理数据是从 OpenAI 的 GPT-3.5-Turbo 收集的，其使用条款禁止开发与 OpenAI 进行商业竞争的模型。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，