DetectGPT：使用概率曲率的零样本机器生成文本检测
DetectGPT的目的是确定一段文本是否由特定的llm生成，例如GPT-3。为了对段落x进行分类，DetectGPT首先使用通用的预训练模型（例如T5）对段落~xi生成较小的扰动。然后DetectGPT将原始样本x的对数概率与每个扰动样本~xi进行比较。如果平均对数比高，则样本可能来自源模型。ChatGPT是一个热门话题。人们正在讨论是否可以检测到一篇文章是由大型语言模型(LLM)生成的。DetectGPT定义了一种新的基于曲率的准则，用于判断是否从给定的LLM生成。DetectGPT不需要
DetectGPT的目的是确定一段文本是否由特定的llm生成，例如GPT-3。为了对段落 x 进行分类，DetectGPT 首先使用通用的预训练模型（例如 T5）对段落 ~xi 生成较小的扰动。然后DetectGPT将原始样本x的对数概率与每个扰动样本~xi进行比较。如果平均对数比高，则样本可能来自源模型。
ChatGPT是一个热门话题。人们正在讨论是否可以检测到一篇文章是由大型语言模型(LLM)生成的。DetectGPT定义了一种新的基于曲率的准则，用于判断是否从给定的LLM生成。DetectGPT不需要训练单独的分类器，不需要收集真实或生成的段落的数据集，也不需要显式地为生成的文本加水印。它只使用由感兴趣的模型计算的对数概率和来自另一个通用预训练语言模型(例如T5)的文章随机扰动。
1、DetectGPT:随机排列和假设
识别并利用了机器生成的通道x~pθ(左)位于logp (x)的负曲率区域的趋势，其中附近的样本平均具有较低的模型对数概率。相比之下，人类书写的文本x~preal(.)(右)倾向于不占据具有明显负对数概率曲率的区域。
DetectGPT基于一个假设，即来自源模型pθ的样本通常位于pθ对数概率函数的负曲率区域，这是人类文本不同的。如果我们对一段文本 x~pθ 应用小的扰动，产生 ~x，与人类编写的文本相比，机器生成的样本的数量 log pθ(x) - log pθ(~x) 应该相对较大。利用这个假设，首先考虑一个扰动函数 q(.|x)，它给出了在 ~x 上的分布，x 的略微修改版本具有相似的含义（通常考虑粗略的段落长度文本 x）。例如，q(.|x) 可能是简单地要求人类重写 x 的其中一个句子的结果，同时保留 x 的含义。使用扰动函数的概念，可以定义扰动差异 d (x; pθ, q)：
因此，下面的假设 4.1也就是：
如果q(.|x)是来自掩码填充模型(如T5)的样本而不是人类重写，那么假设4.1可以以自动的、可扩展的方式进行经验检验。
2、DetectGPT：自动测试
对一篇文章进行改写后，模型生成的文章的对数概率(扰动差异)的平均下降始终高于人工书写的文章
对于真实数据，使用了XSum数据集中的500篇新闻文章。当提示XSum中每篇文章的前30个令牌时，使用四个不同llm的输出。使用T5-3B施加扰动，遮蔽随机采样的2个单词跨度，直到文章中15%的单词被掩盖。上面公式(1)中的期望近似于T5中的100个样本。
上述实验结果表明，人写文章和模型样本的摄动差异分布有显著差异;模型样本往往有较大的扰动差异。根据这些结果，就可以通过简单地阈值扰动差异来检测一段文本是否由模型p生成。
通过用于估计 E~x q(.|x) log p (~x) 的观测值的标准偏差对扰动差异进行归一化提供了更好的检测，通常将 AUROC 增加 0.020 左右， 所以在实验中使用了扰动差异的归一化版本。
DetectGPT 的检测过程伪代码
扰动差异可能是有用的，它测量的是什么还无法明确解释，所以作者在下一节中使用曲率进行解释。
3、将微扰差异解释为曲率
扰动差异近似于候选段落附近对数概率函数局部曲率的度量，更具体地说，它与对数概率函数的 Hessian 矩阵的负迹成正比。
这一节内容比较多，这里就不详细解释了，有兴趣的可以看看原论文，大概总结如下：
语义空间中的采样确保所有样本都保持在数据流形附近，因为如果随机添加扰动标记，预计对数概率总是下降。所以可以将目标解释为近似限制在数据流形上的曲率。
4、结果展示
零样本机器生成文本检测
每个实验使用150到500个例子进行评估。机器生成的文本是通过提示真实文本的前30个标记来生成的。使用AUROC)评估性能。
可以看到DetectGPT最大程度地提高了XSum故事的平均检测精度(AUROC提高0.1 )和SQuAD维基百科上下文(AUROC提高0.05 )。
对于15种数据集和模型组合中的14种，DetectGPT提供了最准确的检测性能，AUROC平均提高了0.06。
与有监督检测器的比较
在真实文本和生成文本的大型数据集上训练的有监督的机器生成文本检测模型在分布内(顶部行)文本上的表现与DetectGPT一样好，甚至更好。零样本方法适用于新域(底部一行)，如PubMed医学文本和WMT16中的德语新闻数据。
来自每个数据集的200个样本进行评估，监督检测器对英语新闻等分布内数据的检测性能与DetectGPT相似，但在英语科学写作的情况下，其表现明显差于零样本方法，而在德语写作中则完全失败。
DetectGPT检测GPT-3的平均AUROC与专门为机器生成文本检测训练的监督模型相当。
从PubMedQA、XSum和writingprompt数据集中抽取了150个示例。将两种预训练的基于roberta的检测器模型与DetectGPT和概率阈值基线进行了比较。DetectGPT 可以提供与更强大的监督模型竞争的检测。
机器生成文本检测的变体
这部分是看检测器是否可以检测到人工编辑的机器生成文本。通过用 T5–3B 中的样本替换文本的 5 个单词跨度来模拟人工修订，直到 r% 的文本被替换。即使模型样本中近四分之一的文本已被替换，DetectGPT 仍能将检测 AUROC 保持在 0.8 以上。DetectGPT 显示了所有修订级别的最强检测性能。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Beamer 4是面向macOS的本地视频投屏工具，可将Mac中的影片投放到Apple TV、Chromecast及兼容设备，支持常见格式、多类字幕、环绕声、播放列表和电视遥控操作。
Boom 3D macOS版是一款系统级音效增强工具，可为音乐、电影、游戏和流媒体提供3D虚拟环绕声、31段均衡器、音量增强及应用独立音量控制，并支持本地播放器与多种音频输出设备。
Boris FX macOS版是一套面向剪辑、合成、调色及动态图形工作的专业后期工具，涵盖视觉特效、平面与三维跟踪、转描、画面修复、粒子动画和音频清理，可配合多种主流宿主软件使用。
Capto 是面向 macOS 的屏幕截图、高清录屏与媒体编辑工具，支持区域及整屏捕获、网页长截图、双音轨处理、图片和视频标注、素材分类与多渠道分享，适合教师、学生、内容创作者及需要制作演示教程的用户。
Cursor Crane 是一款仅面向 macOS 的键盘操控效率工具，可通过提示标签、网格、文字查找和窗口模式完成点击、滚动、定位与切换，并支持屏幕内容提取、脚本及工作流扩展。
Deep Freeze 冰点还原 macOS版通过冻结系统配置，让受保护的Mac在重新启动后回到预设状态，并提供解冻空间、维护计划、密码保护及Apple Remote Desktop管理能力。
Focusky macOS版是一款面向教学课件、商务汇报、产品展示和动画宣传内容的演示制作工具。它通过无限画布、路径编排、缩放旋转转场及多媒体编辑，将传统逐页幻灯片转化为更具空间感的动态演示。
Folder Colorizer 2 macOS版是一款直观的文件夹外观定制工具，可更换颜色，添加表情、贴纸及图片背景，并支持批量处理、智能推荐和恢复默认样式，帮助用户更快辨认工作、学习与生活资料。
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。
AlwaysUp是一款面向Windows的系统服务注册与程序托管工具，可让普通应用、脚本及批处理在无人登录时随系统启动，并通过状态检测、异常重启、资源监控和邮件通知保障关键任务持续运行。
AnyDesk Windows版是一款轻量化远程桌面与技术支持工具，可用于控制异地电脑、传输文件、远程打印及无人值守访问。它兼顾连接响应、安全权限和部署灵活性，适合个人远程办公、企业设备维护与客服支持。
Boom 3D Windows版是一款面向音乐、电影和游戏场景的系统级音效增强工具，支持虚拟3D环绕声、31段均衡器、预设音效、应用音量控制及本地音乐播放，可配合耳机、扬声器和蓝牙耳机使用。
Boris FX Windows版是一套服务于影视剪辑、视觉特效、运动跟踪、转描、图像修饰及音频修复的专业创作工具集合，可作为插件接入多种主流后期宿主，也包含可独立运行的应用，适合剪辑师、特效师与内容创作者使用。
ChemDraw Windows版是一款面向化学研究、药物研发、材料科学和教学工作的专业结构绘图工具，可快速绘制分子、反应式及生物聚合物，并提供结构整理、格式转换、性质计算和科研文档协作能力。
CODESOFT Windows版是一套企业级条码与RFID标签设计打印工具，可连接Excel、Access、SQL及云端数据源，支持变量、表单、GS1条码、数据库记录和多种工业打印机，适合制造、仓储、物流及合规标识场景。
Deep Freeze 冰点还原 Windows版通过重启恢复技术保护系统盘及指定分区，自动撤销恶意程序、误操作和配置漂移造成的改动，并支持密码保护、解冻空间与多硬盘管理，适合学校机房、公共电脑、办公终端及家庭电脑使用。
EDIUS 11 Windows版是一款面向影视制作、广播电视、纪录片、短视频及教育机构的专业非线性编辑工具，支持4K/8K、多格式混编、HDR调色、字幕、音频处理和后台渲染，并提供素材管理及丰富的导出预设。
FastStone Capture Windows版是一款轻量级屏幕捕捉、录屏与图像编辑工具，可截取窗口、区域、菜单和滚动页面，并提供标注、模糊、取色、OCR、录音录像及多格式导出能力，适合办公说明、教程制作和问题反馈。
Focusky Windows版是一款动画演示与交互课件制作工具，通过无限画布、缩放旋转镜头、模板素材和对象动画组织内容，可导入PPTX，并输出视频、EXE、PDF、网页等格式，适用于课堂教学、微课、商务汇报及产品展示。