7.31学术速递：今日学术新知
适应还是不适应？语义分割的实时适应（ICCV2023）标题：适应还是不适应？语义分割的实时适应作者：MarcBotetColomer,PierLuigiDovesi,TheodorosPanagiotakopoulos,JoaoFredericoCarvalho,LinusHärenstam-Nielsen,HosseinAzizpour,HedvigKjellström,DanielCremers,MatteoPoggi文章链接：https://arxiv.or
- 适应还是不适应？语义分割的实时适应（ICCV 2023）
标题：适应还是不适应？语义分割的实时适应
作者：Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi
文章链接：https://arxiv.org/abs/2307.15063
项目代码：https://marcbotet.github.io/hamlet-web/
摘要：
在线域适应在语义分割中的目标是应对部署过程中出现的不可预测的域变化，例如突如其来的天气事件。然而，暴力适应的高计算成本使得这种方法在现实世界的应用中不可行。本文提出了 HAMLET，一种针对实时域适应的硬件感知模块化最便宜训练框架。我们的方法包括一个硬件感知的反向传播编排代理（HAMT）和一个专用的域转移检测器，可以主动控制模型何时以及如何进行调整（LT）。得益于这些创新，我们的方法能够在单个消费级 GPU 上以超过 29FPS 的速度执行语义分割并进行调整。我们的框架在 OnDA 和 SHIFT 基准上的实验结果展示了令人鼓舞的准确性和速度平衡。
主题：cs.RO
- 放大和缩小：语言引导的机器人技能习得
标题：放大和缩小：语言引导的机器人技能习得
作者：Huy Ha, Pete Florence, Shuran Song
文章链接：https://arxiv.org/abs/2307.14535
项目代码：https://www.cs.columbia.edu/~huy/scalingup/
摘要：
我们提出了一个机器人技能获取框架，该框架1）有效地扩大了语言标记机器人数据的数据生成，2）有效地将这些数据提炼成强大的多任务语言条件视觉运动策略。对于（1），我们使用大型语言模型（LLM）来指导高级规划，并使用基于采样的机器人规划器（例如运动或抓取采样器）来生成多样化且丰富的操作轨迹。为了增强此数据收集过程，LLM 还推断每个任务成功条件的代码片段，同时使数据收集过程能够检测失败和重试，并自动标记成功/失败的轨迹。对于（2），我们将扩散策略单任务行为克隆方法扩展到具有语言调节的多任务设置。最后，我们提出了一个新的多任务基准，包含跨五个领域的 18 项任务，以测试长期行为、常识推理、工具使用和直观物理。我们发现，我们的精炼策略成功地学习了数据收集策略中稳健的重试行为，同时将五个域的绝对成功率平均提高了 34.8%。
主题：cs.CL
- 将 TransNormer 扩展到 1750 亿个参数（上海 AI 实验室）
标题：将 TransNormer 扩展到 1750 亿个参数
作者：Zhen Qin, Dong Li, Weigao Sun, Weixuan Sun, Xuyang Shen, Xiaodong Han, Yunshen Wei, Baohong Lv, Fei Yuan, Xiao Luo, Yu Qiao, Yiran Zhong
文章链接：https://arxiv.org/abs/2307.14995
项目代码：https://github.com/OpenNLPLab/TransnormerLLM
摘要：
我们提出了 TransNormerLLM，这是第一个基于线性注意力的大语言模型 (LLM)，它在准确性和效率上都优于传统的基于 softmax 注意力的模型。TransNormerLLM 从之前的线性注意力架构 TransNormer 演变而来，进行了高级修改，包括位置嵌入、线性注意力加速、门控机制、张量归一化、推理加速和稳定性。具体来说，我们将 LRPE 与指数衰减结合使用，以避免注意力稀释问题，同时允许模型保留令牌之间的全局交互。此外，我们提出了闪电注意力（Lightning Attention），这是一种尖端技术，可以在运行时将线性注意力加速两倍以上，并将内存使用量减少四倍。为了进一步增强 TransNormer 的性能，我们利用门控机制来平滑训练，并利用新的张量归一化方案来加速模型，从而获得超过 20% 的令人印象深刻的加速。此外，我们开发了一种强大的推理算法，无论序列长度如何，都能确保数值稳定性和一致的推理速度，从而在训练和推理阶段展现出卓越的效率。可扩展性是我们模型设计的核心，可以在大规模集群上实现无缝部署，并促进扩展到更广泛的模型，同时保持出色的性能指标。我们的模型设计是通过对我们自收集的语料库进行一系列综合实验来实现的，该语料库的大小超过 6TB，包含超过 2 万亿个代币。为了确保数据质量和相关性，我们实施了新的自我清理策略来过滤收集的数据。我们将发布预先训练的模型，以促进高效 LLM 社区的进步。
推荐阅读每日学术速递7.30
2023-07-30
每日学术速递7.29
2023-07-29
这次来真的？室温常压超导全球复现一文速览
2023-07-28
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
