10万美元+26天，一个低成本千亿参数LLM就诞生了
包括仅解码器结构（如GPT和LLAMA系列模型）、仅编码器结构（如BERT）和编码器-解码器结构（如T5）以及它们的变体模型在内的大型语言模型（LLM）已经取得了非凡的成功，并已被广泛用于各种语言处理和多模态任务。尽管如此成功，训练LLM的成本还是过于高昂，以至于仅有少数公司能承受其训练成本。此外，当前的趋势说明未来还会使用更大规模的训练数据，这会进一步推升大模型的研发成本。举个例子，LLAMA-1训练使用了1-1.4TBtoken，而Llama2更是达到了2TB。研发LLM的另一大关键性挑战是评估。主流
论文：https://arxiv.org/pdf/2309.03852.pdf
需要重写的内容是：模型链接：https://huggingface.co/CofeAI/FLM-101B
语言本质上是符号的。已经有一些研究在使用符号而非类别标签来评估 LLM 的智能水平。类似地，该团队使用了一种符号映射方法来测试 LLM 在未曾见过的上下文上的泛化能力。
人类智能的一大重要能力是理解给定的规则并采取相应的行动。这种测试方法已被广泛用在各种等级的测验中。因此，规则理解成为这里的第二项测试。
重写后的内容：模式挖掘是智能的重要组成部分，它涉及到归纳和演绎。在科学发展历史中，这种方法起着至关重要的作用。此外，各种竞赛的测试题也常常需要这种能力才能解答。出于这些原因，我们选择了模式挖掘作为第三个评估指标
最后一个也很重要的指标是抗干扰能力，这也是智能的核心能力之一。已有研究指出，语言和图像都很容易被噪声干扰。考虑到这一点，该团队把抗干扰用作了最后一个评估指标。
研究者表示，这是一个使用增长策略从头开始训练超过千亿参数的LLM研究尝试。同时，这也是目前成本最低的千亿参数模型，仅需10万美元成本
通过改进 FreeLM 训练目标、有潜力的超参数搜索方法和功能保留型增长，这项研究解决了不稳定问题。研究者相信该方法也能为更广大的科研社区提供助力。
研究人员还对新模型与之前的强大模型进行了实验比较，包括使用面向知识的基准和新提出的系统性IQ评估基准。实验结果显示，FLM-101B模型具有竞争力且稳健
该团队会发布模型检查点、代码、相关工具等，以推进千亿参数规模的汉语和英语双语 LLM 的研究开发。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，