零基础教程：手把手教你制作MoE大模型
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！HuggingFace上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。作者介绍，MakeMoE是受到OpenAI创始成员AndrejKarpathy的makemore启发并以之为基础编写的。makemore是一个针对自然语言处理和机器学习的教学项目，意在帮助学习者理解并实现一些基本模型。同样，MakeMoE也是在一步步的搭建过程中，
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！
Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。
这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。
作者介绍，MakeMoE是受到OpenAI创始成员Andrej Karpathy的makemore启发并以之为基础编写的。
makemore是一个针对自然语言处理和机器学习的教学项目，意在帮助学习者理解并实现一些基本模型。
同样，MakeMoE也是在一步步的搭建过程中，帮助学习者更深刻地理解混合专家模型。
那么，这份“手搓攻略”具体都讲了些什么呢？
从头开始搭建MoE模型
和Karpathy的makemore相比，MakeMoE用稀疏的专家混合体代替了孤立的前馈神经网络，同时加入了必要的门控逻辑。
同时，由于过程中需要用到ReLU激活函数，makemore中的默认初始化方式被替换成了Kaiming He方法。
想要创建一个MoE模型，首先要理解自注意力机制。
模型首先通过线性变换，将输入序列变换成用查询（Q）、键（K）和值（V）表示的参数。
这些参数随后被用于计算注意力分数，这些分数决定了在生成每个token时，模型对序列中每个位置的关注程度。
为了确保模型在生成文本时的自回归特性，即只能基于已经生成的token来预测下一个token，作者使用了多头因果自注意力机制。
这种机制通过一个掩码来实现将未处理的位置的注意力分数设置为负无穷大，这样这些位置的权重就会变为零。
多头因果则是让模型并行地执行多个这样的注意力计算，每个头关注序列的不同部分。
完成自注意力机制的配置后，就可以创建专家模块了，这里的“专家模块”是一种多层感知器。
每个专家模块包含一个线性层，它将嵌入向量映射到一个更大的维度，然后通过非线性激活函数（如ReLU），再通过另一个线性层将向量映射回原始的嵌入维度。
这样的设计使得每个专家能够专注于处理输入序列的不同部分，并通过门控网络来决定在生成每个token时应该激活哪些专家。
于是，接下来就要开始构建分配和管理专家的组件——门控网络。
这里的门控网络同样是通过一个线性层实现，该层将自注意力层的输出映射到专家模块的数量。
这个线性层的输出是一个分数向量，每个分数代表了对应专家模块对于当前处理的token的重要性。
门控网络会计算这个分数向量的top-k值并记录其索引，然后从中选择top-k个最大的分数，用来加权对应的专家模块输出。
为了在训练过程中增加模型的探索性，作者还引入了噪声，避免所有token都倾向于被相同的专家处理。
这种噪声通常通过在分数向量上添加随机的高斯噪声实现。
获得结果后，模型有选择地将前k个值与相应token的前k个专家的输出相乘，然后相加形成加权和，构成模型的输出。
最后，将这些模块在一起，就得到一个MoE模型了。
针对以上的整个过程，作者都提供了相应的代码，可以到原文中具体了解。
另外，作者还制作了端到端的Jupyter笔记，可以在学习各模块的同时直接运行。
感兴趣的话，就赶快学起来吧！
原文地址：https://huggingface.co/blog/AviSoori1x/makemoe-from-scratch
笔记版本（GitHub）：https://github.com/AviSoori1x/makeMoE/tree/main
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。