Mixtral：数据流中的生成式稀疏专家混合模型
想了解更多AIGC的内容，请访问：51CTOAI.x社区https://www.51cto.com/aigc/Cloudera公司数据流首席工程师TimSpann表示，Mixtral-8x7B大型语言模型(LLM)是一个预先训练的生成式稀疏专家混合模型。他表示，这款模型非常有趣，也很容易理解。在适当的指导下，它似乎表现很好。而通过例子，他并不确定Mixtral-8x7B是否比GoogleGemma、MetaLLAMA2或OLLAMAMistral更好。Spann撰写的文章将展示如何使用MixtralLLM
想了解更多AIGC的内容，请访问：
51CTO AI.x社区
https://www.51cto.com/aigc/
Cloudera公司数据流首席工程师Tim Spann 表示，Mixtral-8x7B大型语言模型(LLM)是一个预先训练的生成式稀疏专家混合模型。
他表示，这款模型非常有趣，也很容易理解。在适当的指导下，它似乎表现很好。而通过例子，他并不确定Mixtral-8x7B是否比Google Gemma、Meta LLAMA2或OLLAMA Mistral更好。
Spann撰写的文章将展示如何使用Mixtral LLM，只需要几个步骤就可以针对文本输入运行Mixtral LLM。
该模型可以由轻量级无服务器REST API或Transformer库运行。也可以使用GitHub存储库，其场景最多可容纳32000个令牌。开发人员还可以输入英语、意大利语、德语、西班牙语和法语的提示。关于如何利用这一模型有很多选择项，而本文将展示如何利用Apache NiFi系统构建实时LLM通道。
开发人员需要决定的一个关键问题是将使用什么样的输入（聊天、代码生成、问题答案、文档分析、摘要等）。一旦决定输入，需要创建一些提示，并且进行调整。文中将提供一些指导，帮助提高快速构建技能的能力。Spann在其培训教程中介绍了一些基本的提示工程。
构建最佳提示的指南
提示符的构建对于使其正常工作非常关键，因此使用Apache NiFi系统构建提示符。
流程概述
步骤1：创建并格式化提示符
在构建应用程序时，以下是将要使用的基本提示模板。
提示模板
{ "inputs": "[INST]Write a detailed complete response that appropriately answers the request.[/INST][INST]Use this information to enhance your answer: ${context:trim():replaceAll('"',''):replaceAll('\n', '')}[/INST] User: ${inputs:trim():replaceAll('"',''):replaceAll('\n', '')}" }复制
将在ReplaceText处理器的替换值字段中输入这个提示符。
步骤2：构建对HuggingFace REST API的调用，根据模型进行分类
在数据流中添加一个InvokeHTTP处理器，将HTTP URL设置为Mixtral API URL。
步骤3：查询转换和清理结果
使用QueryRecord处理器来清理和转换抓取generated_text字段的HuggingFace结果。
步骤4：添加元数据字段
使用UpdateRecord处理器来添加元数据字段、JSON读取器和写入器，以及文字值替换值策略(Literal Value Replacement Value Strategy)。而正在添加的字段是添加属性。
发送到Kafka和Slack的概述。
步骤5：将元数据添加到数据流
使用UpdateAttribute处理器来添加正确的“application/json Content Type”，并将模型类型设置为Mixtral。
步骤6：将清理后的记录发送到Kafka Topic
将它发送到本地Kafka代理(可能是Docker或其他)和flank-mixtral8x7B主题。如果不存在，NiFi和Kafka会自动创建一个。
步骤7：重新尝试发送
如果出现问题，将尝试重新发送三次，然后中止。
将数据推送到Slack的概述。
步骤8：将相同的数据发送到Slack供用户回复
第一步是拆分为单个记录，每次发送一个记录。为此使用SplitRecord处理器。
和以前一样，重用JSON树读取器和JSON记录集编写器。像往常一样，选择“1”作为“每次拆分的记录”。
步骤9：使生成的文本可用于消息传递
使用EvaluateJsonPath从Mixtral (on HuggingFace)提取生成的文本。
步骤10：将回复发送到Slack
使用PublishSlack处理器，这是Apache NiFi 2.0的新功能。这需要设定频道名称或频道ID。选择使用“Message Text”属性的发布策略。对于消息文本，使用下面的Slack Response模板。
对于用户的最终回复需要一个 Slack 响应模板，该模板的格式应符合需要的沟通方式。以下是一个具有基本功能的示例。
Slack响应模板===============================================================================================================HuggingFace ${modelinformation} Results on ${date}:Question: ${inputs}Answer:${generated_text}=========================================== Data for nerds ====HF URL: ${invokehttp.request.url}TXID: ${invokehttp.tx.id}== Slack Message Meta Data ==ID: ${messageid} Name: ${messagerealname} [${messageusername}]Time Zone: ${messageusertz}== HF ${modelinformation}Meta Data ==Compute Characters/Time/Type: ${x-compute-characters} / ${x-compute-time}/${x-compute-type}Generated/Prompt Tokens/Time per Token: ${x-generated-tokens} / ${x-prompt-tokens} : ${x-time-per-token}Inference Time: ${x-inference-time}// Queue Time: ${x-queue-time}Request ID/SHA: ${x-request-id} / ${x-sha}Validation/Total Time: ${x-validation-time} / ${x-total-time}===============================================================================================================运行这一程序时，它将看起来像Slack中的下图。
现在已经向 Hugging Face 发送了提示，让它针对 Mixtral 运行，将结果发送到 Kafka，并通过 Slack 回复用户。
现在已经用零代码完成了完整的Mixtral应用程序。
结论
现在，已经使用Apache NiFi、HuggingFace和Slack构建了一个完整的往返程序，以使用新的Mixtral模型构建聊天机器人。
学习摘要
- 学会了如何为HuggingFace Mixtral建立一个提示
- 学习如何清理数据流
- 构建一个可以重用的HuggingFace REST调用
- 处理HuggingFace模型调用结果
- 发送第一条 Kafka 消息
- 格式化和构建Slack调用
- 为生成式人工智能构建一个完整的数据流
如果需要使用新的Apache NiFi 2.0的其他教程，可以查看：
以下是有关构建Slack机器人的更多信息：
- Building a Real-Time Slackbot With Generative AI
- Building an LLM Bot for Meetups and Conference Interactivity
Tim Spann正在编写Apache NiFi 2和生成式人工智能教程。
以下是他提供的一些资源：
Invoke the Mixtral 8x7B model on Amazon Bedrock for text generation
Running Mixtral 8x7b on M1 16GB
Mixtral-8x7B: Understanding and Running the Sparse Mixture of Experts by Mistral AI
Retro-Engineering a Database Schema: Mistral Models vs. GPT4, LLama2, and Bard (Episode 3)
Comparison of Models: Quality, Performance & Price Analysis
A Beginner’s Guide to Fine-Tuning Mixtral Instruct Model
原文标题：Mixtral: Generative Sparse Mixture of Experts in DataFlows，作者：Tim Spann
链接：https://dzone.com/articles/mixtral-generative-sparse-mixture-of-experts-in-da。
想了解更多AIGC的内容，请访问：
51CTO AI.x社区
https://www.51cto.com/aigc/
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。