基于Databend实现的海量日志实时查询服务|多点DMALL
多点DMALL 供应链补货团队负责人多点DMALL 成立于 2015 年。从创立伊始，就致力于以大数据、云计算、AI 等数字技术改变零售业，是一站式全渠道数字零售解决方案服务商，数字化解构重构零售产业，提供端到端的商业 SaaS 解决方案。多点DMALL 通过 DMALL OS 提供零售云一站式解决
多点DMALL 供应链补货团队负责人
多点DMALL 成立于 2015 年。从创立伊始，就致力于以大数据、云计算、AI 等数字技术改变零售业，是一站式全渠道数字零售解决方案服务商，数字化解构重构零售产业，提供端到端的商业 SaaS 解决方案。
多点DMALL 通过 DMALL OS 提供零售云一站式解决方案，帮助零售商和品牌商数字化转型，实现线上线下一体化；同时通过多点 App 等工具赋能全渠道经营能力，并提供各类增值服务。
需求概述
商家要求支持 4 个月的日志查询，目前线上只支持 1 个月。每天日志是 400 万行项，1 个月的日志量是 1.2 亿，考虑到后续业务的增长，预计每月日志数据量会增长到 2.5亿；4 个月的日志量是 10 亿行项左右。
现采用的 MongoDB 集群因资源受限无法支持 10 亿行项存储及查询，急需寻找另外的解决方案。
Databend的介绍及优势
Databend，一款开源的新式数仓，专为云架构而生。它具备快速的弹性扩展能力，借助云的弹性、简单与低成本优势，让Data Cloud的构建更为轻松。Databend将数据存储于AWS S3、Azure Blob等云存储系统，能使不同计算节点挂载同一份数据，实现高度弹性与资源的精细化控制。Databend在设计时着重关注以下能力：
高性能且部署使用成本低： 在提供更高的性能的同时，部署成本不到传统数据库(MySQL、MongoDB)的 1/10；
支持标准 sql 语法： 能兼容 Mybatits 等常用 ORM 框架，对于研发来说没有任何学习成本。
支持自动索引： 系统会自动对所有字段建立索引；无需研发进行优化。
技术选型
由于 Databend 可以处理海量数据的查询，并且提供了实时查询和处理能力。恰好满足了多点现在所求。基于以上，我们选择 Databend 实现海量日志实时查询的原因包括有以下四点：
基于对象存储，成本低
SSD 块设备的 1/10；按实际用量付费
在线查询
无须从冷备中恢复；可接受的查询性能
支持大单表
TB 级别；分批持续归档
兼容 TiDB
MySQL 协议；数据类型兼容
使用 Databend方案
目前使用 Databend 主要是用在计算日志查询场景。
计算任务会将计算日志保存到 MongoDB；然后会通过定时任务，将日志从 MongoDB 同步到 Databend 供页面查询。
基于 Databend的性能测试
测试环境
Databend 是计算、存储分离架构
计算节点： 1 * 4C16G100G (费用 70美元/月)
**存储：**使用对象存储，按需付费
测试表结构和数据样例
表结构
CREATE TABLE `logs` (
`tenant` VARCHAR COMMENT,
`batch_seq` INT COMMENT,
`order_situations` VARIANT COMMENT,
`day` VARCHAR COMMENT,
`shop_code` VARCHAR COMMENT,
`goods_code` VARCHAR COMMENT,
`supplier_code` VARCHAR COMMENT,
`out_supplier_code` VARCHAR COMMENT,
`out_supplier_type` VARCHAR COMMENT,
`today_order` INT COMMENT,
`category` VARCHAR COMMENT,
`sec_category` VARCHAR COMMENT,
`thi_category` VARCHAR COMMENT,
`log_detail` JSON COMMENT
) ENGINE=FUSE查询性能
测试总结
在10亿数据量级下，常用查询均可做到秒级响应。
海量日志实时查询服务通用化解决方案
Databend 适用方案
大规模数据查询: Databend 可以处理海量数据的查询。如果你需要对大规模数据进行复杂的查询和分析，Databend 可以作为一个高效的数据湖仓使用。
数据仓库和数据湖: Databend 可以作为数据仓库或数据湖的核心组件，用于存储和管理结构化和半结构化数据。它支持标准的 SQL 查询语言，使得数据分析师和工程师可以方便地进行数据探索和分析。
实时数据处理： Databend 提供了实时查询和处理能力，适用于对实时数据流进行查询和分析的场景。你可以将实时数据流导入到 Databend 中，并通过 SQL 查询语言实时分析数据。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。