Azure Databricks脚本调用与自动化教程

在数据工程和机器学习项目中，经常需要从外部系统触发或调度Azure Databricks上的脚本（如Notebook或Jobs）。虽然Azure Databricks没有提供直接的Java SDK来执行此操作，但可以通过调用外部进程或利用CI/CD工具链来实现这一目标。

一、使用Databricks CLI进行按需执行

Databricks CLI（命令行接口）是与Azure Databricks平台交互的强大工具。它提供了一系列命令，允许用户管理工作区对象、集群、作业等。外部应用程序（包括Java应用程序）可以通过调用操作系统命令的方式来执行Databricks CLI指令，从而实现按需触发Databricks脚本。

1. Databricks CLI简介与安装

Databricks CLI是一个基于Python的工具，可以通过pip进行安装：

pip install databricks-cli

安装后，需要进行认证配置，通常是使用Azure Databricks个人访问令牌（Personal Access Token, PAT）。

databricks configure --token

系统会提示输入Databricks工作区的URL和PAT。

2. 从Java应用程序调用Databricks CLI

Java应用程序可以通过Runtime.getRuntime().exec()方法执行外部shell命令，进而调用Databricks CLI。这种方式允许Java应用作为协调器，触发Databricks上的预定义作业或Notebook。

以下是一个概念性的Java代码示例，展示了如何执行一个Databricks CLI命令来触发一个已存在的Databricks作业：

import java.io.BufferedReader;
import java.io.InputStreamReader;

public class DatabricksJobTrigger {

    public static void main(String[] args) {
        String databricksJobId = "YOUR_DATABRICKS_JOB_ID"; // 替换为你的Databricks作业ID

        // 构建Databricks CLI命令，用于立即运行一个作业
        // 推荐使用作业ID，因为作业名称可能重复或更改
        String command = String.format("databricks jobs run-now --job-id %s", databricksJobId);

        try {
            System.out.println("正在执行Databricks CLI命令: " + command);

            // 执行外部命令
            Process process = Runtime.getRuntime().exec(command);

            // 读取命令的标准输出
            BufferedReader reader = new BufferedReader(new InputStreamReader(process.getInputStream()));
            String line;
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }

            // 读取命令的错误输出
            BufferedReader errorReader = new BufferedReader(new InputStreamReader(process.getErrorStream()));
            while ((line = errorReader.readLine()) != null) {
                System.err.println("错误: " + line);
            }

            // 等待命令执行完成并获取退出码
            int exitCode = process.waitFor();
            System.out.println("命令执行完毕，退出码: " + exitCode);

            if (exitCode != 0) {
                System.err.println("Databricks CLI命令执行失败。");
                // 根据业务需求处理失败情况
            } else {
                System.out.println("Databricks作业已成功触发。");
            }

        } catch (Exception e) {
            System.err.println("执行Databricks CLI命令时发生异常: " + e.getMessage());
            e.printStackTrace();
        }
    }
}

注意事项：

• 作业ID与Notebook路径： databricks jobs run-now命令用于触发已配置的Databricks作业，这是生产环境中推荐的做法，因为它提供了更强大的调度、重试和集群管理功能。如果需要直接运行Notebook，可以使用databricks notebooks run --path ，但这通常用于开发或测试场景。
• 参数传递： databricks jobs run-now支持通过--json参数传递Notebook参数，例如：--json '{"notebook_params":{"param1":"value1"}}'。
• 异步执行： Databricks作业通常是长时间运行的。run-now命令会立即返回一个运行ID，但作业本身可能仍在后台执行。如果Java应用程序需要等待作业完成并获取结果，则需要实现一个轮询机制，使用databricks runs get --run-id 来检查作业状态。

二、结合Azure DevOps实现持续集成与交付

对于更复杂的自动化需求，特别是涉及代码版本控制、测试、部署和生产调度，将Azure Databricks与Azure DevOps集成是更优的选择。Azure DevOps提供强大的CI/CD管道，可以自动化Databricks脚本的部署和执行。

1. Azure DevOps与Databricks集成优势

• 版本控制： 将Databricks Notebook和脚本存储在Git仓库中（如Azure Repos），通过Azure DevOps进行版本管理。
• 自动化部署： 自动将代码部署到Databricks工作区。
• 自动化测试： 在部署前运行单元测试或集成测试。
• 自动化执行： 触发Databricks作业，可以是基于时间、代码提交或外部事件。
• 审批流程： 引入人工审批环节，确保代码质量和部署安全。

2. 集成方式

Azure DevOps管道可以通过以下方式与Databricks交互：

• 使用Databricks CLI任务： 在Azure DevOps管道中，可以添加脚本任务来执行Databricks CLI命令，其原理与上述Java调用CLI类似。
• 使用Databricks扩展： Azure DevOps Marketplace提供了专门的Databricks扩展，包含预构建的任务，如“Databricks Notebook Run”、“Databricks Job Create/Update”等，简化了管道配置。

3. 示例场景

一个典型的Azure DevOps CI/CD管道可能包含以下步骤：

1. 代码提交： 开发者将Databricks Notebook代码提交到Git仓库。
2. 持续集成 (CI)：
   • 触发Azure DevOps构建管道。
   • 运行单元测试。
   • 将Notebook文件打包成部署 artifact。
3. 持续部署 (CD)：
   • 触发Azure DevOps发布管道。
   • 使用Databricks CLI或Databricks扩展将Notebook部署到Databricks工作区。
   • 更新或创建Databricks作业，指向新部署的Notebook。
   • （可选）触发该Databricks作业进行验证性运行。

三、重要注意事项

无论选择哪种方法，以下几点都至关重要：

• 安全性：
  • Databricks个人访问令牌（PAT）是敏感凭据，应妥善保管。在生产环境中，建议使用Azure Key Vault管理令牌，并在Java应用程序或Azure DevOps管道中安全地检索。
  • 遵循最小权限原则，为Databricks PAT分配仅执行所需操作的权限。
• 错误处理与日志记录：
  • 外部调用Databricks脚本时，必须捕获并处理可能的错误（如CLI命令执行失败、Databricks作业运行失败）。
  • 将CLI的输出（包括标准输出和错误输出）记录到日志中，以便于调试和审计。
• 环境配置：
  • 确保执行Java应用程序或Azure DevOps代理的机器上已正确安装Databricks CLI，并配置了正确的认证信息。
  • 对于生产环境，建议使用容器化（如Docker）来标准化执行环境。
• 异步与同步：
  • Databricks作业通常是异步执行的。如果外部应用程序需要等待作业完成并获取结果，则需要实现状态轮询机制。Databricks CLI提供了查询作业运行状态的命令。
• 成本管理：
  • 按需触发Databricks作业意味着会启动集群并产生计算费用。确保在不需要时关闭集群，或配置作业以在完成后自动终止集群。

总结

从外部应用程序（如Java）调用或按需执行Azure Databricks脚本，主要通过Databricks CLI作为桥梁，Java应用程序通过执行外部进程来间接控制Databricks。对于需要更高级自动化、版本控制和部署管理的企业级场景，Azure DevOps的CI/CD管道是更全面和强大的解决方案，它能够将Databricks脚本的生命周期无缝集成到DevOps实践中。选择哪种方法取决于具体的业务需求、自动化程度和团队的DevOps成熟度。