Golang高效读取大文件技巧

在Go语言中处理大文件需避免一次性读取，应采用逐行或分块方式。使用 bufio.Scanner 可逐行读取文本文件，适合日志、CSV等结构化内容；而分块读取则适用于非结构化或二进制文件，通过固定大小缓冲区循环读取数据。两种方法均能有效控制内存消耗，提升处理效率与稳定性。

在Golang中处理大文件时，如果直接使用ioutil.ReadFile()或一次性读取整个文件内容，很容易导致内存占用过高甚至程序崩溃。因此，采用高效、低内存消耗的方式来逐行或分块读取是关键。本文主要介绍两种常见方式：使用bufio.Scanner逐行读取和使用分块读取技术。

使用 bufio.Scanner 逐行读取

bufio.Scanner 是 Go 标准库中用于逐行扫描输入的工具，非常适合处理按行结构组织的大文本文件（如日志文件、CSV 文件等）。

优点：

• 简单易用
• 自动处理缓冲区
• 支持自定义分隔符

基本用法如下：

file, err := os.Open("bigfile.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    line := scanner.Text()
    // 处理每一行
    fmt.Println(line)
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

注意事项：

• scanner.Text() 返回的是当前行的字符串副本，如果你只是需要字节切片，可以使用 scanner.Bytes() 避免一次转换。
• 默认情况下，Scanner 的缓冲区大小是 64KB，对于非常长的行可能不够。可以通过设置 scanner.Buffer() 来扩展最大容量。

例如：

buf := make([]byte, 0, 64*1024) // 64 KB initial buffer
scanner.Buffer(buf, 1024*1024)  // 最多支持 1MB 每行

分块读取：适用于非结构化或二进制文件

当文件不是按行划分，或者你希望以固定大小的“块”来处理数据时（比如图像、视频、数据库快照等），使用分块读取更合适。

实现思路：

• 打开文件后，使用一个固定大小的缓冲区（如 32KB 或 64KB）
• 循环调用 file.Read(buffer) 直到返回 io.EOF
• 每次读取到的数据都在缓冲区内进行处理

示例代码如下：

file, err := os.Open("bigfile.bin")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

buffer := make([]byte, 32*1024) // 32 KB 块大小
for {
    n, err := file.Read(buffer)
    if n > 0 {
        // 处理 buffer[0:n] 数据
        processChunk(buffer[:n])
    }
    if err != nil {
        if err == io.EOF {
            break
        }
        log.Fatal(err)
    }
}

选择块大小的建议：

• 不要太小（如 1KB），会增加系统调用次数，影响性能
• 也不要太大（如几 MB），可能导致内存浪费
• 通常选择 32KB ~ 128KB 是比较合理的折中值

小细节提醒

• 如果你在处理每一块或每一行时要做耗时操作（如网络请求、写入数据库），考虑加上并发控制，比如使用带缓冲的 goroutine 池。
• 对于特别大的文件，记得及时释放不再使用的内存，避免累积。
• 如果是日志类文件，可能还需要考虑编码格式（如 UTF-8）或非法字符问题。

基本上就这些。Go 提供了足够灵活的工具让你根据文件类型和用途选择合适的读取方式，关键在于理解不同方法适用的场景，并合理设置缓冲区大小和错误处理机制。