Golang高效处理JSON：json.Encoder与Decoder解析技巧

json.Encoder 和 json.Decoder 适合处理大数据量或流式数据，1. 节省内存，2. 支持逐条读写，3. 适用于大文件、HTTP 流、日志处理；使用 decoder.Decode() 可逐个解析对象，注意 EOF 判断；使用 encoder.Encode() 可边构造边输出，避免内存溢出；小数据或结构简单时仍推荐 json.Marshal/json.Unmarshal。

在处理 JSON 文件时，Golang 提供了标准库 encoding/json，其中的 json.Encoder 和 json.Decoder 是高效操作大文件或流式数据的常用工具。相比一次性读取整个文件再解析的方式，这两个结构体更适合处理大数据量的情况，既能节省内存又能提高效率。

一、为什么用 json.Encoder 和 json.Decoder？

当你要处理的 JSON 数据非常大（比如几百 MB 或上 GB 的日志文件），直接使用 json.Unmarshal 可能会导致内存占用过高甚至程序崩溃。这时候就需要用到 json.Decoder 来按行或按对象逐步读取，或者用 json.Encoder 来边生成数据边写入文件，避免一次性把所有内容加载到内存中。

• 适合场景：
  • 大文件读写
  • 流式处理（比如 HTTP 请求/响应）
  • 需要逐条处理的数据（如日志、事件流）

二、json.Decoder：边读边解析

json.Decoder 主要是从 io.Reader 中读取 JSON 数据，并支持多次调用 Decode() 方法来逐个解析对象。适用于读取多个 JSON 对象拼接在一起的文件（也叫 JSON Lines）。

举个例子：

file, _ := os.Open("data.json")
defer file.Close()

decoder := json.NewDecoder(file)
var item MyStruct
for {
    if err := decoder.Decode(&item); err != nil {
        if err == io.EOF {
            break
        }
        log.Fatal(err)
    }
    // 处理 item
}

• 注意事项：
  • 如果是数组格式的大文件，需要先解码整个数组，不太适合逐条读取。
  • 每次调用 Decode() 会自动跳过空白字符，所以可以安全地处理换行和缩进。
  • 要注意错误判断，特别是 EOF 结束标志。

三、json.Encoder：边构造边写入

如果你要写一个很大的 JSON 数组或对象，不要先把所有数据拼成字符串再写入，而是应该用 json.Encoder 边构造边输出，这样可以大大减少内存开销。

示例代码如下：

file, _ := os.Create("output.json")
defer file.Close()

encoder := json.NewEncoder(file)
// 可选：设置缩进
// encoder.SetIndent("", "  ")

for _, item := range items {
    encoder.Encode(item)
}

• 优点：
  • 不用把整个数据集存在内存里
  • 支持逐条写入，适合数据源源不断的场景
• 技巧：
  • 如果想写一个完整的 JSON 数组，可以用 encoder.Encode() 前后手动写入 [ 和 ]，并在每条之间加逗号控制格式。

四、什么时候不用 Encoder/Decoder？

虽然 json.Encoder 和 json.Decoder 很强大，但它们也不是万能的：

• 如果你的数据量不大，结构清晰，还是推荐直接用 json.Marshal / json.Unmarshal，简单又方便。
• 对性能要求不高时，没必要引入额外复杂度。
• 如果你处理的是嵌套很深或者结构不规则的 JSON，可能还需要结合其他方式解析。

基本上就这些。掌握好 json.Encoder 和 json.Decoder，就能更灵活地处理各种 JSON 场景，尤其在处理大文件或流式数据时非常实用。