在 Go 语言中处理结构化日志时,有几个关键细节经常让开发者踩坑,尤其是当字段首字母没有大写时,json.Marshal 会直接忽略它们。这看似简单,但一旦不注意,排查起来可能让人抓狂。
结构体字段必须导出才能被 json.Marshal 序列化
说白了,Go 的 encoding/json 包只认首字母大写的导出字段。你如果写了个 name string,它会被悄悄忽略,最后输出要么是个空对象 {},要么就直接没这个字段。这不是 bug,这就是 Go 语言可见性规则的自然结果。
- 字段名必须大写,比如
Name string,别写成name string - 如果非得要小写 JSON key,那就在字段上加
json:"name"标签,但字段本身仍然得是导出状态 - 指针、切片、map 这些复合类型,只要字段是导出的,就能正常序列化;
nil指针默认会变成null,加上omitempty可以跳过它 - 日志结构体里那些常见字段,比如
Timestamp、Level、Message、Fields map[string]interface{},统统都得导出
避免每次调用都分配新缓冲区——复用 bytes.Buffer 和 json.Encoder
在日志打得很频繁的场景下,每次调 json.Marshal 都会产生一大堆小内存分配,GC 压力想不大都难。一个更聪明的做法是:自己搭一套 bytes.Buffer + json.Encoder,然后反复用它们。
- 用
sync.Pool来缓存*bytes.Buffer实例,别每次 new 一个全新的 - 也别每次写日志都 new 一个
json.Encoder,因为它内部有解析状态,重复利用效率更高 - 对于单条日志,优先用
encoder.Encode(v)而不是json.Marshal(v),前者能直接往 buffer 里写,省掉中间一次的 []byte 拷贝 - 有个小陷阱:复用 encoder 时,每次 Encode 前一定别忘了执行
buf.Reset(),否则数据会一直累积下去
用 json.RawMessage 延迟解析日志上下文字段
日志里经常夹带一些动态字段,比如 HTTP 请求头、trace ID、用户自定义的 metadata。要是统统塞进结构体里,字段只会越来越膨胀,反序列化也容易失败或类型冲突。这时候 json.RawMessage 是个好帮手——它跳过即时解析,只在真正需要时再做处理。
- 把那些不确定结构或者变动频繁的字段声明为
Context json.RawMessage - 序列化时,
json.RawMessage会原封不动地嵌入 JSON,不做转义也不做校验 - 反序列化之后,可以按需调用
json.Unmarshal(contextBytes, &target),避免重建整个结构体带来的开销 - 注意:
json.RawMessage本质上是[]byte的别名,不能直接打印或者比较,需要显式转换
性能敏感场景慎用 map[string]interface{},优先定义明确结构体
日志字段虽然想要灵活,但 map[string]interface{} 在 JSON 编解码时全靠反射,没法做编译期类型检查,高并发下性能比固定结构体差 3 到 8 倍。
- 稳定字段比如 level、ts、msg、caller,一定要定义成 struct 字段,别塞进 map 里
- 动态字段可以单独抽成
Extras map[string]string或Extras map[string]json.RawMessage,控制反射的范围 - 如果字段组合变化太多,不妨考虑用
easyjson或jsoniter配合代码生成,绕过运行时的反射 - 实测数据很说明问题:10 个字段的 struct 加上
jsoniter,比map[string]interface{}加标准库快大约 6.2 倍(基于 Go 1.22 的 benchmark)
字段导出、缓冲区复用、RawMessage 延迟解析、结构体优先——这四个点叠加在一起,日志序列化的吞吐量能提升一个数量级。但最容易被忽略的一处是:json.RawMessage 在反序列化前,必须手动 copy 底层字节,否则原始 buffer 一旦被复用,内容就会被覆盖。