Pandas浮点列NaN差异对比方法

浮点数列比较的挑战

在数据分析中，我们经常需要比较两个结构相似的DataFrame中特定列的数值差异。然而，当这些列包含浮点数和NaN（Not a Number）值时，直接进行相等性比较会遇到一些固有问题：

1. 浮点数精度问题： 由于浮点数在计算机内部的表示方式，即使逻辑上相等的两个浮点数，在直接比较时也可能因为微小的精度差异而被判定为不相等。例如，0.1 + 0.2可能不严格等于0.3。
2. NaN值的特殊性： 在Python和Pandas中，NaN是一个特殊的浮点值，其特点是NaN != NaN（NaN与自身不相等）。这意味着如果两个DataFrame的同一位置都包含NaN，直接比较会将其视为差异，而这往往不是我们期望的结果。通常，我们希望NaN与NaN被视为相等，不计入差异。

为了克服这些挑战，我们需要一种鲁棒的方法来准确地比较浮点数列并统计差异。

解决方案：结合四舍五入与DataFrame.compare

Pandas库提供了强大的工具来处理这类问题。我们的解决方案将分两步进行：首先，通过四舍五入处理浮点精度问题；其次，利用pandas.DataFrame.compare方法进行高效且智能的比较。

1. 处理浮点数精度：四舍五入

在比较浮点数之前，对其进行适当的四舍五入是解决精度问题的有效方法。通过将浮点数截断到相同的有效小数位数，我们可以消除那些不影响业务逻辑的微小差异。

实现方式： 使用Series或DataFrame的.round()方法对目标列进行四舍五入。你需要根据数据的实际精度要求来选择合适的四舍五入位数。

import pandas as pd
import numpy as np

# 示例数据
d1 = {"col": [7.1, 2.0, 3.0, 4.0, None, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, None, 1.2, np.nan]} # 使用np.nan更规范

df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)

print("原始DataFrame 1:\n", df1)
print("\n原始DataFrame 2:\n", df2)

# 对目标列进行四舍五入，例如保留4位小数
# 这一步确保了即使原始数据有微小的精度差异，在比较前也会被标准化
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)

print("\n四舍五入后的DataFrame 1:\n", df1)
print("\n四舍五入后的DataFrame 2:\n", df2)

注意事项：

• 选择合适的四舍五入位数至关重要。过高的位数可能无法解决精度问题，过低的位数则可能丢失有效信息。
• None在Pandas中会被自动转换为np.nan。

2. 比较DataFrame并统计差异：DataFrame.compare

pandas.DataFrame.compare方法是专门设计用于比较两个DataFrame并突出显示差异的工具。它的一个关键特性是能够智能地处理NaN值：默认情况下，如果两个DataFrame的同一位置都包含NaN，compare方法会将其视为相等，不会在结果中显示该行。如果一个位置是NaN而另一个是有效值，则会被视为差异。这完美符合了我们“NaN与NaN不计入差异”的需求。

实现方式： 直接调用其中一个DataFrame的.compare()方法，并传入另一个DataFrame作为参数。

# 使用compare方法比较两个DataFrame
# 默认情况下，如果两个DataFrame在同一位置都为NaN，该行不会出现在结果中。
# 如果一个为NaN，另一个为值，则会被视为差异。
comparison = df1.compare(df2)

print("\n差异比较结果:\n", comparison)

# 统计差异行数
# comparison DataFrame的每一行代表一个存在差异的原始行
different_rows_count = len(comparison)
print("\n不同行数:", different_rows_count)

输出解读：compare方法返回一个DataFrame，其中只包含存在差异的行。该DataFrame的列会进行多级索引，通常是('col_name', 'self')和('col_name', 'other')，分别表示原始DataFrame（调用compare的DataFrame）和传入的DataFrame在该位置的值。

对于上述示例数据，输出将是：

差异比较结果:
   col      
  self other
1  2.0   2.5
5  1.9   1.2
6  1.3   NaN

不同行数: 3

从输出可以看出：

• 第1行（索引为1）的col列，df1中是2.0，df2中是2.5，被识别为差异。
• 第5行（索引为5）的col列，df1中是1.9，df2中是1.2，被识别为差异。
• 第6行（索引为6）的col列，df1中是1.3，df2中是NaN，被识别为差异。
• 原始数据中索引为4的行，df1和df2的col列都为NaN（或None），因此没有出现在差异结果中，符合我们的预期。

总结

通过结合浮点数列的四舍五入处理和pandas.DataFrame.compare方法，我们可以高效且准确地识别并统计两个DataFrame中浮点数列的差异行数。这种方法不仅解决了浮点精度带来的比较问题，还智能地处理了NaN值，确保了比较结果的准确性和业务逻辑的符合性。在实际应用中，根据数据特性选择合适的四舍五入精度是关键。