Python 数据清理：NumPy 和 Pandas 的协同作用

在数据分析的过程中，数据清理是一个至关重要的步骤。它涉及识别、纠正或删除数据集中的不准确或不完整的信息，以确保后续分析的有效性和可靠性。Python 中的 NumPy 和 Pandas 库提供了强大的工具，可以帮助我们进行高效的数据清理。

一、导入库和数据集

首先，我们需要导入 NumPy 和 Pandas，并加载数据集。这里，我们使用 Pandas 的 read_csv 函数来加载一个 CSV 文件作为示例。

import numpy as np
import pandas as pd
# 加载数据集
df = pd.read_csv('dataset.csv')

二、处理缺失值

处理缺失值是数据清理的一个重要环节。Pandas 提供了多种方法来识别和填充缺失值。

1. 识别缺失值：使用 isnull() 或 isna() 函数来识别缺失值。

# 查看每列缺失值的数量
df.isnull().sum()

1. 填充缺失值：使用 fillna() 方法来填充缺失值。可以用常数、均值、中位数等填充。

# 用常数填充缺失值
df.fillna(0, inplace=True)
# 用均值填充缺失值
df['column_name'].fillna(df['column_name'].mean(), inplace=True)

三、处理异常值

异常值可能会对数据分析产生不利影响。我们需要识别并处理这些值。

1. 识别异常值：使用统计方法（如标准差）或可视化方法（如箱线图）来识别异常值。

# 使用标准差识别异常值
mean = df['column_name'].mean()
std = df['column_name'].std()
df[(df['column_name'] < mean - 3*std) | (df['column_name'] > mean + 3*std)]

1. 处理异常值：可以删除异常值、用中位数或均值替换等。

# 删除异常值
df = df[(df['column_name'] >= mean - 3*std) & (df['column_name'] <= mean + 3*std)]
# 用中位数替换异常值
df['column_name'] = np.where((df['column_name'] < mean - 3*std) | (df['column_name'] > mean + 3*std), 
                             df['column_name'].median(), 
                             df['column_name'])

四、处理重复数据

重复数据可能导致分析结果失真。我们需要识别并删除这些重复行。

1. 识别重复数据：使用 duplicated() 函数来识别重复行。

# 查看重复行的数量
df.duplicated().sum()

1. 删除重复数据：使用 drop_duplicates() 方法来删除重复行。

# 删除重复行，保留第一行
df.drop_duplicates(keep='first', inplace=True)

五、结论

通过上述步骤，我们可以使用 NumPy 和 Pandas 进行 Python 式数据清理，提高数据质量，为后续的数据分析奠定坚实的基础。在实际应用中，还需要根据数据的特点和分析需求进行灵活的数据清理策略设计。