Python中文文本预处理：数据清洗与特征提取

在Python中进行中文文本预处理是自然语言处理（NLP）任务中的重要一环。预处理过程主要包括数据清洗、分词、去除停用词、词干提取等步骤，目的是将原始文本转化为适合机器学习模型输入的特征向量。下面我们将逐一介绍这些步骤。

1. 数据清洗

数据清洗是预处理的第一个步骤，主要是对文本数据进行清理和格式化，以便后续处理。在处理中文文本时，需要注意一些特殊情况，例如繁体字和简体字之间的转换、错别字纠正等。我们可以使用第三方库如opencc进行繁简转换，使用pycorrector进行错别字纠正。

import opencc
import pycorrector
# 繁简转换示例
cn_converter = opencc.OpenCC('t')  # 初始化转换器，使用繁体到简体的映射
simple_text = cn_converter.convert(traditional_text)  # 将繁体中文转换为简体中文
# 错别字纠正示例
corrected_text = pycorrector.correct(wrong_text)  # 使用pycorrector纠正错别字

2. 分词

分词是将连续的文本切分为独立的单词或词组，是中文文本处理中的关键步骤。常用的分词工具包括jieba、THULAC等。jieba分词支持多种分词模式，包括精确模式、全模式和搜索引擎模式。

import jieba
# 使用jieba进行分词
seg_list = jieba.cut(text, cut_all=False)  # 精确模式分词

3. 去除停用词

停用词是指在文本中出现频率很高但对语义贡献较小的词，如“的”、“了”等。去除停用词可以降低特征维度并提高模型性能。我们可以使用jieba库中的stopwords功能来去除停用词。

import jieba.analyse
import jieba.posseg as pseg
# 去除停用词示例
stop_words = set(jieba.analyse.get_stopwords('zh'))  # 获取停用词列表
word_list = [word for word in seg_list if word not in stop_words]  # 去除停用词

4. 词干提取

词干提取是将单词转化为其基本形式，有助于消除不同词形对模型的影响。我们可以使用nltk库中的PorterStemmer进行词干提取。

首先需要安装nltk库：pip install nltk，然后下载nltk的punkt分词器：nltk.download('punkt')。

from nltk.stem import PorterStemmer
from nltk.tokenize import word_tokenize, sent_tokenize
stemmer = PorterStemmer()  # 初始化PorterStemmer对象
stemmed_words = [stemmer.stem(word) for word in word_tokenize(text)]  # 进行词干提取