深度解析：某站视频评论爬取与情感分析实战

引言

随着互联网内容的爆炸式增长，视频评论已成为用户反馈和意见表达的重要渠道。通过对视频评论的爬取与情感分析，我们可以了解用户的喜好、态度及情感倾向，为企业决策、内容创作提供有力支持。本文将以某站（以B站为例）为例，详细介绍视频评论的爬取与情感分析过程。

一、环境准备与工具选择

1. 环境准备

• Python环境：安装Python 3.x，并配置好相应的开发环境（如PyCharm）。
• 库依赖：安装requests、pandas、jieba、SnowNLP等库。这些库将用于发送HTTP请求、数据处理、中文分词和情感分析。

2. 工具选择

• 爬虫工具：使用Python的requests库进行网络请求，pandas进行数据处理。
• 情感分析工具：SnowNLP库，一个处理中文文本的类库，支持分词、标注和情感分析。

二、视频评论爬取

1. 分析网页结构

• 使用Chrome浏览器的开发者工具（F12），查看视频评论页面的网络请求。
• 找到评论数据所在的API接口，并确定请求参数（如视频ID、页码等）。

2. 编写爬虫代码

• 发送HTTP请求到API接口，获取评论数据。
• 解析JSON格式的响应数据，提取评论内容、用户名等字段。
• 循环发送请求，分页爬取所有评论。

import requests
import pandas as pd
# 示例：爬取B站视频评论
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
video_id = '你的视频ID'
page = 1
comments = []
while True:
    url = f'https://api.bilibili.com/x/v2/reply/main?csrf=xxx&mode=3&next={page}&oid={video_id}&plat=1&type=1'
    response = requests.get(url, headers=headers)
    if response.status_code != 200:
        break
    data = response.json()
    if not data['data']['replies']:
        break
    for reply in data['data']['replies']:
        comments.append(reply['content']['message'])
    page += 1
df = pd.DataFrame(comments, columns=['comment'])
df.to_csv('video_comments.csv', index=False)

三、情感分析

1. 数据预处理

• 对爬取到的评论进行清洗，去除无用字符、表情等。
• 使用jieba进行中文分词，为情感分析做准备。

import jieba
# 示例：对评论进行分词
comments_seg = [jieba.lcut(comment) for comment in df['comment']]

2. 情感分析

• 使用SnowNLP库对分词后的评论进行情感分析。
• 计算积极评论和消极评论的比例。

```python
from snownlp import SnowNLP

sentiments = []

for comment_seg in comments_seg:
s = ‘’.join(comment_seg)
snow = SnowNLP(s)
sentiments.append(snow.sentiments) # 获取情感值，范围在[0, 1]之间，越接近1表示越积极

df[‘sentiment’] = sentiments
df[‘sentiment_category’] = df[‘sentiment’].apply(lambda x: ‘positive’ if x > 0.5 else ‘negative’)

positive_count = df[df[‘sentiment_category’] == ‘positive’].shape[0]
negative_count = df[df[‘sentiment_category’] == ‘negative’].shape[0]
print(f’Positive comments: {positive