简介：本文详细介绍如何使用Python实现机票价格查询，涵盖爬虫获取数据、API调用、数据清洗与可视化分析的全流程，适合开发者及数据分析爱好者。

引言

在数字化时代，机票价格波动频繁，如何高效获取并分析价格趋势成为旅行者和企业差旅管理的关键需求。Python凭借其丰富的库生态（如requests、BeautifulSoup、pandas等），可实现从数据抓取到可视化分析的全流程自动化。本文将系统阐述如何利用Python完成机票价格查询，涵盖爬虫技术、API调用、数据清洗及可视化分析，为开发者提供可落地的解决方案。

一、数据获取：爬虫与API的对比选择

1. 爬虫技术：定向抓取公开数据

适用场景：当目标平台未提供API时，可通过爬虫解析网页结构获取数据。
技术实现：

请求库：使用requests发送HTTP请求，模拟浏览器行为。
解析库：BeautifulSoup或lxml解析HTML，提取价格、航班号等信息。
反爬策略：通过User-Agent伪装、IP代理池（如scrapy-proxies）和请求间隔（time.sleep）规避封禁。
示例代码：
```python
import requests
from bs4 import BeautifulSoup

url = “https://example-flight-site.com/search?from=PEK&to=SHA“
headers = {“User-Agent”: “Mozilla/5.0”}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, “html.parser”)
prices = [p.text for p in soup.select(“.price”)] # 假设价格在class=”price”的标签中

**局限性**：网页结构变更可能导致解析失败，需定期维护代码。
#### 2. API调用：高效获取结构化数据
**适用场景**：平台提供官方API（如携程、去哪儿），数据更稳定且合法。  
**技术实现**：  
- **认证方式**：OAuth 2.0或API Key（需注册开发者账号）。  
- **库支持**：`requests`发送JSON请求，`json`模块解析响应。  
**示例代码**：  
```python
import requests
api_key = "your_api_key"
url = "https://api.example-flight.com/v1/prices"
params = {
    "origin": "PEK",
    "destination": "SHA",
    "date": "2024-12-25",
    "api_key": api_key
}
response = requests.get(url, params=params)
data = response.json()  # 直接获取字典格式数据

优势：数据格式规范，更新频率低，适合长期监控。

二、数据存储：结构化与半结构化方案

1. CSV/Excel：轻量级存储

适用场景：短期分析或小型项目。
技术实现：

pandas的to_csv()或to_excel()方法。
示例代码：
```python
import pandas as pd

df = pd.DataFrame({“Flight”: [“CA123”], “Price”: [800]})
df.to_csv(“flights.csv”, index=False)


#### 2. 数据库：规模化存储
**适用场景**：长期监控或多维度分析。  
**技术实现**：  
- **SQLite**：轻量级，适合单机应用。  
- **MySQL/PostgreSQL**：支持高并发，适合分布式系统。  
**示例代码（SQLite）**：  
```python
import sqlite3
conn = sqlite3.connect("flights.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS flights (id INTEGER PRIMARY KEY, flight TEXT, price REAL)")
cursor.execute("INSERT INTO flights (flight, price) VALUES (?, ?)", ("CA123", 800))
conn.commit()
conn.close()

三、数据分析：从清洗到可视化

1. 数据清洗：处理缺失值与异常

技术实现：

pandas的dropna()删除缺失值，fillna()填充均值。

异常值检测：通过describe()统计或箱线图识别。
示例代码：

df = pd.read_csv("flights.csv")
df = df.dropna(subset=["Price"])  # 删除Price为空的行
df["Price"] = df["Price"].apply(lambda x: x if x > 0 else None)  # 过滤负价格

2. 可视化分析：价格趋势与对比

技术实现：

Matplotlib/Seaborn：绘制折线图、箱线图。
Plotly：交互式图表，适合动态展示。
示例代码（Matplotlib）：
```python
import matplotlib.pyplot as plt

dates = [“2024-12-20”, “2024-12-21”, “2024-12-22”]
prices = [800, 850, 780]
plt.plot(dates, prices, marker=”o”)
plt.title(“Price Trend: PEK to SHA”)
plt.xlabel(“Date”)
plt.ylabel(“Price (CNY)”)
plt.show()


### 四、自动化与扩展：定时任务与机器学习
#### 1. 定时任务：自动化监控
**技术实现**：  
- **APScheduler**：定时运行爬虫或API调用。  
- **Cron**（Linux）或**任务计划程序**（Windows）：系统级定时。  
**示例代码（APScheduler）**：  
```python
from apscheduler.schedulers.blocking import BlockingScheduler
def fetch_prices():
    print("Fetching prices...")  # 替换为实际爬虫/API代码
scheduler = BlockingScheduler()
scheduler.add_job(fetch_prices, "interval", hours=6)  # 每6小时执行一次
scheduler.start()

2. 机器学习：价格预测

适用场景：预测未来价格走势，辅助决策。
技术实现：

特征工程：提取历史价格、节假日、航空公司等特征。
模型选择：线性回归（基础）、LSTM（时间序列）。
示例代码（线性回归）：
```python
from sklearn.linear_model import LinearRegression
import numpy as np

假设X为日期编码（如1,2,3…），y为价格

X = np.array([1, 2, 3]).reshape(-1, 1)
y = np.array([800, 850, 780])
model = LinearRegression()
model.fit(X, y)
print(f”Predicted price for day 4: {model.predict([[4]])[0]}”)
```

五、法律与伦理：合规性注意事项

爬虫合规：遵守目标网站的robots.txt，避免高频请求导致服务器过载。
API使用：严格遵循API的调用频率限制（如每秒5次）。
数据隐私：不存储用户敏感信息（如身份证号、联系方式）。

结论

Python在机票价格查询领域展现了强大的灵活性，从爬虫到API调用，再到数据分析与自动化，均可通过标准库或第三方工具高效实现。开发者应根据项目需求选择合适的技术栈：短期分析可优先使用爬虫+CSV，长期监控建议结合API+数据库，而价格预测则需引入机器学习模型。未来，随着AI技术的普及，基于NLP的航班推荐系统或成为下一阶段的研究热点。

Python机票价格查询：从爬虫到数据分析的全流程指南

引言