Scrapy爬取天天美剧封面照及剧集下载地址

在开始之前，请确保你已经安装了Scrapy框架。如果还没有安装，可以通过以下命令进行安装：

pip install scrapy

首先，我们需要打开天天美剧的网页，观察需要爬取的内容。可以看到，封面照的URL在网页源码的img标签中，而剧集的下载地址则在一个a标签的href属性中。
接下来，我们创建一个名为tiantianmeiju_spider.py的文件，并在其中编写Scrapy爬虫代码。首先，我们需要导入所需的模块：

import scrapy
from scrapy.item import Item, Field
from scrapy.http import Request

然后，我们定义一个名为TiantianmeijuItem的Item类，用于保存爬取的数据。在这个类中，我们定义了几个Field，包括name、image_urls、images、image_paths和episode等字段，以便保存相应的数据：

class TiantianmeijuItem(scrapy.Item):
name = scrapy.Field()
image_urls = scrapy.Field()
images = scrapy.Field()
image_paths = scrapy.Field()
episode = scrapy.Field()

接下来，我们定义一个名为TiantianmeijuSpider的Spider类。在这个类中，我们将编写用于提取数据的解析函数：

class TiantianmeijuSpider(scrapy.Spider):
name = 'tiantianmeiju'
start_urls = ['http://www.tiantianmeiju.com/']
def parse(self, response):
item = TiantianmeijuItem()
item['name'] = response.css('title::text').get()
item['image_urls'] = response.css('img::attr(src)').getall()
item['images'] = [url for url in item['image_urls'] if 'jpg' in url]
item['image_paths'] = [self.download_image(url) for url in item['images']]
item['episode'] = response.css('a::attr(href)').getall()
return item

在上面的代码中，我们首先定义了Spider的名称和起始URL。然后，我们定义了一个parse函数，该函数将处理每个响应，提取所需的数据，并将数据保存在Item对象中。最后，我们返回该Item对象。
在parse函数中，我们首先创建了一个空的Item对象。然后，我们使用CSS选择器提取网页中的标题、图片URL、图片路径和剧集下载地址等信息，并将这些信息保存在Item对象中相应的Field中。最后，我们使用Scrapy的内置函数download_image()下载图片并获取图片路径。该函数将在后面介绍。
接下来，我们需要配置Scrapy以保存爬取的数据。在Scrapy中，可以使用Item Pipeline来处理爬取的数据。创建一个名为tiantianmeiju_pipeline.py的文件，并在其中编写以下代码：
python class TiantianmeijuPipeline(object): def process_item(self, item, spider): with open('tiantianmeiju_data.txt', 'a') as f: f.write(json.dumps(dict(item)) + ' ') return item'json''python
class TiantianmeijuPipeline(object):
def process_item(self, item, spider):
with open(‘tiantianmeiju_data.txt’, ‘a’) as f:
f.write(json.dumps(dict(item)) + ‘
‘)
return item
```json
这个代码段定义了一个名为TiantianmeijuPipeline的类，该类继承自object。该类中只有一个方法process_item()，该方法用于处理爬取的数据。在这个方法中，我们将爬取的数据写入一个名为tiantianmeiju_data.txt的文件中。注意，我们使用了json模块将数据转换为