解决PyTorch加载模型时出现的'Unexpected key(s) in state_dict'错误

在PyTorch中，state_dict是一个Python字典对象，它将每一层映射到其参数张量。当我们尝试加载一个预训练的模型时，有时会遇到Error(s) in loading state_dict() for Model的错误，提示Unexpected key(s) in state_dict。这通常意味着预训练模型的state_dict中的某些键与当前模型的state_dict不匹配。

这种不匹配通常是由于以下几个原因造成的：

1. 模型结构不同：预训练的模型与当前模型的结构不完全相同。例如，你可能删除了某些层或添加了新的层。

2. 不同的设备或数据类型：预训练的模型可能是在不同的设备（如CPU或GPU）或不同的数据类型（如float32或float64）上训练的。

为了解决这个问题，你可以尝试以下几个方法：

1. 确保模型结构相同

确保你加载预训练模型时使用的模型结构与预训练模型的结构完全相同。如果你对模型进行了修改，你需要重新训练模型或找到一个与当前模型结构匹配的预训练模型。

2. 只加载部分state_dict

你可以选择只加载state_dict中的一部分，忽略不匹配的键。例如，你可以使用以下代码：

pretrained_dict = torch.load('pretrained_model.pth')
model_dict = model.state_dict()
# 1. 过滤出匹配的键
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
# 2. 加载匹配的键
model_dict.update(pretrained_dict)
model.load_state_dict(model_dict)

这段代码首先加载预训练模型，然后创建一个只包含当前模型state_dict中存在的键的字典。最后，它将这个过滤后的字典与当前模型的state_dict合并，并更新模型。

3. 使用严格的load_state_dict参数

当使用load_state_dict方法时，你可以设置strict参数为False，这样PyTorch会忽略不匹配的键而不是抛出错误。但是，请注意，这可能会导致某些层的参数没有被正确加载。

model.load_state_dict(torch.load('pretrained_model.pth'), strict=False)

4. 检查设备和数据类型

确保预训练模型与当前模型在相同的设备（CPU或GPU）和数据类型上。如果不是，请在加载模型之前进行相应的转换。

# 如果预训练模型是在CPU上保存的，但当前模型在GPU上，可以使用以下代码转换：
pretrained_dict = torch.load('pretrained_model.pth', map_location=torch.device('cpu'))
# 如果数据类型不匹配，可以使用以下代码转换：
pretrained_dict = {k: v.float() for k, v in pretrained_dict.items()}

通过遵循上述建议，你应该能够解决在PyTorch加载模型时遇到的’Unexpected key(s) in state_dict’错误。如果你仍然遇到问题，请仔细检查模型结构和预训练模型的来源，确保它们完全匹配。