PyTorch训练暂停：如何正确地暂停PyTorch训练
在神经网络训练过程中，我们有时需要暂停训练以便进行调试、查看模型性能或者其他任务。PyTorch提供了一个方便的方法来暂停和恢复训练。本文将详细介绍如何使用PyTorch的torch.save()和torch.load()函数来实现训练暂停，以及如何从暂停的状态恢复训练。
一、暂停训练
在PyTorch中，可以通过保存模型的参数，然后停止训练来实现暂停训练。具体步骤如下：

1. 保存模型参数
   在训练过程中，你可以在每个epoch结束时保存模型参数。例如，如果你使用一个名为model的模型，并且使用名为optimizer的优化器，那么你可以在每个epoch结束时保存模型参数，代码如下：

   torch.save(model.state_dict(), 'model_weights.pth')

   这将在你的工作目录下创建一个名为model_weights.pth的文件，其中包含当前模型的所有参数。
2. 停止训练
   要停止训练，你只需在循环中添加一个break语句。例如，以下代码将在训练5个epoch后停止：

   for epoch in range(5):
   # Training code here...
   if epoch == 4:
   break

   二、恢复训练
   要从暂停的训练中恢复，你可以加载先前保存的模型参数，并从保存的状态开始训练。具体步骤如下：
3. 加载模型参数
   首先，你需要加载保存的模型参数。你可以使用model.load_state_dict()方法来实现这一点。例如：

   model.load_state_dict(torch.load('model_weights.pth'))

4. 恢复训练
   一旦你加载了保存的模型参数，你就可以从保存的状态开始恢复训练。你可以通过设置优化器的状态字典来恢复优化器的状态。例如：

   optimizer.load_state_dict(torch.load('optimizer_state.pth'))

   在这里，optimizer_state.pth是在暂停训练时保存的优化器状态文件。
   三、完整代码示例
   以下是一个完整的暂停和恢复训练的示例代码：
   ```python
   import torch
   import torch.nn as nn
   import torch.optim as optim

   Model definition

   class Net(nn.Module):
   def init(self):
   super(Net, self).init()

   … define your layers here…

   def forward(self, x):

   … define your forward pass here…

   return x

   Initialize the model and optimizer

   model = Net()
   optimizer = optim.SGD(model.parameters(), lr=0.01)

   Train the model for 5 epochs, saving the model weights and optimizer state after each epoch

   for epoch in range(5):

   Training code here…

   optimizer.zero_grad() # Clear gradients from last iteration
   output = model(input) # Forward pass
   loss = criterion(output, target) # Compute loss function
   loss.backward() # Backward pass to compute gradients
   optimizer.step() # Update model parameters
   if epoch == 4: # Break after 5 epochs to save weights and state
   break
   torch.save(model.state_dict(), ‘model_weights.pth’) # Save model weights after each epoch
   torch.save(optimizer.state_dict(), ‘optimizer_state.pth’) # Save optimizer state after each epoch