PyTorch缓存清理与内存管理

在PyTorch中，缓存是为了加速张量计算而建立的。然而，在长时间运行或大规模模型训练过程中，缓存可能会占用大量内存，导致内存不足的问题。为了解决这个问题，我们可以采取一些措施来清理缓存和优化内存使用。
清理缓存的方法：

1. 手动删除缓存：
   使用torch.cuda.empty_cache()可以清理CUDA缓存，释放由缓存占用的GPU内存。

   import torch
   torch.cuda.empty_cache()

   注意：该方法只能清理CUDA缓存，不能清理CPU缓存。
2. 使用LRU缓存：
   在某些情况下，我们可以使用torch.utils.checkpoint中的LRU缓存来减少模型大小和内存使用。通过将模型中的某些层移至LRU缓存，可以节省GPU内存。

   import torch.utils.checkpoint as checkpoint
   model = ... # 你的模型
   model = checkpoint.Checkpoint(model, device=...)

3. 优化模型结构：
   简化模型结构、减少层数、降低维度等方法也可以有效减少内存占用。同时，使用更小的数据类型（例如float16而不是float32）也可以节省内存。
4. 使用梯度累积：
   通过梯度累积，可以在更小的批量大小下进行训练，从而减少GPU内存使用。在反向传播之前，将梯度累积到更大的批量上，然后进行一次反向传播。
5. 使用混合精度训练：
   混合精度训练是指同时使用float32和float16两种数据类型进行训练。通过将部分参数和激活存储为float16，可以显著减少内存占用。
6. 使用梯度检查点：
   对于某些模型，可以使用梯度检查点来减少内存占用。通过在某些层之前存储激活的完整副本，可以避免在反向传播过程中重新计算这些激活。
7. 优化数据加载：
   使用torch.utils.data.DataLoader的pin_memory=True参数可以将数据从CPU加载到GPU时使用零复制技术，从而减少内存占用。
8. 使用梯度下降优化器：
   使用梯度下降优化器（如SGD、Adam等）而不是其他优化器（如LBFGS）可以减少内存占用。梯度下降优化器在每次迭代时都需要存储梯度信息，而其他优化器可能不需要。
9. 及时清理不再需要的变量：
   在使用完变量后及时清理不再需要的变量，可以释放它们占用的内存。可以使用del关键字或将其设置为None来清理变量。
10. 使用更小的批次大小：
    减小批次大小可以减少每个批次所需的内存量。但是，这可能会影响模型的训练效果。