PyTorch：深度学习的新引擎

PyTorch清空GPU里的Tensor，减少显存
在深度学习的开发过程中，我们经常会遇到GPU内存不足的问题。即使你的GPU内存有11GB，也可能会因为各种原因而耗尽。这通常是因为我们存储在GPU中的大尺寸Tensor数据。因此，为了有效地利用GPU内存，当数据不再需要时，我们应该将其从GPU中删除，或者将其大小减小。
在PyTorch中，你可以通过几种方法来清空GPU中的Tensor数据，以减少显存。

1. 使用.cpu()将Tensor移至CPU
   将Tensor从GPU移到CPU是一种释放GPU内存的有效方式。当你不再需要某个Tensor，并且希望释放其占用的GPU内存时，可以简单地将这个Tensor移到CPU上。

   # x是你在GPU上的一个Tensor
   x = x.cpu()

   这将把Tensor x 从GPU移到CPU。现在，这个Tensor不再占用GPU内存。请注意，这个操作将导致你无法在GPU上再次使用这个Tensor。如果你需要在GPU上再次使用这个Tensor，你需要再次将其从CPU移到GPU。
2. 使用del关键字删除Tensor
   另一种方法是直接删除Tensor。你可以使用Python的del关键字来做到这一点。当你删除一个Tensor后，它就不再占用GPU内存。

   # x是你在GPU上的一个Tensor
   del x

   这个操作将直接从内存中删除Tensor x ，无论它是在CPU还是GPU上。请注意，如果你试图再次使用这个已经被删除的Tensor，Python将抛出一个错误。
3. 使用.data属性清空Tensor内存
   还有一种方法是使用.data属性来替换Tensor。在PyTorch中，一个Tensor有两个主要的属性：.data 和 .grad。当你创建一个Tensor时，默认情况下，.data 和 Tensor 是指向相同的数据的。因此，如果你更改了 .data 指向的数据，那么原来的 Tensor 就会不再指向那些数据。也就是说，你可以通过更改 .data 属性来清空Tensor占用的内存。

   # x是你在GPU上的一个Tensor
   x = x.data

   这将丢弃原来的Tensor，但保留其数据在GPU内存中。然后，你可以根据需要创建一个新的Tensor并使用这些数据。这种方法的优点是你可以保留原来Tensor的数据，但是释放了原来的Tensor占用的GPU内存。
4. 使用 torch.empty() 或 torch.empty_like() 创建新的Tensor
   如果你需要一个新的、空的Tensor，可以使用 torch.empty() 或 torch.empty_like() 函数。这两个函数都会创建一个新的、空的Tensor，并且不占用额外的GPU内存。这里需要注意的是，即使是空的Tensor，也占用一定的GPU内存，所以如果你创建了很多个空的Tensor，可能会导致GPU内存不足。

   # x是你在GPU上的一个Tensor
   x = torch.empty(size=(5,5))  # 创建一个新的、空的Tensor

   以上是几种在PyTorch中清空GPU里的Tensor并减少显存的方法。希望这些信息能帮助你更好地管理你的GPU内存，从而能更有效地进行深度学习开发。