天天看點

python slots魔法

在Python中,每個類都有執行個體屬性。預設情況下Python用一個字典來儲存一個對象的執行個體屬性。這非常有用,因為它允許我們在運作時去設定任意的新屬性。

然而,對于有着已知屬性的小類來說,它可能是個瓶頸。這個字典浪費了很多記憶體。Python不能在對象建立時直接配置設定一個固定量的記憶體來儲存所有的屬性。是以如果你建立許多對象(我指的是成千上萬個),它會消耗掉很多記憶體。

不過還是有一個方法來規避這個問題。這個方法需要使用__slots__來告訴Python不要使用字典,而且隻給一個固定集合的屬性配置設定空間。

這裡是一個使用與不使用__slots__的例子:

不使用 slots:

class MyClass(object):
  def __init__(self, name, identifier):
      self.name = name
      self.identifier = identifier
      self.set_up()
  # ...
           

使用 slots:

class MyClass(object):
  __slots__ = ['name', 'identifier']
  def __init__(self, name, identifier):
      self.name = name
      self.identifier = identifier
      self.set_up()
  # ...
           

第二段代碼會為你的記憶體減輕負擔。通過這個技巧,有些人已經看到記憶體占用率幾乎40%~50%的減少。

稍微備注一下,你也許需要試一下PyPy。它已經預設地做了所有這些優化。

以下你可以看到一個例子,它用IPython來展示在有與沒有__slots__情況下的精确記憶體占用,感謝 https://github.com/ianozsvald/ipython_memory_usage​

Python 3.4.3 (default, Jun  6 2015, 13:32:34)
Type "copyright", "credits" or "license" for more information.
​
IPython 4.0.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.
​
In [1]: import ipython_memory_usage.ipython_memory_usage as imu
​
In [2]: imu.start_watching_memory()
In [2] used 0.0000 MiB RAM in 5.31s, peaked 0.00 MiB above current, total RAM usage 15.57 MiB
​
In [3]: %cat slots.py
class MyClass(object):
        __slots__ = ['name', 'identifier']
        def __init__(self, name, identifier):
                self.name = name
                self.identifier = identifier
​
num = 1024*256
x = [MyClass(1,1) for i in range(num)]
In [3] used 0.2305 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM usage 15.80 MiB
​
In [4]: from slots import *
In [4] used 9.3008 MiB RAM in 0.72s, peaked 0.00 MiB above current, total RAM usage 25.10 MiB
​
In [5]: %cat noslots.py
class MyClass(object):
        def __init__(self, name, identifier):
                self.name = name
                self.identifier = identifier
​
num = 1024*256
x = [MyClass(1,1) for i in range(num)]
In [5] used 0.1758 MiB RAM in 0.12s, peaked 0.00 MiB above current, total RAM usage 25.28 MiB
​
In [6]: from noslots import *
In [6] used 22.6680 MiB RAM in 0.80s, peaked 0.00 MiB above current, total RAM usage 47.95 MiB