高性能Python－字典和集合

川长思鸟来 2022-05-22 12:42 166阅读 0赞

当数据没有明确的顺序时，集合（sets）和字典（dictionaries）都是理想的数据结构，一个Key唯一对应一个存储对象， Key可以是一个string，也可以是任意一个hashable的对象。

字典和集合的插入和查询的时间复杂度是O(1)，需要额外的内存开销来支持，但是实际上，插入和查询的时间取决于在用的hash函数。dictionaries是Key－Value的集合，sets是一个Key的集合。

# 插入和查询 #

dictionaries和sets通过使用hash table达到O(1)的插入和查询效率。对于一个hash表，我们必须搞清楚这段连续内存里都存放了什么，当我们插入新数据时，会产生两个属性，一个是Key的hash值，另一个是这个hash值和其他值的比较，当一个数据插入，Key首先被hashed和masked，key被转化为一个List的高效索引。这个mask来确保，key的hash值可以为任意的整数，通过mask可以让hash值缩小至分配的buckets的范围内，不会越界，其实，一个mask就是一段可变的二进制值0b111, 0b11111,通过mask和hash值的位操作，截断hash值。

例如，如果一个hash表只分配了8块内存，只能存储8个对象，一个key的hash值为28975，最后的index为28975 & 0b111 ＝ 7

当然，我们需要检查被插入的hash值对应的这块内存的状态，如果这块内存为空，我们将hash值插入列表，把对象复制进内存块，如果这块内存为in use，内存块里的值为value，那么该对象已经被添加过了，直接return，如果，内存块里的值不为value，那么，我们必须找到新的位置去存放该对象。

找到新位置的方法称为：probing，Python的probing机制引入原始hash值的高位bits因素，来帮助避免未来的hash冲突。另外， 一个评判hash表对应的数据分布情况的好坏的标准称为‘load factor’，和hash函数的熵有关。

接下来，我们看一下Python字典如何根据一个Key来确定index：  
可以参考Python的源代码dictobject.c

def index_sequence(key, mask=0b111, PERTURB_SHIFT=5): perturb = hash(key) i = perturb & mask yield i while True: i = ((i << 2) + i + perturb + 1) perturb >>= PERTURB_SHIFT yield i & mask

上面的这个算法是linear probing的升级版，也是Python现在的机制，linear probing只能处理hash值的最后几位（比如mask为0b111，只能截断最后三位，意味着，当两个key的最后三位是相同时，不仅会得到相同的hash值，而且，也会得到相同的index值，算法和计算顺序无关的），对比后，Python的算法是扰乱的（perturb），每次计算index时，perturb都会变，也就是，相同的key的后几位，由于不同的计算顺序，返回不同的index，这处理了hash冲突。  
别忘了我们能这么做的原因是，我们存储了原始的Key值。当查询时，通过key的hash值得到index，对比index中的key值和被查询的key值是否一致，如果一致返回对象，如果不一致，继续查询。

# Resizing #

当更多的元素被添加到hash表时，hash表必须调整大小来适应。事实证明，当一个hash表只是**2/3**被利用时，hash冲突的概率是可以接受的。所以，当hash表的存储达到这个点时，我们需要分配更大的hash表，更多的内存块被分配，mask也调整为新的长度的mask，所有旧hash表中的数据被重新添加到新hash表中，因为你mask改变了，这个操作需要重新计算所有的index，所以，**调整一个大hash表的开销是十分昂贵的**。

**最小的dictionaries和sets的大小是8**(参见Python源码dictobject.c),也就是说，当你只存储3个KeyValue时，Python的字典也会分配8个内存块。

**每次resize时，当小于50000个元素时，内存每次随之递增4倍，大于50000个时，递增2倍**，也就是说，无论字典和集合内存储多少个元素，分配的内存只会是如下的size：8，32，128，512，2048，8192，32768...还有很重要的一点不要忘了，我们要保障hash表只有2/3的负载，来确保可以接受的hash碰撞率。所以，当一个字典有1039个元素时，必须至少分配1039 \* 5 / 3 = 1731个buckets，所以根据规则，Python将分配2048个元素。

链接：https://www.jianshu.com/p/006fcc73ec07