【数据结构与算法】散列表

﹏ヽ暗。殇╰゛Y 2022-11-29 00:57 121阅读 0赞

### 一、散列表的由来？ ###

1.散列表来源于数组，它借助散列函数对数组这种数据结构进行扩展，利用的是数组支持按照下标随机访问元素的特性。  
2.需要存储在散列表中的数据我们称为键，将键转化为数组下标的方法称为散列函数，散列函数的计算结果称为散列值。  
3.将数据存储在散列值对应的数组下标位置。

### 二、如何设计散列函数？ ###

总结3点设计散列函数的基本要求  
1.散列函数计算得到的散列值是一个非负整数。  
2.若key1=key2，则hash(key1)=hash(key2)  
3.若key≠key2，则hash(key1)≠hash(key2)  
正是由于第3点要求，所以产生了几乎无法避免的散列冲突问题。

### 三、散列冲突的解放方法？ ###

1.常用的散列冲突解决方法有2类：开放寻址法（open addressing）和链表法（chaining）  
**2.开放寻址法**  
①核心思想：如果出现散列冲突，就重新探测一个空闲位置，将其插入。  
②线性探测法（Linear Probing）：  
插入数据：当我们往散列表中插入数据时，如果某个数据经过散列函数之后，存储的位置已经被占用了，我们就从当前位置开始，依次往后查找，看是否有空闲位置，直到找到为止。  
查找数据：我们通过散列函数求出要查找元素的键值对应的散列值，然后比较数组中下标为散列值的元素和要查找的元素是否相等，若相等，则说明就是我们要查找的元素；否则，就顺序往后依次查找。如果遍历到数组的空闲位置还未找到，就说明要查找的元素并没有在散列表中。  
删除数据：为了不让查找算法失效，可以将删除的元素特殊标记为deleted，当线性探测查找的时候，遇到标记为deleted的空间，并不是停下来，而是继续往下探测。  
结论：最坏时间复杂度为O(n)  
③**二次探测（Quadratic probing）**：线性探测每次探测的步长为1，即在数组中一个一个探测，而二次探测的步长变为原来的平方。  
④**双重散列（Double hashing）**：使用一组散列函数，直到找到空闲位置为止。  
⑤线性探测法的性能描述：  
用“**装载因子**”来表示空位多少，公式：散列表装载因子=填入表中的个数/散列表的长度。  
装载因子越大，说明空闲位置越少，冲突越多，散列表的性能会下降。  
**3.链表法（更常用）**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhZG9uZ3d1ZGk_size_16_color_FFFFFF_t_70_pic_center]

插入数据：当插入的时候，我们需要通过散列函数计算出对应的散列槽位，将其插入到对应的链表中即可，所以插入的时间复杂度为O(1)。  
查找或删除数据：当查找、删除一个元素时，通过散列函数计算对应的槽，然后遍历链表查找或删除。对于散列比较均匀的散列函数，链表的节点个数k=n/m，其中n表示散列表中数据的个数，m表示散列表中槽的个数，所以是时间复杂度为O(k)。

### 四、如何设计散列函数？ ###

1.  要尽可能让散列后的值随机且均匀分布，这样会尽可能减少散列冲突，即便冲突之后，分配到每个槽内的数据也比较均匀。
2.  除此之外，散列函数的设计也不能太复杂，太复杂就会太耗时间，也会影响到散列表的性能。
3.  常见的散列函数设计方法：直接寻址法、平方取中法、折叠法、随机数法等。

### 五、如何根据装载因子动态扩容？ ###

**1.如何设置装载因子阈值？**  
①可以通过设置装载因子的阈值来控制是扩容还是缩容，支持动态扩容的散列表，插入数据的时间复杂度使用摊还分析法。  
②装载因子的阈值设置需要**权衡时间复杂度和空间复杂度**。如何权衡？如果内存空间不紧张，对执行效率要求很高，可以降低装载因子的阈值；相反，如果内存空间紧张，对执行效率要求又不高，可以增加装载因子的阈值。  
**2.如何避免低效扩容？分批扩容**  
**①分批扩容的插入操作**：当有新数据要插入时，我们将数据插入新的散列表，并且从老的散列表中拿出一个数据放入新散列表。每次插入都重复上面的过程。这样插入操作就变得很快了。  
**②分批扩容的查询操作**：先查新散列表，再查老散列表。  
③通过分批扩容的方式，任何情况下，插入一个数据的时间复杂度都是O(1)。

### 六、如何选择散列冲突解决方法？ ###

①常见的2中方法：开放寻址法和链表法。  
②大部分情况下，链表法更加普适。而且，我们还可以通过将链表法中的链表改造成其他动态查找数据结构，比如红黑树、跳表，来避免散列表时间复杂度退化成O(n)，抵御散列冲突攻击。  
③但是，对于小规模数据、装载因子不高的散列表，比较适合用开放寻址法。

### 七、为什么散列表和链表经常放在一起使用？ ###

> 数组占据随机访问的优势，却有需要连续内存的缺点。  
> 链表具有可不连续存储的优势，但访问查找是线性的。  
> 散列表和链表、跳表的混合使用，是为了结合数组和链表的优势，规避它们的不足。

我们可以得出数据结构和算法的重要性排行榜：连续空间 > 时间 > 碎片空间。  
1.散列表的优点：支持高效的数据插入、删除和查找操作  
2.散列表的缺点：不支持快速顺序遍历散列表中的数据  
3.如何按照顺序快速遍历散列表的数据？只能将数据转移到数组，然后排序，最后再遍历数据。  
4.我们知道散列表是动态的数据结构，需要频繁的插入和删除数据，那么每次顺序遍历之前都需要先排序，这势必会造成效率非常低下。  
5.如何解决上面的问题呢？就是将散列表和链表（或跳表）结合起来使用。

### 八、散列表和链表如何组合起来使用？ ###

**1.LRU（Least Recently Used）缓存淘汰算法**  
1.1.LRU缓存淘汰算法主要操作有哪些？主要包含3个操作：  
①往缓存中添加一个数据；  
②从缓存中删除一个数据；  
③在缓存中查找一个数据；  
④总结：上面3个都涉及到查找。  
1.2.如何用链表实现LRU缓存淘汰算法？  
①需要维护一个按照访问时间从大到小的有序排列的链表结构。  
②缓冲空间有限，当空间不足需要淘汰一个数据时直接删除链表头部的节点。  
③当要缓存某个数据时，先在链表中查找这个数据。若未找到，则直接将数据放到链表的尾部。若找到，就把它移动到链表尾部。  
④前面说了，LRU缓存的3个主要操作都涉及到查找，若单纯由链表实现，查找的时间复杂度很高为O(n)。若将链表和散列表结合使用，查找的时间复杂度会降低到O(1)。  
1.3.如何使用散列表和链表实现LRU缓存淘汰算法？  
①使用双向链表存储数据，链表中每个节点存储数据（data）、前驱指针（prev）、后继指针（next）和hnext指针（解决散列冲突的链表指针）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhZG9uZ3d1ZGk_size_16_color_FFFFFF_t_70_pic_center 1]

> pre和next组成双向链表，这个链表是按照缓存的时间由大到小，组成的一个缓存队列；对于hnext作用是，在最新时间插入缓存数据时，通过哈希函数得出的冲突，用其连接。  
> 总结：在双向链表中，时间是从大到小；在hnext组成的拉链中，时间从左到右依次变小。

②散列表通过链表法解决散列冲突，所以每个节点都会在两条链中。一条链是双向链表，另一条链是散列表中的拉链。前驱和后继指针是为了将节点串在双向链表中，hnext指针是为了将节点串在散列表的拉链中。  
③LRU缓存淘汰算法的3个主要操作如何做到时间复杂度为O(1)呢？  
首先，我们明确一点就是链表本身插入和删除一个节点的时间复杂度为O(1)，因为只需更改几个指针指向即可。  
接着，来分析查找操作的时间复杂度。当要查找一个数据时，通过散列表可实现在O(1)时间复杂度找到该数据，再加上前面说的插入或删除的时间复杂度是O(1)，所以我们总操作的时间复杂度就是O(1)。  
**2.Redis有序集合**  
2.1.什么是有序集合？  
①在有序集合中，每个成员对象有2个重要的属性，即key（键值）和score（分值）。  
②不仅会通过score来查找数据，还会通过key来查找数据。  
2.2.有序集合的操作有哪些？  
举个例子，比如用户积分排行榜有这样一个功能：可以通过用户ID来查找积分信息，也可以通过积分区间来查找用户ID。这里用户ID就是key，积分就是score。所以，有序集合的操作如下：  
①添加一个对象；  
②根据键值删除一个对象；  
③根据键值查找一个成员对象；  
④根据分值区间查找数据，比如查找积分在\[100.356\]之间的成员对象；  
⑤按照分值从小到大排序成员变量。  
这时可以按照分值将成员对象组织成跳表结构，按照键值构建一个散列表。那么上面的所有操作都非常高效。  
**3.Java LinkedHashMap**  
和LRU缓存淘汰策略实现一模一样。支持按照插入顺序遍历数据，也支持按照访问顺序遍历数据。

### N、思考 ###

**1.Word文档中单词拼写检查功能是如何实现的？**  
字符串占用内存大小为8字节，20万单词占用内存大小不超过20MB，所以用散列表存储20万英文词典单词，然后对每个编辑进文档的单词进行查找，若未找到，则提示拼写错误。  
**2.假设我们有10万条URL访问日志，如何按照访问次数给URL排序？**

遍历 10 万条数据，以 URL 为 key，访问次数为 value，存入散列表，同时记录下访问次数的最大值 K，时间复杂度 O(N)。

如果 K 不是很大，可以使用桶排序，时间复杂度 O(N)。如果 K 非常大（比如大于 10 万），就使用快速排序，复杂度 O(NlogN)。

**3.有两个字符串数组，每个数组大约有10万条字符串，如何快速找出两个数组中相同的字符串？**  
分别将2个数组的字符串通过散列函数映射到散列表，散列表中的元素值为次数。注意，先存储的数组中的相同元素值不进行次数累加。最后，统计散列表中元素值大于等于2的散列值对应的字符串就是两个数组中相同的字符串。

**4. 如何设计一个工业级的散列函数？**  
**思路：**  
何为一个工业级的散列表？工业级的散列表应该具有哪些特性？结合学过的知识，我觉的应该有这样的**要求**：

1.  支持快速的查询、插入、删除操作；
2.  内存占用合理，不能浪费过多空间；
3.  性能稳定，在极端情况下，散列表的性能也不会退化到无法接受的情况。

**方案**：  
如何设计这样一个散列表呢？根据前面讲到的知识，我会从3个方面来考虑设计思路：  
1.设计一个合适的散列函数；  
2.定义装载因子阈值，并且设计动态扩容策略；  
3.选择合适的散列冲突解决方法。

**6.在你熟悉的编程语言中，哪些数据类型底层是基于散列表实现的？散列函数是如何设计的？散列冲突是通过哪种方法解决的？**

JDK hashMap源码，hash表中数组位置的计算分两步：  
1.计算hash值：

int hash(Object key) { 
        int h = key.hashCode()；
        return (h ^ (h >>> 16)) & (capicity -1); //capicity表示散列表的大小
    }

这一步有一种说法，叫它扰动函数，为什么要右移16位再与本身异或呢？  
1.1 首先hashCode()返回值int最高是32位，如果直接拿hashCode()返回值作为下标，大概40亿的映射空间，只要哈希函数映射得比较均匀松散，一般是很难出现碰撞的。  
问题是一个40亿长度的数组，内存是放不下的。  
1.2 所以，用自己的高半区和低半区做异或，混合原始哈希码的高位和低位，关键是以此来加大低位的随机性。为后续计算index截取低位，保证低位的随机性。  
1.3 这样设计保证了对象的hashCode的32位值只要有一位发生改变，整个hash()返回值就会改变，高位的变化会反应到低位里，保证了hash值的随机性。

2.在插入或查找的时候，计算Key被映射到桶的位置：

int index = hash(key) & (capacity - 1)

hash()扰动函数计算的值和hash表当前的容量减一，做按位与运算。  
这一步，为什么要减一，又为什么要按位与运算？  
因为A % B = A & (B - 1)，当B是2的指数时，等式成立。  
本质上是使用了「除留余数法」，保证了index的位置分布均匀。

为什么HashMap的数组长度必须是2的整次幂？  
数组长度是2的整次幂时，（数组长度-1）正好相当于一个**低位掩码**，“与”操作的结果就是散列值的高位全部归零，只保留低位值，用来做数组下标访问。

以初始长度16为例，16-1=15。2进制表示是00000000 00000000 00001111。“与”操作的结果就是截取了最低的四位值。也就相当于取模操作。

7.**今天讲的几个散列表和链表结合使用的例子里，我们用的都是双向链表。如果把双向链表改成单链表，还能否正常工作呢？为什么呢？**  
在删除一个元素时，虽然能 O(1) 的找到目标结点，但是要删除该结点需要拿到前一个结点的指针，遍历到前一个结点复杂度会变为 O(N），所以用双链表实现比较合适。

（但其实硬要操作的话，单链表也是可以实现 O(1) 时间复杂度删除结点的）。

8.**假设猎聘网有 10 万名猎头，每个猎头都可以通过做任务（比如发布职位）来积累积分，然后通过积分来下载简历。假设你是猎聘网的一名工程师，如何在内存中存储这 10 万个猎头 ID 和积分信息，让它能够支持这样几个操作：  
根据猎头的 ID 快速查找、删除、更新这个猎头的积分信息；  
查找积分在某个区间的猎头 ID 列表；  
查找按照积分从小到大排名在第 x 位到第 y 位之间的猎头 ID 列表。**  
以猎头 ID 构建一个散列表\[\{ID ：积分\}\]；再用积分先构建一个跳表，再用积分跳表和猎头 ID 数组构建一个复合散列表\[\{积分 : \[ID数组\]\}\]。  
1）在散列表中可以 O(1) 时间复杂度查找、删除、更新猎头ID 对应的积分数据；  
2）积分以跳表存储，跳表支持按区间查询；  
3）使用快速排序法在 O(N) 时间复杂度内分别求出跳表中排名在第 x 位和第 y 位的积分大小，再通过复合散列表得到排名在第 x 位的积分到第 y 位的积分之间所有积分对应所有猎头 ID 数组中的 ID。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhZG9uZ3d1ZGk_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/ee2786154efe456a9879403060a9efec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhZG9uZ3d1ZGk_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/b770e03828764dd0be7fb3b0f547cdc1.png