HashMap引发死循环及元素丢失情景分析

ゝ一世哀愁。 2022-03-26 11:44 192阅读 0赞

公司项目的一个模块在线上运行的时候出现了死循环，死循环的代码就卡在HashMap的get方法上。尽管最终发现不是因为HashMap导致的，但却让我重视了HashMap在多线程环境下会引发死循环的这个问题，下面先用一段代码简单模拟出HashMap的死循环：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 </td> 
 <td> <code>public</code> <code>class</code> <code>HashMapThread </code><code>extends</code> <code>Thread</code> <code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>private</code> <code>static</code> <code>AtomicInteger ai = </code><code>new</code> <code>AtomicInteger(</code><code>0</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>private</code> <code>static</code> <code>Map&lt;Integer, Integer&gt; map = </code><code>new</code> <code>HashMap&lt;Integer, Integer&gt;(</code><code>1</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>public</code> <code>void</code> <code>run()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>while</code> <code>(ai.get() &lt; </code><code>100000</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>map.put(ai.get(), ai.get());</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ai.incrementAndGet();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

这个线程的作用很简单，给AtomicInteger不断自增并写入HashMap中，其中AtomicInteger和HashMap都是全局共享的，也就是说所有线程操作的都是同一个AtomicInteger和HashMap。开5个线程操作一下run方法中的代码：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 </td> 
 <td> <code>public</code> <code>static</code> <code>void</code> <code>main(String[] args)</code> <code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>HashMapThread hmt0 = </code><code>new</code> <code>HashMapThread();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>HashMapThread hmt1 = </code><code>new</code> <code>HashMapThread();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>HashMapThread hmt2 = </code><code>new</code> <code>HashMapThread();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>HashMapThread hmt3 = </code><code>new</code> <code>HashMapThread();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>HashMapThread hmt4 = </code><code>new</code> <code>HashMapThread();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>hmt0.start();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>hmt1.start();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>hmt2.start();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>hmt3.start();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>hmt4.start();</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

多运行几次之后死循环就出来了，我大概运行了7次、8次的样子，其中有几次是数组下标越界异常ArrayIndexOutOfBoundsException。这里面要提一点，多线程环境下代码会出现问题并不意味着多线程环境下一定会出现问题，但是只要出现了问题，或者是死锁、或者是死循环，那么你的项目除了重启就没有什么别的办法了，所以代码的线程安全性在开发、评审的时候必须要重点考虑到。OK，看一下控制台：

[![e83e58487d4fb6df587824a6a70970fb.png][]][e83e58487d4fb6df587824a6a70970fb.png 1]

红色方框一直亮着，说明代码死循环了。死循环问题的定位一般都是通过jps+jstack查看堆栈信息来定位的：

[![3452de4d38200aa4324483f7cbd39104.png][]][3452de4d38200aa4324483f7cbd39104.png 1]

看到Thread-0处于RUNNABLE，而从堆栈信息上应该可以看出，这次的死循环是由于Thread-0对HashMap进行扩容而引起的。

所以，本文就解读一下，HashMap的扩容为什么会引起死循环。

## 正常的扩容过程 ##

先来看一下HashMap一次正常的扩容过程。简单一点看吧，假设我有三个经过了最终rehash得到的数字，分别是5 7 3，HashMap的table也只有2，那么HashMap把这三个数字put进数据结构了之后应该是这么一个样子的：

[![87f662b76b4db94d0ebec96131709f57.png][]][87f662b76b4db94d0ebec96131709f57.png 1]

这应该很好理解。然后看一下resize的代码，上面的堆栈里面就有：

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>void</code> <code>addEntry(</code><code>int</code> <code>hash, K key, V value, </code><code>int</code> <code>bucketIndex) { </code> <code>Entry&lt;K,V&gt; e = table[bucketIndex];</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>table[bucketIndex] = </code><code>new</code> <code>Entry&lt;K,V&gt;(hash, key, value, e);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>(size++ &gt;= threshold)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>resize(</code><code>2</code> <code>* table.length);</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 </td> 
 <td> <code>void</code> <code>resize(</code><code>int</code> <code>newCapacity) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Entry[] oldTable = table;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code>oldCapacity = oldTable.length;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>(oldCapacity == MAXIMUM_CAPACITY) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>threshold = Integer.MAX_VALUE;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Entry[] newTable = </code><code>new</code> <code>Entry[newCapacity];</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>transfer(newTable);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>table = newTable;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>threshold = (</code><code>int</code><code>)(newCapacity * loadFactor);</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 </td> 
 <td> <code>void</code> <code>transfer(Entry[] newTable) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Entry[] src = table;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code>newCapacity = newTable.length;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code> <code>(</code><code>int</code> <code>j = </code><code>0</code><code>; j &lt; src.length; j++) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Entry&lt;K,V&gt; e = src[j];</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>(e != </code><code>null</code><code>) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>src[j] = </code><code>null</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>do</code> <code>{ </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Entry&lt;K,V&gt; next = e.next;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>int</code> <code>i = indexFor(e.hash, newCapacity);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>e.next = newTable[i];</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>newTable[i] = e;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>e = next;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>} </code><code>while</code> <code>(e != </code><code>null</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

我总结一下这三段代码，HashMap一次扩容的过程应该是：

1、取当前table的2倍作为新table的大小

2、根据算出的新table的大小new出一个新的Entry数组来，名为newTable

3、轮询原table的每一个位置，将每个位置上连接的Entry，算出在新table上的位置，并以链表形式连接

4、原table上的所有Entry全部轮询完毕之后，意味着原table上面的所有Entry已经移到了新的table上，HashMap中的table指向newTable

这样就完成了一次扩容，用图表示是这样的：

[![a360ec57b657c1fba447f1ef7c5cd9ff.png][]][a360ec57b657c1fba447f1ef7c5cd9ff.png 1]

HashMap的一次正常扩容就是这样的，这很好理解。

## 扩容导致的死循环 ##

既然是扩容导致的死循环，那么继续看扩容的代码：

两个线程，线程A和线程B。假设第9行执行完毕，线程A切换，那么对于线程A而言，是这样的：

[![78d2b5c0ee04dc89120797b17a16678f.png][]][78d2b5c0ee04dc89120797b17a16678f.png 1]

CPU切换到线程B运行，线程B将整个扩容过程全部执行完毕，于是就形成了：

[![9ac47db82b4b7d3ccb7e5c67ff63f7ed.png][]][9ac47db82b4b7d3ccb7e5c67ff63f7ed.png 1]

此时CPU切换到线程A上，执行第8行~第14行的do…while…循环，首先放置3这个Entry：

[![e3a4fa8d33da06a00df749bd133582a3.png][]][e3a4fa8d33da06a00df749bd133582a3.png 1]

我们必须要知道，由于线程B已经执行完毕，因此根据Java内存模型（JMM），现在table里面所有的Entry都是最新的，也就是7的next是3，3的next是null。3放置到table\[3\]的位置上了，下面的步骤是：

1、e=next，即e=7

2、判断e不等于null，循环继续

3、next=e.next，即next=7的next，也就是3

4、放置7这个Entry

所以，用图表示就是：

[![870c3a3cf7faca63670d86d6ecaa42f9.png][]][870c3a3cf7faca63670d86d6ecaa42f9.png 1]

放置完7之后，继续运行代码：

1、e=next，也就是说e=3

2、判断e不等于null，循环继续

3、next=e.next，即3的next，也就是null

4、放置3这个Entry

把3移到table\[3\]上去，死循环就出来了：

[![106e8858bff3d18443ee34ca1dab8d50.png][]][106e8858bff3d18443ee34ca1dab8d50.png 1]

3移到table\[3\]上去了，3的next指向7，由于原先7的next指向3，这样就成了一个死循环。

此时执行13行的e=next，那么e=null，循环终止。尽管此次循环确实结束了，但是后面的操作，只要涉及轮询HashMap数据结构的，无论是迭代还是扩容，都将在table\[3\]这个链表处出现死循环。这也就是前面的死循环堆栈出现的原因，transfer的484行，因为这是一次扩容操作，需要遍历HashMap数据结构，transfer方法是扩容的最后一个方法。

## 3 5 7又会有怎样的结果 ##

可能有人觉得上面的数字5 7 3太巧了，像是专门为了产生HashMap的死循环而故意选择的数字。

这个问题，我这么回答：我记得在《从Paxos到Zookeeper分布式一致性原理与实践》有一段话大概是这么描述的，有一个被反复实践得出的结论是，任何在多线程下可能发生的错误场景最终一定会发生。

5 7 3这个数字可不巧，扩容前相邻两个Entry被分配到扩容后同样的table位置是很正常的。关键的是，即使这种异常场景发生的可能性再低，只要发生一次，那么你的系统就部分甚至全部不可用了—-除了重启系统没有任何办法。所以，这种可能会发生的异常场景必须提前扼杀。

OK，不扯了，前面讲了5 7 3导致了死循环，现在看一下正常的顺序3 5 7，会发生什么问题。简单看一下，就不像上面讲得这么详细了：

[![ae8ec5e9e80d550cee1b985b0b5a4542.png][]][ae8ec5e9e80d550cee1b985b0b5a4542.png 1]

这是扩容前数据结构中的内容，扩容之后正常的应该是：

[![ccfdb6ddad762ea35b9f4f13cceda4f2.png][]][ccfdb6ddad762ea35b9f4f13cceda4f2.png 1]

现在在多线程下遇到问题了，某个线程先放7：

[![95a82a1a0bef57d7bd276ddba4273d67.png][]][95a82a1a0bef57d7bd276ddba4273d67.png 1]

再接着放5：

[![d657a42fc843842210757d4aa64af392.png][]][d657a42fc843842210757d4aa64af392.png 1]

由于5的next此时为null，因此扩容操作结束，3 5 7造成的结果就是元素丢失。

## 如何解决 ##

把一个线程非安全的集合作为全局共享的，本身就是一种错误的做法，并发下一定会产生错误。

所以，解决这个问题的办法很简单，有两种：

1、使用Collections.synchronizedMap(Mao<K,V> m)方法把HashMap变成一个线程安全的Map

2、使用Hashtable、ConcurrentHashMap这两个线程安全的Map

不过，既然选择了线程安全的办法，那么必然要在性能上付出一定的代价—-毕竟这个世界上没有十全十美的事情，既要运行效率高、又要线程安全。

**如有披露或问题欢迎留言或者入群探讨**

![20180614130621747][]

[e83e58487d4fb6df587824a6a70970fb.png]: /images/20220326/52e08aa9037141c3b6246a11aecd728b.png
[e83e58487d4fb6df587824a6a70970fb.png 1]: http://www.importnew.com/25070.html/801753-20151210203621652-472339013
[3452de4d38200aa4324483f7cbd39104.png]: /images/20220326/c6011972920a4c929ec945ff49bef5a0.png
[3452de4d38200aa4324483f7cbd39104.png 1]: http://www.importnew.com/25070.html/801753-20151210203714933-143225835
[87f662b76b4db94d0ebec96131709f57.png]: /images/20220326/e4053967714e4963972c55411f48542b.png
[87f662b76b4db94d0ebec96131709f57.png 1]: http://www.importnew.com/25070.html/801753-20151212170803809-1228904061
[a360ec57b657c1fba447f1ef7c5cd9ff.png]: /images/20220326/fd943f9e44dd41c3b34df091f6e238a3.png
[a360ec57b657c1fba447f1ef7c5cd9ff.png 1]: http://www.importnew.com/25070.html/801753-20151212171001169-218100779
[78d2b5c0ee04dc89120797b17a16678f.png]: /images/20220326/1436892ac0fe49e4a571e9794a025497.png
[78d2b5c0ee04dc89120797b17a16678f.png 1]: http://www.importnew.com/25070.html/801753-20151212184247794-1773995400
[9ac47db82b4b7d3ccb7e5c67ff63f7ed.png]: /images/20220326/2104f344f57c4d0497b5ec8136f2c8f1.png
[9ac47db82b4b7d3ccb7e5c67ff63f7ed.png 1]: http://www.importnew.com/25070.html/801753-20151212184340794-575118916
[e3a4fa8d33da06a00df749bd133582a3.png]: /images/20220326/d34132c3e29a44f5bb24652ef0e42238.png
[e3a4fa8d33da06a00df749bd133582a3.png 1]: http://www.importnew.com/25070.html/801753-20151212185029137-1615739989
[870c3a3cf7faca63670d86d6ecaa42f9.png]: /images/20220326/710b9694e63a4b53aa513cc50ad936e9.png
[870c3a3cf7faca63670d86d6ecaa42f9.png 1]: http://www.importnew.com/25070.html/801753-20151212185651591-1282375682
[106e8858bff3d18443ee34ca1dab8d50.png]: /images/20220326/a13c4f9d5e92475c932605e55bbb9f5f.png
[106e8858bff3d18443ee34ca1dab8d50.png 1]: http://www.importnew.com/25070.html/801753-20151212185956028-948946343
[ae8ec5e9e80d550cee1b985b0b5a4542.png]: /images/20220326/bc5376f98d324225bdbb5dc2c571ae10.png
[ae8ec5e9e80d550cee1b985b0b5a4542.png 1]: http://www.importnew.com/25070.html/801753-20151212201914200-984546904
[ccfdb6ddad762ea35b9f4f13cceda4f2.png]: /images/20220326/0e5418817869455aa113439b795cebd2.png
[ccfdb6ddad762ea35b9f4f13cceda4f2.png 1]: http://www.importnew.com/25070.html/801753-20151212202024200-201515113-1
[95a82a1a0bef57d7bd276ddba4273d67.png]: /images/20220326/ac61cc9726784a1f9e3273a93ce633cf.png
[95a82a1a0bef57d7bd276ddba4273d67.png 1]: http://www.importnew.com/25070.html/801753-20151212202127091-1874097507
[d657a42fc843842210757d4aa64af392.png]: /images/20220326/5459954b5148411baca756e3a92d66ab.png
[d657a42fc843842210757d4aa64af392.png 1]: http://www.importnew.com/25070.html/801753-20151212202205653-1833003565
[20180614130621747]: /images/20220326/38d091bb1d59469f81eae9f112ebb79d.png