AI 已经会刷 LeetCode 了！

港控/mmm° 2022-10-14 00:47 170阅读 0赞

公众号关注 “前端开发博客”

设为 “星标”，每天分享一个前端知识点！

![80c1c66d365751c5c7b79db768983a26.png][]

来自量子位

大家好，今天分享一个有趣的。

你在面试中会遇到的那种算法题，AI已经能自己解决了，比如下面这道题：

> 对于一个记录论文引用次数的数组，每个元素都是非负整数。请写出函数h\_index，输出这些论文的h指数，即至多有h篇文章被至少引用了h次。
> 
> 例：  
> 输入: \[3, 0, 6, 1, 4\]  
> 输出: 3

AI给出的Python答案是这样的：

![ecb65a2f8681699834bd7d1b2bbe86f0.png][]

除了排序没用counts.sort(reverse = True)让人看着血压升高，算是顺利通过测试：

![b9bd9c42bbbe289db241f3bf065d982a.png][]

来自UC伯克利的研究团队，将上面这道题被归为“面试级”难度（看来国外程序员面试题有点简单）。

此外还有更简单的“入门级”和更难的“竞赛级”，总共5000道题的测试中，AI能做出**15%**。

另外有人声称，他专门用GPT-2训练了个专门做LeetCode的AI，能完成**80%**。

![74c6d913299d0b47a03e358677d8d1d0.png][]

在刷LeetCode的你，是否在颤抖？

![f34e4c1413ab24c575a1fc7e64130c4f.png][]

## GPT-Neo赢过GPT-3 ##

本研究使用的题目形式是自然语言题干，不同于以往研究常用的伪代码和代码之间翻译。

![6ece5441a869ca13ab2b9ea9a116f6e8.png][]

题目是从Codeforces、Kattis等刷题网站收集的10000道题，5000道用于训练，另外5000道作为测试集。

题干的平均长度为293.2个单词，在测试集中每道题平均有21.2个测试用例。

![cf63b9779f20810bf9e809bf30a065fb.png][]

**入门级难度**的题不需要复杂算法，有1-2年经验的程序员都能回答的那种，有3639个。

**面试级难度**的题会涉及数据结构，比如树或者图，或需要修改常见的算法，有5000个。

剩下的是**竞赛级难度**，达到USACO、IOI和ACM等竞赛的水平。

研究人员分别训练了GPT-2的1亿参数版和15亿参数版、GPT-3以及“高仿版”**GPT-Neo**。

参数规模“只有”**27亿**的GPT-Neo和更低的GPT-2在测试用例通过率上，表现却比**1750亿**的GPT-3还要好。

![6ea8fe9e9273a48119d435e91a8b6184.png][]

**在严格模式下**，通过所有测试用例才算完全正确，成绩最好的GPT-Neo只通过了1.12%，不过这也有**56道题**了（反正比我强）。

![2f75fab3415fedf2b03611af71b7ae2f.png][]

GPT-Neo来自EleutherAI团队尝试复现GPT的开源项目。

虽然参数规模比GPT-3小得多，但训练数据包含了更多技术网站，比如Stack OverFlow和Stack Exchange等，这可能是它在代码生成上胜出的原因之一。

至于GPT-3为什么表现还不如GPT-2，有人猜测可能是它见过的文本太多，虽然擅长生成自然语言，但在逻辑和解题方面**过拟合了**。

![612858cebc08314a467e8152476fec98.png][]

## 如何评价AI“做题家” ##

论文一发出来，吃瓜群众脑洞大开。

> 如果我没通过面试但我写的算法通过了会怎么样？

![a13da8fc3b2f879ecbe91415c689d836.png][]

有人回答他:

> 没关系，你还可以当你算法的助手。

还有很多人给出下一步建议，比如不用**自回归**的GPT，改用**自编码**语言模型会怎样？比如CodeTrans。

![722450375ea768f47ca744f4c7e9f44f.png][]

或者，再用一个GPT专门生成自己回答不出来的问题。

![6d6495ce4eaba1beed5b9d42f867555c.png][]

###### **△**矛盾相争是吧 ######

**乐观的人**认为这是解放了人的创造力，未来编程是关于写更少的代码，做更多的架构、工程。

![337b0368eae793b5d1b9d5426ec1ecd6.png][]

有人畅想，只需要描述需求就能生成代码可太爽了。

> 嗨IDE，用我的数据库做一个JavaScript的增查改删，要带测试。

![ac7d3b6cd8ec793e5cb9e9a9ccaf9973.png][]

###### **△**Ruby on Rails直呼内行 ######

悲观的人却认为，将来有一天，人类程序员只能做做维护工作和评审机器生成的代码了。

![893a31e3a5dc6a676416656155fa44ae.png][]

面对AI“做题家”，你怕了吗？

论文地址：  
https://arxiv.org/abs/2105.09938

数据集地址：  
https://github.com/hendrycks/apps

自动刷LeetCode项目：  
https://github.com/gagan3012/project-code-py

参考资料：  
\[1\]https://twitter.com/DanHendrycks/status/1395536919774121984

## 相关文章 ##

1.  [Javascript 里的奇葩知识][Javascript]
2.  [由浅入深，66条JavaScript面试知识点][66_JavaScript]
3.  [20个常用的JavaScript简写技巧][20_JavaScript]

## 最后 ##

转发文章并关注公众号：前端开发博客，回复 1024，领取前端进阶资料

1.  回复「电子书」领取27本精选电子书
2.  回复「加群」加入前端大神交流群，一起学习进步
3.  回复「JS」获取 JavaScript 精选文章

![82c069d8a7af029e2526d0ed0044d659.png][]

分享和在看就是最大的支持❤️

[80c1c66d365751c5c7b79db768983a26.png]: /images/20221014/2ea927f228484820a3087b48dc9d15e3.png
[ecb65a2f8681699834bd7d1b2bbe86f0.png]: /images/20221014/d3ba6d0362794248b589c89b1ac49ffb.png
[b9bd9c42bbbe289db241f3bf065d982a.png]: /images/20221014/73f575a4164d4f37a7f0df3ba55c423b.png
[74c6d913299d0b47a03e358677d8d1d0.png]: /images/20221014/c932dc8d17a8457bb2943df2992a2271.png
[f34e4c1413ab24c575a1fc7e64130c4f.png]: /images/20221014/58c6cd34fcb64650b8350e7f427e812b.png
[6ece5441a869ca13ab2b9ea9a116f6e8.png]: /images/20221014/63882e8f3e5945d9bcdf06e87b099248.png
[cf63b9779f20810bf9e809bf30a065fb.png]: /images/20221014/0e7285a0e50c41568e7060a65ff4b706.png
[6ea8fe9e9273a48119d435e91a8b6184.png]: /images/20221014/eeec55240fe34d78994df3bbe473d5b0.png
[2f75fab3415fedf2b03611af71b7ae2f.png]: /images/20221014/b574f41f81124130a04c73fd80e2e2f4.png
[612858cebc08314a467e8152476fec98.png]: /images/20221014/fa73859dedaf411a89bcc2f42946c0f2.png
[a13da8fc3b2f879ecbe91415c689d836.png]: /images/20221014/63ed73f1c1ed4ba49eb278efdf93b786.png
[722450375ea768f47ca744f4c7e9f44f.png]: /images/20221014/3053092d57bd4d3c86ca605d6f335457.png
[6d6495ce4eaba1beed5b9d42f867555c.png]: /images/20221014/8b65318cfad44c67b6ac1adaef056547.png
[337b0368eae793b5d1b9d5426ec1ecd6.png]: /images/20221014/5fb9a1330ca44bd1a9e40064307ddbf1.png
[ac7d3b6cd8ec793e5cb9e9a9ccaf9973.png]: /images/20221014/49f6d1c8fe5f4a349e5622a3d6e2da55.png
[893a31e3a5dc6a676416656155fa44ae.png]: /images/20221014/e444d2d68955461190d4aeb25bbb9d30.png
[Javascript]: http://mp.weixin.qq.com/s?__biz=MzAxODE4MTEzMA%3D%3D&chksm=83db900bb4ac191db72d57323ac38fb6249776c929e167f6595eddf33c60ba52c3ff50a28e6c&idx=2&mid=2650082670&scene=21&sn=5fb239f70c94d46b2274d4e14c4388ad#wechat_redirect
[66_JavaScript]: http://mp.weixin.qq.com/s?__biz=MzAxODE4MTEzMA%3D%3D&chksm=83db9a81b4ac1397132de99ebdbdbdad57dcc6785d0b8fe1a5ee2b57dbb960b0fbf65015c3ca&idx=1&mid=2650081252&scene=21&sn=1fedc422a3806fa1f9c3faf31bb2a20b#wechat_redirect
[20_JavaScript]: http://mp.weixin.qq.com/s?__biz=MzAxODE4MTEzMA%3D%3D&chksm=83db8e24b4ac0732298aaee7e769cbeabcdf076d3662e511de349edb2b1a90a23e12fedd9657&idx=1&mid=2650084161&scene=21&sn=09656390117f5b9a3ddbc4a1ef6c2e8b#wechat_redirect
[82c069d8a7af029e2526d0ed0044d659.png]: /images/20221014/a6e21fe895a9478c846a16422356fc29.png