莫迷失，日常生活中机器学习应用非常重要

╰+攻爆jí腚メ 2022-09-12 00:57 112阅读 0赞

### 文章目录 ###

*  内容介绍
 *  心态转变
 *  开放挑战

# 内容介绍 #

推荐一篇老外发表于2012年的论文 [Machine Learning that Matters][]，作者是基里·瓦格斯塔夫。

论点是机器学习研究界已经迷失了方向。她建议大部分机器学习是为了机器学习而做的。她指出了三个关键问题：

*  **过分关注基准数据**，关注UCI存储库中的数据集，但很少有对正在处理的领域产生影响。她指出，缺乏实验可复制性标准，使标准数据集的使用无效，而且倾向于回归和分类问题。她评论说，使用UCI存储库比使用合成DAA更糟糕，因为我们甚至无法控制数据是如何创建的。
 *  **过分关注抽象度量**，着重于算法、竞赛或烘焙，以及使用RMSE和F-度量等通用度量，这些度量在领域中没有直接意义。
 *  **缺乏后续执行**，在Weka中下载数据集和运行算法是非常容易的。很难解释结果并将它们与领域联系起来，但这正是产生影响所需要的。

问题的症结在于她把机器学习描述为三类活动，而机器学习的贡献主要集中在算法选择和实验上，而忽略了问题的定义和结果的解释。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]

# 心态转变 #

Kiri建议研究团体需要改变它制定、攻击和评估机器学习研究项目的方式。她就以下三个方面发表了意见：

*  有意义的评价方法测量机器学习系统在该领域的直接影响。例如，节省了美元，保留了生命，节省了时间或减少了努力。直接冲击措施的选择对实验的设计和数据的选择都有一定的影响。
 *  外部世界的参与让领域专家参与定义问题和数据，更重要的是使用它们来解释领域结果的意义。这是为了停止解决没有意义的问题(虹膜植物分类)，并开发足够可靠和有用的系统，以便在实践中采用。
 *  盯着奖品选择研究问题及其影响。考虑问题领域的现状，并将结果描述为高于现状的改进水平。让社区参与并激励收养。

# 开放挑战 #

Kiri提出了挑战，并提出了6个问题作为研究项目的例子，在这些项目中，机器学习可以发挥作用：

1.  根据ML分析结果通过的法律或作出的法律决定。
2.  通过改进ML系统提供的决策，节省了1亿美元。
3.  通过ML系统提供的高质量翻译避免了国与国之间的冲突。
4.  通过ML防御系统，网络安全入侵减少50%。
5.  通过ML系统推荐的诊断或干预措施挽救的生命。
6.  一国人类发展指数(HDI)提高10%，可归因于ML系统。

她故意不提问题，以避免提出一个单一的问题或技术能力。真正的挑战是困难的。这些例子旨在激发而不是一份详尽的、优先处理的问题清单。

最后，Kiri最后对阻碍有效解决重要研究问题的障碍发表了评论。

*  行（hang）话机器学习术语的过度使用，这在野外是一种有用的速记，但基本上是场外不可穿透的。在面向更广泛的受众时，需要使用更通用的语言。
 *  风险，当机器学习系统做出重大决策时，谁会在犯错时受到惩罚？是谁维持着未来的制度？(我情不自禁地感觉到土木工程和安全关键制造业已经解决了类似的问题)
 *  复杂性机器学习方法还没有被激发和遗忘，博士仍然需要理解和使用这些方法。我们需要更好的工具。(我认为商品化机器学习进展很快)。

我认为这是一篇很好的论文，可以激励年轻的研究从赛车算法转向更有影响力的工作。这让我想起了O‘Reilly的武装号召“做一些重要的事情“不过，我想要一些更具体的例子，也许不那么理想主义，更注重商业，比如IBM沃森, Siri和大规模图像分类。

我也情不自禁地感觉到，在一些问题中，初学者可以取得进步，并获得直接的个人利益。比如分类他们自己的照片，整理他们的文件，或者在股票市场上交易。

[Machine Learning that Matters]: https://icml.cc/2012/papers/298.pdf
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d0f98865b41646f2bc87a9c2c8629dee.png