SQL是必学的吗？数据科学家的技能树该怎么点？

旧城等待， 2022-12-26 08:16 112阅读 0赞

> 全文共1852字，预计学习时长5分钟

![9454b991ecf41949b37a58a1b4c19259.png][]

图源：unsplash

一间屋子10个人，可能其中5位数据科学家都表示需要结构化查询语言（SQL）才能工作，另一半人则表示还有其他方法可以处理数据。

作为一名数据科学家，你使用什么方法？你还有其它方法吗？数据科学家必须要会使用SQL吗？本文将讨论SQL在数据科学中的作用，以及结构化查询语言（SQL）的替代方法。

![9d12e18f3fc36fad4d9959c1c48e3e4f.png][]

# SQL #

是否需要了解SQL具体取决于个人所属公司和数据科学团队。有些团队有数位数据工程师和数据分析师以及机器学习工程师，而有些团队则只有一位数据科学家。所以数据科学家是否需要了解SQL，你心中自有答案。

但是，讨论一下是否需要了解SOL的原因，以及不需要SOL的时机是颇为有趣且十分重要，讨论这个问题也有助于即将入职的数据科学家了解工作期望。以下是我使用SQL的原因：

· 使用SQL查询表格以获得有用的数据集

· 保持自主感（尽管也需要帮助）

· 在现有的SQL查询中随时发现和创建新功能

尽管数据科学可以看作是只专注于Python和R以及复杂机器学习算法的工作，但如果不充分利用SQL的优势，一个团队可能很难执行数据科学运算进程。不过，有时SQL并不是必需的，这取决于个人在数据科学领域的具体角色。

如果能从数据工程师或数据分析师那里获得一些帮助，便可以参考其他替代方法。此外，当SQL查询功能完全不符合专业时也不需要SQL，因为此时专注点在于数据科学模型开发，类似于在已获取的数据上相互测试各种机器学习算法。

![3dc40e45f537b13fd2dd935c1916e2f1.png][]

# 替代方法 #

从数据分析师或数据工程师处获取数据集后，对数据集的下一步改进就是创建新功能要素，而不只是直接从数据表中获取字段。例如，如果数据集中有10个字段，则可以开发几个全新指标作为字段，而不是通过计算第1列和第2列来直接创建新的第11列。除了SQL以外，另一个比较容易进行此计算的工具是pandas。充分理由显示，数据分析师和数据科学家已广泛使用该库。

使用pandas，能够快速执行复杂计算，并且只需一行代码。有时很难使用SQL计算数据，因为它在视觉上呈多行布局（仅为个人看法）。

以下是一些常用的pandas 数据框操作，旨在方便化数据集特征工程运算。

* groupby* items* loc* iloc* iteritems*keys* iterrows* query (this operation is quite similar to SQL quering, Ihighly recommend)* aggregate* corr* mean, median, min, and max* quantile*rank* sum* std* var* append* merge* join* sort_values* isnull* notna*between_time

大量操作都可以应用到pandas 数据框架中。个人最喜欢的操作：

· 分组（Groupby）——对数据进行分组，并对所述组执行进一步的操作。

· 查询（query）——一种类似SQL的查询方式，但在个人的数据框架中。

![321c045363c252ecf3f84f8f72a1293d.png][]

图源：unsplash

个人认为，计算全新的字段或指标更容易，这些字段或指标最终将用于个人pandas数据科学模型。不过，有人偏爱只在SQL中执行计算。对我来说，使用SQL的好处是我不必一次性添加所有新特性（查询时间过长），这样当我想添加一个新特性时，操作就非常简单有效。

数据科学家需要了解SQL吗？答案不是绝对的。这取决于公司、团队，有时还取决于个人偏好。

使用SQL查询，可以使用户受益匪浅，所以如果你还不了解SQL，可以学习其使用方法。如果你偏爱类似pandas的替代方法，你可能是庞大数据科学团队中的一员。

一些数据科学家同时使用SQL和Python来为模型创建最终的数据集。pandas最独特的地方在于它有一个类似于SQL的查询操作，用户可以在pandas数据框中综合使用SQL和Python。所以，想好你自己的解决方案了吗？

![049494fcc4e0a4b6ce35a22bafa2e9da.png][]

**一起分享AI学习与发展的干货**

**欢迎关注全平台AI垂类自媒体 “读芯术”**

[9454b991ecf41949b37a58a1b4c19259.png]: /images/20221120/88e0bfe188454114931fe9075e2397e5.png
[9d12e18f3fc36fad4d9959c1c48e3e4f.png]: /images/20221120/8ad0be47206e476db084c5232eef4b38.png
[3dc40e45f537b13fd2dd935c1916e2f1.png]: /images/20221120/568f2780c95241a192f8c3a4c7710d16.png
[321c045363c252ecf3f84f8f72a1293d.png]: /images/20221120/c3f33ebfd7d04a36a33052eeb676775f.png
[049494fcc4e0a4b6ce35a22bafa2e9da.png]: /images/20221120/2f9e977a1bab41909a726690baaaef45.png