人类数据科学家是必需的吗？用dabl实现数据科学自动化

痛定思痛。 2022-12-15 02:21 141阅读 0赞

> 全文共2468字，预计学习时长7分钟

![1a9df79df938c2ebd3b628a33a651a47.png][]

Dabl 是Data Analysis Baseline Library的缩写（数据分析基线库）。Dabl 背后的理念是使监督式学习自动化，以减少常见任务的样板。

在建立任何预测模型的时候，数据都必须经过清理、分析，并通过不同的参数调整，运行各种模型，从而获得最佳的准确率。这样的操作需要多行代码和人为操作，但如果由dabl处理，只需很少几行代码，就可以节省人们处理海量数据的时间和开销。

开发这个库的主要目的是留给数据科学家更多的时间去思考问题陈述和创建更多的惯例分析，而不是每次都重复相同的操作步骤。Dabl从scikit-learn和auto-sklearn中获得灵感。

**安装及输入**

只需要输入一个库，这个库dabl就可以完成所有必要的任务。

!pip install dabl
    import dab

**获取数据**

Dabl 中几乎没有可以直接加载和使用的数据帧。我们也可以使用常规的Pandas 风格来读取外部数据，我们将在包含成人人口普查数据集的数据框架上工作。

df = dabl.datasets.load_adult()
    df.head()

![1358f34f72aee4e88dc877e2db7c0702.png][]

**数据清理**

数据清理是第一步。Dabl 尝试检测数据集中的数据类型并应用适当的转换。Dabl 的目标是为数据可视化和模型提供足够的数据清理。如果需要，也可以执行自定义清理。

dabl.clean(X, type_hints=None, return_types=False, target_col=None, verbose=0)

· X：数据帧

· type\_hinta:如果语义类型(连续的、范畴的、顺序的、文本等)检测失败

· return\_type:是否返回推断的类型

· target\_colstring:Target 列永远不会被删除

data_clean = dabl.clean(df, type_hints={"capital-gain":"continuous"})
    data_clean

![4c4c87ab13d6c1f501c4dcb2d051b252.png][]

**描述数据集**

传统意义上，在数据集上应用.info()可以获得初始分析。另外我们可以使用 dabl.data \_ types ()来预测每个列的数据类型。

dabl.detect_types(X, type_hints=None, max_int_cardinality='auto', dirty_float_threshold=0.9, near_constant_threshold=0.95, target_col=None, verbose=0)
    dabl.detect_types(df)

![3230b7d726e9d00002478481efd2c076.png][]

**探索性数据分析**

dabl.plot()能够快速分析数据。然而，dabl 并不能保证将数据所有有价值的部分都呈现出来。它提供了非常高层次的见解，比如重要特性、它们之间的交互以及问题的难易程度，人们不得不再次执行传统的自定义绘图来进行具体的分析。

dabl.plot(X, y=None, target_col=None, type_hints=None, scatter_alpha='auto', scatter_size='auto', verbose=10, plot_pairwise=True, **kwargs)
    dabl.plot(df, target_col="income")

![bbfbfcf98a1e98b97cd80a38ff35fd6f.png][]

![a23dfbf87c75e63c70606108cbfacb94.png][]

不可思议吧，只用了半行代码就得到了相当不错的结果。

**模型构建**

Simplecclassifier 被用来寻找最佳拟合模型，它对子采样数据应用几个基线。dabl的灵感来源于scikit-learn（由于dabl受到scikit-learn的启发），它帮助我们指定数据，以符合 scikit-learn 风格。方法有两种：

model = dabl.SimpleClassifier(random_state=0)
    X = data_clean.drop("income", axis=1)
    y = data_clean.income
    model.fit(X, y)

或者：

model = dabl.SimpleClassifier(random_state=0).fit(data_clean,target_col="income")

输出：

![c9306b6024661b123b7b03bba23d8733.png][]

正如你所看到的，它通过不同的参数调整应用了几个模型，找到最佳拟合模型和准确率。Simplecclassifier 还可以进行预处理缺失值插补和一次性编码等预处理，可以使用 dabl.explain ()检查模型：

dabl.explain(model)

![bf12a894cb611b176042cae1a708bea5.png][]

**Dabl的局限性**

现在，dabl仍不能用于处理文本数据、时间序列数据、神经网络模型，图像、音频和视频数据也完全超出了应用范围。其未来目标是：

· 现成的可视化

· 模型诊断

· 高效模型搜索

· 类型检测

· 自动预处理

· 良好的管道组合

**真的需要人类数据科学家吗？**

Dabl 非常有趣，并且是自动化的，但是它仍然处于开发阶段，只有非常少的特性和功能。笔者建议你浏览一下dabl提供的API列表。我个人任务部署一个功能齐全、个性丰富的版本仍然需要很长时间，如果它能完成，业界必须信任和接受它。

数据科学就是这样一个领域，业界每天都会生成一个独特的数据集和问题陈述/需求，因此在某个时候，人类的干预是必要的。自动化数据科学将是未来的趋势，但不会立刻到来，所以你可以专注于提高技能或学习数据科学。

![59f897966b57365bbb5e914a88895885.png][]

图源：《福布斯》

记住，一定要提高自己的技能，每当你认为自己已经掌握了足够的知识时，就把这篇文章当做一个警钟，它可以让你不停地学习新的技能。

![c744cf93c74cac11abe3450f1900f8db.png][]

**一起分享AI学习与发展的干货**

**欢迎关注全平台AI垂类自媒体 “读芯术”**

![format_png][]

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）

[1a9df79df938c2ebd3b628a33a651a47.png]: /images/20221123/c7458a704651497d964ffdc1e340d16b.png
[1358f34f72aee4e88dc877e2db7c0702.png]: /images/20221123/d1da94d434a147789fe1d8db6a42775f.png
[4c4c87ab13d6c1f501c4dcb2d051b252.png]: /images/20221123/ef976bab877241eb9bcd07c3aac8f7b5.png
[3230b7d726e9d00002478481efd2c076.png]: /images/20221123/3e4ee90c7ded4138b738465d14dce6b8.png
[bbfbfcf98a1e98b97cd80a38ff35fd6f.png]: /images/20221123/5c553640da4d4f6e9fa21b2c877a182f.png
[a23dfbf87c75e63c70606108cbfacb94.png]: /images/20221123/54d81f46058e4a8dbffb973420f10f3b.png
[c9306b6024661b123b7b03bba23d8733.png]: /images/20221123/1d87d97d7d5444ccabc61ae03d53ce3d.png
[bf12a894cb611b176042cae1a708bea5.png]: /images/20221123/ef6fa1cccfaf430c908ffb98f37de17c.png
[59f897966b57365bbb5e914a88895885.png]: /images/20221123/eaf32f2ea87846e5978f37fa71102b0e.png
[c744cf93c74cac11abe3450f1900f8db.png]: /images/20221123/b70db1bf1d9947548e5027d2ac416874.png
[format_png]: /images/20221123/8034f67539d6429198744146f0baf462.png