离线数据应用层建设简单介绍

小鱼儿 2022-10-16 01:53 92阅读 0赞

本文主要是对日常工作的简单总结，不过会抛开实际业务单纯从产品设计上聊下数据应用层的实现，希望能对大家的数据可视化建设有所帮助。

**一、整体架构**

数据系统整体架构，通常包含数据源层、数据处理层、数据服务层以及数据应用层。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70][]

**二、数据应用层**

本次主要谈下数据应用层，应用层主要包含了报表、看板、邮件以及之前文章提及的图表配置工具等等。总体来说，是数据流量的出口以及为出口服务工具组合。

应用层作为数据与用户间最直接的接触点，其呈现方式涵盖了表格式报表，图表式看板，还有邮件。为了满足用户更加个性化的分析需求，通常我们还需要建设自助取数模块，提供用户从指定的数据模型中导出数据自主分析。

**表格式报表**

表格式报表为最常用的数据呈现形式，一般情况下，会提供适量的筛选条件，允许用户做数据的查询及导出。

表格式报表，遭遇的主要难点是应对大数据量的查询及导出，在高并发情况下，对服务的可用性是极大的考验。为了缓解这个问题，常用手段包括：对数据做预处理以减少查询导出时实时的计算，限制导出数据量(可限制单次最大值10万条)，建立异步任务处理大数据量的导出请求。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 1][]

**图表式看板**

通常用于展示实时的流动数据，让用户更直观的看到业务的核心指标。不过在实际的应用中，看板的定义会显得比较特别，常将一些核心的指标拉出来，以图表或者其他有别于表格的形式呈现，并与表格式报表组合在一起，形成一种复杂式的可操作看板，或者称之为报表式看板。此类看板往往会比较复杂，容易丢失焦点，数据归类有可能混乱。用户在实际使用中，常仍如一般报表以导出数据为主。

图表式看板设计应该改变思维，由用户的主动拉取改为系统的主动推送，让用户着重在“看”。

图表式看板，目前大部分已实现配置化开发，可参考前文的粗略讲解。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 2][]

**自助取数工具**

自助取数工具的出现，很大程度上是为了解决无休止的表格式报表需求，在一定程度上将数据权限下移，让具备数据处理及分析能力的用户发挥更大的主动性，从而赋能业务增长。

自助取数工具建设主要包含两部分工作，底层数据模型的建立以及前端工具的开发。底层数据模型常按业务类型划分，按照一定的数据纬度建立，具体的模型应切合实际业务，不应过于明细。前端工具建设方面，目前常用的拖拽式或者直观的脚本编写式交互，都较难在用户体验上达到较好的效果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 3][]

**其他**

在数据与页面呈现之间的桥梁，通常是一个个的接口服务，为了更好更快应对项目需求，可考虑搭建一套统一的中间层服务，实现用户鉴权、页面请求解释及转发、结果数据处理等功能。从而实现前端页面与数据之间交互功能配置化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 4][]

中间层的实现，基于一个大前提，数据的获取可通过一个接口或者一个服务或者执行一段SQL可得到，不存在复杂的验算过程。

为此，参考如下配置表设计，中间层代码通过读取对应的配置项执行指定的操作，完成数据的读取，处理后提供前端页面呈现。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 5][]

**三、结语**

数据应用层承担了数据与人之间的沟通，但是，不论是哪种方式的交流，都应基于一个大前提，用户知道他需要什么，数据应用层做有目的的呈现，切不可耍用户可能需要之流氓！

by：江沛

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70]: /images/20221014/8a5a477876a5444198a005d8b2e47889.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 1]: /images/20221014/130207c2365845da95d25a8fbee07904.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 2]: /images/20221014/1ed320d93942434e8757ebc7f2a8bf38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 3]: /images/20221014/d6368b6d757e456794f24285c7de9927.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 4]: /images/20221014/ff400407bb8b427094459e2b3f634160.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpcHNob3BfZmluX2Rldg_size_16_color_FFFFFF_t_70 5]: /images/20221014/1cbeda050aba44cda77caef33bf0d1f2.png