如何提高数据处理中的准确性

蔚落 2022-05-05 05:57 348阅读 0赞

数据处理的准确性校验一直是个难题，是否存在一些针对据处理准确性的通用做法呢？

下面是一些对于数据进行计算处理后，保证数据准确性的个人实践：

对于大部分数据来说，数据处理可以分为以下五个步骤：

1.数据采集；2.数据传输（实时/批量）；3.数据建模/存储；4.数据计算/分析；5.数据可视化展示/挖掘

针对上面五点分别展开介绍：

# 一、数据采集 #

通常数据处理之前会有数据采集的过程，数据采集会涉及到多数据来源，每中数据来源由于格式等不一致，需要特殊处理。

1.针对不通的数据源，需要做到每个数据源获取**数据能够独立。**

2.采集过程需要监控，传输之前如有条件，可以做到本地有备份数据，便于异常查找时进行数据比对。

# 二、数据传输（实时/批量） #

数据源本地已经做到有备份的情况下，对于传输异常的时候，需要**支持重试**，存储端需要支持去重。

# 三、数据建模/存储   #

数据存储可以针对结果集合进行冗余分类存储，便于数据进行比对,针对存储需要进行副本备份，同时数据可以考虑按生效记录进行叠加存储，支持回溯历史的存储结构进行存储。

# 四、数据计算/分析/挖掘 #

数据进行计算，分析的时候需要进行步骤分解，便于准确性的分析和统计

1.计算之前，支持测算，同时支持数据进行分批计算，需要能导出本批次清单基础数据（例如人员或者id），便于数据核对。

2.计算之中，支持快速少量指定的典型数据测算，支持选择，是否存储参与计算过程的全部的中间变量。

3.计算之后，可以选择，支持导出本次计算过程中的所有参与变量和中间变量参数，可以线下根据数据列表对应的参数，进行计算，从而进行数据准确性的核对。

计算过程中，支持针对有问题的数据ID进行染色，染色后的数据，所有的中间过程变量全部进行打印输出。

# 五、数据可视化展示 #

可视化挖掘过程，需要主要前台图形化界面的数据量

参考：[http://www.sohu.com/a/161098814\_451520][http_www.sohu.com_a_161098814_451520] 如何提高计算数据的准确性

[http_www.sohu.com_a_161098814_451520]: http://www.sohu.com/a/161098814_451520

发表评论取消回复

表情：

评论列表（有 0 条评论，348人围观）

还没有评论，来说两句吧...

相关阅读

相关在Java中如何使用流式处理提高性能

在Java中，你可以使用Stream API来实现流式处理，从而提高性能。以下是一些基本的用法： 1. **过滤**：通过filter方法，可以根据某种条件选择特定的元素。

系统管理员/ 2024年10月24日 16:06/ 0 赞/ 4 阅读

相关性能优化关键：在大量数据处理中，如何提高Java程序效率？

在大量数据处理中，提高Java程序效率可以从以下几个方面进行： 1. **算法选择**：对于相同功能的算法，时间复杂度较低的那个更适合大规模数据处理。例如使用哈希表进行查找比

心已赠人/ 2024年10月18日 04:48/ 0 赞/ 25 阅读

相关在Java中如何正确处理异常，提高代码质量

在Java中，处理异常的主要方式是使用`try-catch-finally`语句块。以下是一些基本步骤和最佳实践： 1. **包含异常类**：确保你的`catch`块能捕获你

今天药忘吃喽~/ 2024年10月14日 18:30/ 0 赞/ 30 阅读

相关 Java 开发中，如何通过异常处理提高代码质量

在Java开发中，通过异常处理确实可以显著提高代码质量。以下是一些建议和实践： 1. **合理使用异常**：避免过度使用异常。只有当发生无法预见的错误或者程序需要做出响应时，

分手后的思念是犯贱/ 2024年09月19日 06:42/ 0 赞/ 48 阅读

相关 68个关键点如何提高人脸姿态检测的准确性？

68个关键点如何提高人脸姿态检测的准确性？随着深度学习技术的发展，人脸姿态估计逐渐成为计算机视觉领域的一个重要研究方向。而68个关键点是目前应用广泛的一种人脸姿态检测方法，

傷城~/ 2024年03月26日 20:52/ 0 赞/ 48 阅读

相关 Software Testing - 如何保证数据准确性

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击[http://www.captainbed.net][http_www.cap

梦里梦外;/ 2022年10月16日 10:28/ 0 赞/ 236 阅读

相关 SpringMVC中如何处理模型数据

　　Spring MVC 提供了以下几种途径输出模型数据： ModelAndView: 处理方法返回值类型为ModelAndView时, 方法体即可通过该对象添加模型数

男娘i/ 2022年07月15日 06:48/ 0 赞/ 179 阅读

相关如何提高服务器并发处理能力

说明以下内容为入门级介绍，意在对老技术作较全的总结而不是较深的研究。主要参考《构建高性能Web站点》一书。什么是服务器并发处理能力一台服务器在单位时间里能

素颜马尾好姑娘i/ 2022年06月05日 00:21/ 0 赞/ 215 阅读

相关数据处理提高1000倍的方法

数据处理提高1000倍的方法目录 1、问题来源 2、解决方法 3、优化原理

喜欢ヅ旅行/ 2022年05月20日 07:24/ 0 赞/ 133 阅读

相关如何提高数据处理中的准确性

数据处理的准确性校验一直是个难题，是否存在一些针对据处理准确性的通用做法呢？下面是一些对于数据进行计算处理后，保证数据准确性的个人实践：对于大部分数据来说，数据处理可以

蔚落/ 2022年05月05日 05:57/ 0 赞/ 349 阅读