详解华为12种数据采集技术及应用实践

红太狼 2022-12-28 01:51 141阅读 0赞

![format_png][]

**导读：**数字化转型要从根本上加强数据的可获得性，围绕我们构建的数据主题和对象丰富数据感知渠道。**要追求更加实时、全面、有效、安全的数据获取。**

作者：华为公司数据管理部

来源：大数据DT（ID：hzdashuju）

随着企业业务数字化转型的推进，非数字原生企业对数据的感知和获取提出了新的要求和挑战，原有信息化平台的数据输出和人工录入能力已经远远满足不了企业内部组织在数字化下的运作需求。**企业需要构建数据感知能力，采用现代化手段采集和获取数据**，减少人工录入。数据感知能力架构如图7-2所示。

![format_png 1][]

▲图7-2 数据感知

数据感知可分为**“硬感知”**和**“软****感知”**，面向不同场景。“硬感知”主要利用设备或装置进行数据的收集，收集对象为物理世界中的**物理实体**，或者是以物理实体为载体的信息、事件、流程等。

而“软感知”使用软件或者各种技术进行数据收集，收集的对象存在于**数字世界**，通常不依赖物理设备进行收集。如图7-3所示。

![format_png 2][]

▲图7-3 感知分类

**01 基于物理世界的“硬感知”能力**

数据采集方式主要经历了**人工采集**和**自动采集**两个阶段。自动采集技术仍在发展中，不同的应用领域所使用的具体技术手段也不同。基于物理世界的“硬感知”依靠的就是数据采集，是将物理对象镜像到数字世界中的主要通道，是构建数据感知的关键，是实现人工智能的基础。

基于当前的技术水平和应用场景，我们将“硬感知”分为9类，每一类感知方式都有自身的特点和应用场景，如图7-4所示。

![format_png 3][]

▲图7-4 9类“硬感知”

**1. 条形码与二维码**

**条形码**或者条码是将宽度不等的多个黑条和空白，按一定的编码规则排列，用以表达一组信息的图形标识符，通常一维条形码所能表示的字符集不过10个数字、26个英文字母及一些特殊字符，条码字符集所能表示的字符个数最多为128个ASCII字符，信息量非常有限。

**二维码**是用某种特定的几何图形按一定规律在平面上分布的黑白相间的图形，用来记录数据符号信息。二维码拥有庞大的信息携带量，能够把使用一维条码时存储于后台数据库中的信息包含在条码中，可以直接阅读条码得到相应的信息，并且二维码还有错误修正及防伪功能，增加了数据的安全性。

**2. 磁卡**

磁卡是一种卡片状的磁性记录介质，利用磁性载体记录字符与数字信息，用来保存身份信息。视使用基材的不同，可分为PET卡、PVC卡和纸卡三种；视磁层构造的不同，又可分为磁条卡和全涂磁卡两种。

磁卡的优点是成本低，这是它容易推广的原因，但缺点也比较明显，例如卡的保密性和安全性较差，使用磁卡的应用系统需要有可靠的计算机系统和中央数据库的支持。

**3. RFID**

**RFID**（Radio Frequency Identification，无线射频识别）是一种非接触式的自动识别技术，通过无线射频方式进行非接触双向数据通信，利用无线射频方式对记录媒体（电子标签或射频卡）进行读写，从而达到识别目标和数据交换的目的。

基于特别业务场景的需求，在RFID的基础上发展出了**NFC**（Near Field Communication，近场通信）。**NFC本质上与RFID没有太大区别**，在应用上的区别如下。

*  NFC的距离小于10cm，所以具有很高的安全性，而RFID距离从几米到几十米都有。
 *  NFC仅限于13.56MHz的频段，与现有非接触智能卡技术兼容，所以很多的厂商和相关团体都支持NFC。而RFID标准较多，难以统一，只能在特殊行业有特殊需求的情况下，采用相应的技术标准。
 *  RFID更多地被应用在生产、物流、跟踪、资产管理上，而NFC则在门禁、公交、手机支付等领域发挥着巨大的作用。

**4. OCR和ICR**

**OCR**（Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或者数码相机）检查纸上打印的字符，通过边检测暗、亮的模式确定其形状，将其形状翻译成计算机文字的过程。如何除错或利用辅助信息提高识别正确率，是OCR的重要课题。

**ICR**（Intelligent Character Recognition，智能字符识别）是一种更先进的OCR。它植入了计算机深度学习的人工智能技术，采用语义推理和语义分析，根据字符上下文语句信息并结合语义知识库，对未识别部分的字符进行信息补全，解决了OCR的技术缺陷。

一个OCR识别系统，从影像到结果输出，须经过影像输入、影像预处理、文字特征抽取、比对识别，最后经人工校正将认错的文字更正，将结果输出。

目前OCR和ICR技术在业界有较为成熟的解决方案供应商，非数字原生企业不需要自行研发就可以完成相关技术的部署和数据的采集。

**5. 图像数据采集**

图像数据采集是指利用计算机对图像进行采集、处理、分析和理解，以识别不同模式的目标和对象的技术，是深度学习算法的一种实践应用。

图像数据采集的步骤如图7-5所示。

![format_png 4][]

▲图7-5 图像采集步骤

**6. 音频数据采集**

语音识别技术也被称为**自动语音识别**（Automatic Speech Recognition，ASR），可将人类的语音中的词汇内容转换为计算机可读的输入，例如二进制编码、字符序列或者文本文件。

目前音频数据采集技术在业界也有较为成熟的解决方案供应商，可以很便捷地通过解决方案供应商的技术，完成技术的部署和数据的采集。

采集来的声音作为音频文件存储。音频文件是指通过声音录入设备录制的原始声音，直接记录了真实声音的二进制采样数据，是互联网多媒体中重要的一种文件。**音频获取途径包括下载音频、麦克风录制、MP3录音、录制计算机的声音、从CD中获取音频等。**

**7. 视频数据采集**

视频是动态的数据，内容随时间而变化，声音与运动图像同步。通常视频信息体积较大，集成了影像、声音、文本等多种信息。

视频的获取方式包括网络下载、从VCD或DVD中捕获、从录像带中采集、利用摄像机拍摄等，以及购买视频素材、屏幕录制等。

**8. 传感器数据采集**

传感器是一种检测装置，能感受到被检测的信息，并能将检测到的信息按一定规律变换成信号或其他所需形式的信息输出，以满足信息的采集、传输、处理、存储、显示、记录等要求。信号类型包括IEPE信号、电流信号、电压信号、脉冲信号、I/O信号、电阻变化信号等。

**传感器数据的主要特点是多源、实时、时序化、海量、高噪声、异构、价值密度低等，数据通信和处理难度都较大。**

**9. 工业设备数据采集**

**工业设备数据是对工业机器设备产生数据的统称。**在机器中有很多特定功能的元器件（阀门、开关、压力计、摄像头等），这些元器件接受工业设备和系统的命令开、关或上报数据。工业设备和系统能够采集、存储、加工、传输数据。工业设备目前应用在很多行业，有联网设备，也有未联网设备。

工业设备数据采集应用广泛，例如**可编程逻辑控制器**（PLC）现场监控、数控设备故障诊断与检测、专用设备等大型工控设备的远程监控等。

**02 “硬感知”能力在华为的实践**

“硬感知”在非数字原生企业有广阔的前景，因为在数字化时代，非数字原生企业大量存在的产线、流程工艺、实体货物、物流设备等，都需要通过“硬感知”来实现数据的感知和采集。华为作为典型的非数字原生企业，9类数据“硬感知”能力在各领域中都得到了一定的应用，并已发挥了实际的业务价值。

**1. 门店数字化**

如图7-6所示，采用7种数据采集方式，支撑持续提升运营效率与消费者体验。

*  通过光线传感器和温度传感器，自动调节窗帘、灯光，温度随环境改变，并与店门、窗帘、灯光、空调、屏幕、防盗系统联动，打造智能绿色门店环境。
 *  通过实物管理感知，样机自动申报位置与状态，异常告警，自动上报消费者在门店体验过程中的行为，结合消费者体验情况优化陈列、营销设计、产品设计。
 *  通过视频感知客流与热区，管理门店各片区人流密度与停留时间，优化陈列与营销，实时调整服务人力与资源配置。

![format_png 5][]

▲图7-6 门店数字化

**2. 站点数字化**

如图7-7所示，站点主要在高层或者在野外环境中，勘测和日常维护难度都比较大，通过360度全景拍照和OCR，构建站点物理对象完整的围栏尺寸、塔高、机房尺寸、设备尺寸、天线挂高、走线距离、天线的方位角、下倾角、扇区等数字镜像，实现在数字化站点勘测规划，现实站点直接施工，避免在现场反复勘测、设计调整。

![format_png 6][]

▲图7-7 站点数字化

**03 基于数字世界的“软感知”能力**

物理世界的“硬感知”是将物理对象构建到数字世界中的主要通道，是构建数据孪生的关键，而已经存在于数字世界中的那些分散、异构信息，可通过“软感知”能力来利用。**目前“软感知”比较成熟，并随着数字原生企业的崛起而得到了广泛的应用。**我们将“软感知”分为3类，如图7-8所示。

![format_png 7][]

▲图7-8 3类“软感知”

**1. 埋点**

埋点是数据采集领域，尤其是用户行为数据采集领域的术语，**指的是针对特定用户行为或事件进行捕获的相关技术。**埋点的技术实质，是监听软件应用运行过程中的事件，当需要关注的事件发生时进行判断和捕获。

埋点的主要作用是能够帮助业务和数据分析人员打通固有信息墙，为了解用户交互行为、扩宽用户信息和前移运营机会提供数据支撑。在产品数据分析的初级阶段，业务人员通过自有或第三方的数据统计平台了解App用户访问的数据指标，包括新增用户数、活跃用户数等。

**这些指标能帮助企业宏观地了解用户访问的整体情况和趋势**，从总体上把握产品的运营状况，通过分析埋点获取的数据，制定产品改进策略。

埋点技术在当前主要有以下几类，每一类都有自己独特的优缺点，可以基于业务的需求，匹配使用。

*  **代码埋点**是目前比较主流的埋点方式，业务人员根据自己的统计需求选择需要埋点的区域及埋点方式，形成详细的埋点方案，由技术人员手工将这些统计代码添加在想要获取数据的统计点上。
 *  **可视化埋点**通过可视化页面设定埋点区域和事件ID，从而在用户操作时记录操作行为。
 *  **全埋点**是在SDK部署时做统一的埋点，将App或应用程序的操作尽量多地采集下来。无论业务人员是否需要埋点数据，全埋点都会将该处的用户行为数据和对应产生的信息全采集下来。

**2. 日志数据采集**

日志数据收集是实时收集服务器、应用程序、网络设备等生成的日志记录，此过程的目的是识别运行错误、配置错误、入侵尝试、策略违反或安全问题。

在企业业务管理中，基于IT系统建设和运作产生的日志内容，可以将日志分为三类。因为系统的多样化和分析维度的差异，日志管理面临着诸多的数据管理问题。

*  **操作日志**，指系统用户使用系统过程中的一系列的操作记录。此日志有利于备查及提供相关安全审计的资料。
 *  **运行日志**，用于记录网元设备或应用程序在运行过程中的状况和信息，包括异常的状态、动作、关键的事件等。
 *  **安全日志**，用于记录在设备侧发生的安全事件，如登录、权限等。

**3. 网络爬虫**

网络爬虫（Web Crawler）又称为网页蜘蛛、网络机器人，是按照一定的规则自动抓取网页信息的程序或者脚本。

搜索和数字化运营需求的兴起，使得爬虫技术得到了长足的发展，**爬虫技术作为网络、数据库与机器学习等领域的交汇点，已经成为满足个性化数据需求的最佳实践。**

Python、Java、PHP、C\#、Go等语言都可以实现爬虫，特别是Python中配置爬虫的便捷性，使得爬虫技术得以迅速普及，也促成了政府、企业界、个人对信息安全和隐私的关注。

**04 “软感知”能力在华为的实践**

“软感知”主要面向产品持续运营提供服务，基于对产品日志、用户行为的感知，改善产品功能。以华为内部数据管理平台为例（如图7-9所示），数据管理平台的数字化运营，需要识别用户行为，进而提升运营效率与用户数据消费的体验。

![format_png 8][]

▲图7-9 数据管理平台用户标签

通过对平台埋点，捕捉用户在界面上从数据定位到最终消费的浏览过程和停留时间等信息，并关联用户的部门、职位、所在地等信息，自动生成**用户画像**和**数据画像**，确定细分用户范围，界定相同认知背景和业务场景的用户，提供可识别的分类资产用于搜索，界定数据资产分类，面向不同用户界定不同的资产范围，减少匹配差异和搜索引擎复杂度，训练搜索引擎和推荐算法，提供最优数据推荐结果和排序位置。

12类感知能力在企业中的应用，突破了原有人工维护数据的局限。但是不管是“软感知”还是“硬感知”，产生的数据在没有纳入企业整体的数据管理体系情况下，如果只以独立数据的形式存在，是无法应对复杂的企业数字化变革的。

关于作者：华为公司数据管理部，作为集团层面的数据管理组织，主要负责公司数据工作的战略规划、路标举措以及实施落地；数据从产生到消费全生命周期管理的治理框架、流程规范、方法和IT工具的制定与推行；公司级信息架构的设计和数据资产的治理维护；主持集团层面数据相关项目，推动以数据为核心的数字化转型等工作。

本文摘编自《华为数据之道》，经出版方授权发布。

延伸阅读《华为数据之道》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**华为官方出品！这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。

![format_png 9][]

![音符][format_png 10]

**划重点????**

**干货直达????**

*  [Python循环语句代码逐行详解：while、for、break和continue][Python_while_for_break_continue]  
    
 *  [手把手教你用Python的NumPy包处理数据][Python_NumPy]  
    
 *  [为什么Siri总是像个智障？智能助手背后的技术到底有多难？][Siri]  
    
 *  [华为内部资料流出！揭秘华为数据湖：3大特点、6个标准、入湖流程][3_6]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 11][]

![format_png 12][]

[format_png]: /images/20221120/a925ac3a6fa04fa29b0ae839ad1726a6.png
[format_png 1]: /images/20221120/7b8a42344d8e4874a7ccdc43aaf6d4f2.png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQMzZWNlRpY0ptclFDMVppYklTa3daaWFFRlhJOVBrRGdpYU52SHBuVmNSdjhYSTdsTGs4S1JvdFZCd2cvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQM3RpYTNVaWN5YVVBT0ZRaWEyRFgxcjAzYzJLUWJSSDh3cTRXOGVhT1V6OFhVZGpiMklCR1BpYTJkRWcvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQMzZ2c09wdk9hZU94aEJDRGlhdGtHdTdSa2FUWVNRNmljVTlybm5uaWJXOEJFV2ZZM2I4TGljMzVRTkEvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQM0Z0RXZLZkpjRGNjaWJKVFVnbTZna3oxbVZnZ3BCYlVGekxNOVRrMlRHTHBXbDAwNkZIWGZUTmcvNjQw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQM1JpYXQ3SWpxVHNNQXBuV29OakNpYUdaSWhZZjlVUXdSYnhoUEx3bDFTbTVVRm9Zd2liTFhYMHpmQS82NDA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQMzZZdjdvV1NVSE1pYXlkQ1JKNVF0b1ZuTXZrcW1EQmNWOTBXaWNTVDdmaHQ1dWljVW02cm5STFFsQS82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkRk56ekwyc2FqcHhrNVNpYVlXUFRQM2ZVWlF4RnZIbUp3NDBPTWRRQkVjMDIxRkRyQWtzbHVIaEx1UmFEQVV0U3dnRjRDR2ZTOUZCQS82NDA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9MU09qeWliNWdpYVZlemVUVmFwcWplSnB5ckoyd2J4ZlNxZm96SDAyNHN4aWJUV2lhdUNaa3RYR0VwSGlhTmRSR2JwMFN5c2g5NTd5UkczUW92b2xCN1dhVUVnLzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6L2NaVjJoUnB1QVBpYUpRWFdHeUM5d3JVeklpY2liZ1hheXJnaWJUWWFyVDNBMXl6dHRidGFPMEpsVjIxd01xcm9HWVQzUXRQcTJDN0hNWXN2aWNTQjJwN2RUQmcvNjQw?x-oss-process=image/format,png
[Python_while_for_break_continue]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc60ddbfb4f1bf2e9e249ca948e18246da53377d7d285bbbc73c90fb2028efcd1a018c207&idx=2&mid=2247520225&scene=21&sn=5b6609961f7c62e0bb941c868ae45870#wechat_redirect
[Python_NumPy]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc692dbfb4f84b8d4ec47443a24ca48ae8de046f9c5d54565e57298f7c649c4417f5c98ae&idx=2&mid=2247520126&scene=21&sn=fac18dc004c6d7c6adbdce54b499fb04#wechat_redirect
[Siri]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc706dbfb4e103e9930b0730c9af9d42b41973cf30223fc95f4ed86394085fe0af6efe33a&idx=2&mid=2247519978&scene=21&sn=1b50eb3c895954ddc3232a5c1f54134f#wechat_redirect
[3_6]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cc795dbfb4e83c839f36039e70186b982aff7a7bc976de5b437d0407d748c99c53217abfc&idx=1&mid=2247519865&scene=21&sn=4fe2676baf69e97872ddda0077f87c30#wechat_redirect
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9MU09qeWliNWdpYVZkUFFyOEtxQllFaHlvS2RNc2cwRWxPRjFrMmVOd2dpY2NnanBWbmNWaWJzRGljUk9pY2p2SVpTRndPR0FkM250UzNYQWlhS1U3ME1QSW0wVncvNjQw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9MU09qeWliNWdpYVZkR2JGdk8wSXRRRDFkM29GaWNPc0hMNFZ6WDFqOHpHTExTaWEzWm9EcHBhRldBRUFZM2VPamlhSkZSZnpaR3BCNXEzendLRlNVb2JMekhnLzY0MA?x-oss-process=image/format,png