前出塞数据挖掘的一些必须了解的概念

爱被打了一巴掌 2022-08-21 05:52 140阅读 0赞

**[前出塞][Link 1]**现在使用了数据挖掘，下面跟大家一起讨论下数据挖掘的概念。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户「口味」的产品和服务，并结合用户需求有针对性地调整和优化自身，就是大数据的价值。  
  
对于大数据在商业上的用途，这句话说得很清楚。前半句是重点，了解用户的行为习惯和爱好，这就是大数据的核心价值。  
  
  
**1. 元数据（Metadata）的概念**  
  
  
简单说，元数据是对数据本身进行描述的数据，或者说，它不是对象本身，它只描述对象的属性。  
  
  
比如，一幅画本身，是数据。而这幅画的作者、完成时间、尺寸、价格、类型等等，就是它的元数据。  
  
  
再比如，你妈逼你结婚，找了个男的让你相亲。你并不认识他，但你妈告诉你他的年龄、身高、体重、体貌特征、家庭背景、收入、爱好特长，你心里也就对他有了印象。即便你还不认识他。  
  
  
元数据的价值，第一是能够从侧面描述对象，第二点就是可以结构化、信息化。  
  
  
**什么意思呢？**  
  
  
比如，我们要判断一幅画的价值，除了专家直接通过画的艺术性来评价，还可以通过元数据来判断。  
  
  
这幅画是名家的还是二流画家的？这幅画是作者在他创作鼎盛时期的作品，还是在年轻时的作品？这幅画是作者擅长的类型还是他不熟悉的？  
  
  
用这些描述的信息，我们居然就能把这幅画的价值算得八九不离十。虽然肯定会存在误差，但同样是科学合理的方法。  
  
  
那用元数据而非数据本身描述对象的意义何在？  
  
  
这就是在大数据上产生的价值了：对于非结构化的、非量化的对象本身，结构化的元数据可以用以快速计算和判断。  
  
  
比如，你妈拿了 100 个单身男的资料，你要是一个一个去仔细翻阅，那几天都翻不完。但你告诉你妈，高学历的可能意味着素质很高，高收入的可能意味着能力很强，所以先把低学历低收入的筛掉，剩下的再依据身高体重年龄这些信息排序，那效率就高得多了。  
  
  
注意，这样的方法仍然会有失误的，说不定真爱就在被筛掉的人里。但这样的概率微乎其微。  
  
  
相亲里似乎还不太明显，但大数据在真正产品应用中，产生的效果就天翻地覆了。（待续。。。）

[Link 1]: http://www.qianchusai.com/