数仓工具—Hive实战之UDF分词(1)

古城微笑少年丶 2022-12-31 06:26 74阅读 0赞

UDF 分词

分词

这个是一个比较常见的场景，例如公司的产品有每天都会产生大量的弹幕或者评论，这个时候我们可能会想去分析一下大家最关心的热点话题是什么，或者是我们会分析最近一段时间的网络趋势是什么，但是这里有一个问题就是你的词库建设的问题，因为你使用通用的词库可能不能达到很好的分词效果，尤其有很多网络流行用语它是不在词库里的，还有一个就是停用词的问题了，因为很多时候停用词是没有意义的，所以这里我们需要将其过滤，而过滤的方式就是通过停用词词表进行过滤

这个时候我们的解决方案主要有两种，一种是使用第三方提供的一些词库，还有一种是自建词库，然后有专人去维护，这个也是比较常见的一种情况

最后一个就是我们使用的分词工具，因为目前主流的分词器很多，选择不同的分词工具可能对我们的分词结果有很多影响

分词工具

1：Elasticsearch的开源中文分词器 IK Analysis(Star:2471)

IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中设置你的sqlite3词典的位置： ik_analysis_db_path: /opt/ik/dictionary.db

2：开源的java中文分词库 IKAn

发表评论

表情：
评论列表 （有 0 条评论，74人围观）

还没有评论，来说两句吧...

相关阅读

    相关 数仓工具—Hive实战之拉链表(3)

    拉链表初识 需要查看历史某一时间节点的状态，同时考虑到存储空间；或则适用于数据会发生变化，但是大部分是不变的 > 在数据仓库的数据模型设计过程中，经常会遇到下面这种表的

    r囧r小猫r囧r小猫/ 0 赞/ 241 阅读