lda java实现_LDA的java实现

我就是我 2022-11-05 03:26 131阅读 0赞

训练

基于gibbs分布的LDA大概训练过程：

![df99ba64ab19?utm\_campaign=haruki&utm\_content=note&utm\_medium=reader\_share&utm\_source=qq][df99ba64ab19_utm_campaign_haruki_utm_content_note_utm_medium_reader_share_utm_source_qq]

推断过程： 主题分布数值的大小与长度无关。

1. 参数解释  返回的是

theta        其中 迭代iterations次后， theta\[k\] = (nd \[k\]+ alpha) / (ndsum + K \* alpha)

V  ： 词典长度            K：topic个数           N：doc中词的个数

nw\[V\]\[K\] :  doc 的每个词v，被分配到 topic\_k 的次数。

nd\[K\]： doc 中 命中 topic\_k 词的个数。

nwsum\[K\] :   所有词总共被分配给topic\_k  的总次数。 每次iteration都累加？

ndsum: 数值 ，初始为doc中词的个数N。doc中还剩余多少个词。

z\[N\]:  doc中每个词n对应的topic\_id。

1. 初始化

随机为 doc的每个词 n 分配主题  , z\[N\]；随之更新 nw、nd、nwsum

2. 迭代interactions 次，每次从前到后，迭代N个词。

1)取第n个词的topic，假设将这个词扔掉。因此随之更新 nw，nd，nwsum ;

2) 重新估计该词的topic。用多项式方法采样多项式分布，得到该词分配给每个topic的概率(次数)，P\[K\] 。累计多项式分布的参数？ 遍历P，得到第一个p\[k\]> 某值(随机值\*所有概率的和) 的那个topic。即为新的topic。

3)随之更新各个参数。

3. 得到theta。

长短文本相似度计算(与短文本长度无关。但是，用topic-word共现次数，而不是用概率，是否相关。对于在语料库中出现比较少的词计算出来的相似度，是否有影响。)

http://blog.csdn.net/pipisorry/article/details/42129099

https://github.com/hankcs/LDA4j.git

http://blog.csdn.net/tanglizhe1105/article/details/50741356

http://nanjunxiao.github.io/2015/08/08/Topic-Model-LDA%E5%AE%9E%E6%88%98%E7%AF%87/

[df99ba64ab19_utm_campaign_haruki_utm_content_note_utm_medium_reader_share_utm_source_qq]: /images/20221023/aca35780e0324d99a3afafad140e85e4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，131人围观）

还没有评论，来说两句吧...

相关阅读

相关 LDA模型的优缺点及其Python实现

LDA模型的优缺点及其Python实现 LDA（Latent Dirichlet Allocation）是一种主题模型，可用于将文本分为多个主题。它是一种无监督学习算法，可以

柔光的暖阳◎/ 2024年03月16日 20:18/ 0 赞/ 14 阅读

相关 sklearn实现lda主题模型LatentDirichletAllocation

sklearn实现lda主题模型LatentDirichletAllocation 1. 数据集 2. 数据读取 3. 停用词，分

刺骨的言语ヽ痛彻心扉/ 2023年02月28日 05:43/ 0 赞/ 157 阅读

相关 LDA简介

注：最近在看LDA，其实之前也看过，也了解过LDA，但是最近想要追根溯源，想去看看LD的发展的路径，所以决定从头开始看LDA。 LDA简介问题描述

末蓝、/ 2022年11月15日 11:36/ 0 赞/ 262 阅读

相关 lda java实现_LDA的java实现

训练基于gibbs分布的LDA大概训练过程： ![df99ba64ab19?utm\_campaign=haruki&utm\_content=note&utm\_med

我就是我/ 2022年11月05日 03:26/ 0 赞/ 132 阅读

相关 LDA　　PCA

LDA(Linear Discriminant Analysis)算法推导和计算方法 LDA也称Fisher线性判别，最早是由Fisher提出的，但是

分手后的思念是犯贱/ 2022年08月26日 11:13/ 0 赞/ 129 阅读

相关 lda主题模型

其实这篇文章也可以叫gibbs抽样在lda主题模型中的应用。lda里的重头戏就是gibbs抽样。话说现在论文起名字也是技术活儿，一般人还把握不好，一样的内容起个不同的名字，被r

小鱼儿/ 2022年08月18日 00:54/ 0 赞/ 221 阅读

相关主题模型TopicModel：LDA编程实现

http://[blog.csdn.net/pipisorry/article/details/45771045][blog.csdn.net_pipisorry_articl

谁借莪１个温暖的怀抱￠/ 2022年08月08日 11:59/ 0 赞/ 132 阅读

相关主题模型TopicModel：通过gensim实现LDA

http://[blog.csdn.net/pipisorry/article/details/46447561][blog.csdn.net_pipisorry_articl

拼搏现实的明天。/ 2022年08月05日 07:27/ 0 赞/ 171 阅读

相关 Gaussian LDA（高斯LDA）简介

本文作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。未经本人允许禁止转载。论文来源 Das R

柔情只为你懂/ 2022年05月30日 12:23/ 0 赞/ 173 阅读

相关 LDA主题模型

!/usr/bin/env python -- coding:utf-8 -- import numpy as np import panda

浅浅的花香味﹌/ 2021年11月11日 20:22/ 0 赞/ 339 阅读