python semantic text similarity 解决单词,词组,句子相关性问题

小灰灰 2023-01-13 04:04 108阅读 0赞

#### 一.什么是文本相似度? ####

需要解决**文本相似度**必须确定两段文本的`词汇相似(lexical similarity)` 以及 `语义相似(semantic similarity)`问题  
具体文献参考: [Text Similarities : Estimate the degree of similarity between two texts][Text Similarities _ Estimate the degree of similarity between two texts]

#### 二.代码实现 ####

# -*- coding: utf-8 -*-
    # @Time : 2021/04/15 09:01
    # @Author :
    
    from semantic_text_similarity.models import WebBertSimilarity
    
    # from semantic_text_similarity.models import ClinicalBertSimilarity
    
    web_model = WebBertSimilarity(device='cpu', batch_size=10)  # defaults to GPU prediction
    
    # clinical_model = ClinicalBertSimilarity(device='cuda', batch_size=10) #defaults to GPU prediction
    
    # 单词,词组
    web_model.predict([("furniture", "decoration design")])
    
    # 句子
    # print(web_model.predict([("She won an olympic gold medal","The women is an olympic champion")]))

参考:https://pypi.org/project/semantic-text-similarity/

[Text Similarities _ Estimate the degree of similarity between two texts]: https://medium.com/@adriensieg/text-similarities-da019229c894

发表评论取消回复

表情：

评论列表（有 0 条评论，108人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python 千题 —— 基础篇】句子单词小写

题目描述题目描述偶尔用户误输入大写字符串，我们需要将其转换成全小写。编写一个程序，输入一个句子字符串，然后将该字符串的全部字符转换成小写形式。输入描述

阳光穿透心脏的1/2处/ 2024年03月27日 18:32/ 0 赞/ 56 阅读

相关 PHP使用similar_text()函数计算字符串相似度

<?php class LCS { var $str1; var $str2; var $c = array(

小咪咪/ 2023年03月01日 13:46/ 0 赞/ 2 阅读

相关 python semantic text similarity 解决单词,词组,句子相关性问题

一.什么是文本相似度? 需要解决文本相似度必须确定两段文本的`词汇相似(lexical similarity)` 以及 `语义相似(semantic similarity

小灰灰/ 2023年01月13日 04:04/ 0 赞/ 109 阅读

相关按照索引范围翻转句子单词顺序

题目信息给定一个句子，句子中每个单词之间用空格隔开，给定一个单词范围，翻转范围内单词的顺序。如给定一个句子 i am a student. 给定单词范围 1 3，翻转后

迈不过友情╰/ 2022年11月05日 14:53/ 0 赞/ 118 阅读

相关四级单词词组积累(一)

enduring symbol 长久象征 time-honored 受到大家夸赞的 empty into 注入 misrepresent 曲解 no surpr

朴灿烈づ我的快乐病毒、/ 2022年04月16日 00:40/ 0 赞/ 209 阅读

相关四级单词词组积累(二)

单词 free-fall 自由落体 subsidy 补助金 infrastruct = facility 基础设施 surpass = overtake 超越

电玩女神/ 2022年04月04日 04:47/ 0 赞/ 224 阅读

相关六级单词词组积累(一)

形近词 stride 大步走 strike 击打 strive 斗争 betray 背叛 stray 分心 sediment 沉淀物 sentimen

た入场券/ 2022年03月15日 11:11/ 0 赞/ 208 阅读

相关六级单词词组积累(二)

形近词 pel v. 推 compel v. 强迫 <-- 强推 repel v. 抵制、击退 <-- 往后推 impel v. 激励 <--

ゞ浴缸里的玫瑰/ 2022年03月14日 12:54/ 0 赞/ 245 阅读

相关六级单词词组积累(三)

形近词 notion 观点，概念 motion 运动，移动，手势，示意 potion 毒药 lotion 洗涤剂 nation 民族 emotion

桃扇骨/ 2022年03月11日 10:18/ 0 赞/ 191 阅读

相关六级单词词组积累(四)

rational 理智的 hazard 危险 sophisticated 精密的，见多识广的 recession 经济衰退 collapse 崩塌，暴跌 c

痛定思痛。/ 2022年02月12日 14:55/ 0 赞/ 263 阅读