ES计算余弦相似度

Bertha 。 2022-08-30 06:17 300阅读 0赞

# 一、前言 #

最近在项目中做数据推荐的功能，比如，猜你喜欢。主动给用户推荐用户喜欢的商品。如何判断某个商品是不是用户喜欢的呢？在调研过程中，发现es可以做相似度的计算，相似度可以表示用户对某个商品的喜爱程度。下面我就介绍一下如何实现的。

# 二、数据源 #

要进行数据计算，首先是要有数据基础。我们的数据源是什么呢？我们目前数据来源是用户行为。我们会采集用户近100天的用户行为。根据用户行为计算出用户的向量。比如我们会统计用户浏览行为，点击行为，分享行为等，根据这些行为的数据，来计算出用户的向量。当然我们计算的是多维度的向量，为了简单表示，大家可以用二维向量来理解。如下面的图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3NjYXRmb3JldmVy_size_16_color_FFFFFF_t_70]  
图中每一个小点点都是一个用户，用户会散列到象限中。

同理，我们的每一个商品也会有商品的向量。也会散列到象限中。

# 三、余弦相似度 #

相似度是什么呢？可以理解为，相似度越近，用户越喜欢。如何计算相似度呢？我们在中学的时候学习了三角函数，其中有cos（x），可以来表示相似度，如下面图，cos（x） = b/c。当x角度越小的时候，cos（x）越小。

![在这里插入图片描述][20210719165137505.jpg]

余弦相似度是很常见的相似度计算方案。除了余弦相似度，常见的[相似度计算有][Link 1]：

*  欧几里得距离
 *  皮尔逊相关系数
 *  余弦相似度
 *  Tanimoto系数（广义Jaccard相似系数）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3NjYXRmb3JldmVy_size_16_color_FFFFFF_t_70 1]

# 四、使用es计算余弦相似度 #

es如何计算相似度呢？

es 7.6.0 中提供了查询接口

先看下面的查询：

POST /index_vec_32/_search
    {
      "from": 1, 
      "size": 10,
      "query": {
        "script_score": {
          "query": {
            "match_all": {}
          },
          "script": {
            "source": "cosineSimilarity(params.queryVector, doc['vec'])+1",
            "lang": "painless",
            "params": {
              "queryVector": [0.1, 0.2, -0.3,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1]   
            }
          }
        }
      }, "_source": {
            "includes": [
                "tid",
                "sku"
            ],
            "excludes": []
        }
    
    }

查询结果如下：

{
      "took" : 2,
      "timed_out" : false,
      "_shards" : {
        "total" : 3,
        "successful" : 3,
        "skipped" : 0,
        "failed" : 0
      },
      "hits" : {
        "total" : {
          "value" : 4,
          "relation" : "eq"
        },
        "max_score" : 1.282883,
        "hits" : [
          {
            "_index" : "index_vec_32",
            "_type" : "_doc",
            "_id" : "10_108219",
            "_score" : 1.282883,
            "_source" : {
              "sku" : 10,
              "tid" : "108219"
            }
          },
          {
            "_index" : "index_vec_32",
            "_type" : "_doc",
            "_id" : "10_108258",
            "_score" : 1.282883,
            "_source" : {
              "sku" : 10,
              "tid" : "108258"
            }
          },
          {
            "_index" : "index_vec_32",
            "_type" : "_doc",
            "_id" : "10_108262",
            "_score" : 1.282883,
            "_source" : {
              "sku" : 10,
              "tid" : "108262"
            }
          },
          {
            "_index" : "index_vec_32",
            "_type" : "_doc",
            "_id" : "10_108275",
            "_score" : 1.282883,
            "_source" : {
              "sku" : 10,
              "tid" : "108275"
            }
          }
        ]
      }
    }

es提供了script查询模型， 我们可以在查询的地方进行余弦相似度计算。根据这个特点，我们就可以来进行计算了。

java实现：

String inlineScript = "cosineSimilarity(params.queryVector, doc['vec'])+1";
            Map<String, Object> param = new HashMap<>();
            param.put("queryVector", vector);
            Script script = new Script(ScriptType.INLINE, Script.DEFAULT_SCRIPT_LANG, inlineScript, param);
            //筛选条件
            BoolQueryBuilder query = QueryBuilders.boolQuery();
            //eq
            query.must(QueryBuilders.matchPhraseQuery("aaaaa","xxxx");
            //in
            if (!CollectionUtil.isNullOrEmpty(list)) {
                Set set = new HashSet<Integer>();
                for (Integer fieldValue : list) {
                    set.add(Integer.valueOf(fieldValue));
                }
                query.must(QueryBuilders.termsQuery("tid", set));
            }
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            searchSourceBuilder.query(QueryBuilders.scriptScoreQuery(query, script));
            //查询返回字段
            String[] includeFields = new String[]{"tid", "sku"};
            searchSourceBuilder.fetchSource(includeFields, null);
            //分页参数
            searchSourceBuilder.from(0);
            searchSourceBuilder.size(topNumber);
    
            SearchRequest searchRequest = new SearchRequest(ESConstant.calIndex);
            searchRequest.source(searchSourceBuilder);
    
            LinkedList<ResDTO> list = new LinkedList<>();
            try {
                SearchResponse scrollResponse = client.search(searchRequest, RequestOptions.DEFAULT);
                SearchHits searchHits = scrollResponse.getHits();
                SearchHit[] hits = searchHits.getHits();
                for (SearchHit searchHit : hits) {
                    String sourceAsString = searchHit.getSourceAsString();
                    ResCalDTO dto = JsonUtil.fromJSON(sourceAsString, new TypeReference<ResCalDTO>() {
                    });
                    dto.setScore((double) searchHit.getScore());
                    ResDTO resDTO = new ResDTO();
                    resDTO.setTid(dto.getTid());
                    resDTO.setScore(dto.getScore());
                    if (dto.getSku().length() < 2) {
                        dto.setSku("0" + dto.getSku());
                    }
                    list.add(resDTO);
                }
    
            } catch (IOException e) {
                logger.error("es query error,{}", e);
            }
            return list;

通过上面方法我们可以从es中算出top N的最相似的数据，这个就是我们需要给用户推荐的数据。

# 五、思考 #

还是学习数学好呀！数学解决了很多的问题，应用的计算机真是无敌的存在！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3NjYXRmb3JldmVy_size_16_color_FFFFFF_t_70]: /images/20220829/9076a04e69a6450c9310dddca027d98d.png
[20210719165137505.jpg]: /images/20220829/f670d4f6f0004827841b85a455a5340f.png
[Link 1]: https://blog.csdn.net/weixin_39050022/article/details/80732249
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2tpc3NjYXRmb3JldmVy_size_16_color_FFFFFF_t_70 1]: /images/20220829/7e254f9ab7c0414698ca20f62056318b.png