ElasticSearch搜索优化的方法

ゝ一纸荒年。 2022-07-15 12:48 181阅读 0赞

1.  多线程程序插入，可以根据服务器情况开启多个线程index  
    速度可以提高n倍, n>=2
2.  如果有多台机器，可以以每台设置n个shards的方式，根据业务情况，可以考虑取消replias  
    curl -XPUT ‘[http://10.1][http_10.1].*.*:9200/dw-search/’ -d ‘\{  
    “settings” : \{  
    “number\_of\_shards” : 20,  
    “number\_of\_replicas” : 0  
    \}  
    \}’  
    这里设置20个shards, 复制为0，如果需要replicas，可以完成index后再修改为replicas>=1  
    原文：[http://www.elasticsearch.org/guide/reference/api/admin-indices-create-index.html][http_www.elasticsearch.org_guide_reference_api_admin-indices-create-index.html]
3.  提高ES占用内存  
    内存适当调大，初始是256M, 最大1G，  
    调大后，最小和最大一样，避免GC, 并根据机器情况，设置内存大小，  
    $ bin/elasticsearch -f -Xmx4g -Xms4g -Des.index.storage.type=memory  
    原文：[http://www.elasticsearch.org/guide/reference/setup/installation.html][http_www.elasticsearch.org_guide_reference_setup_installation.html]
4.  减少shard刷新间隔  
    curl -XPUT ‘[http://10.1][http_10.1].*.*:9200/dw-search/\_settings’ -d ‘\{  
    “index” : \{  
    “refresh\_interval” : “-1”  
    \}  
    \}’

完成bulk插入后再修改为初始值  
curl -XPUT ‘[http://10.1][http_10.1].*.*:9200/dw-search/\_settings’ -d ‘\{  
“index” : \{  
“refresh\_interval” : “1s”  
\}  
\}’

1.  设置一个shard的段segment最大数  
    可以减少段文件数，提高查询速度  
    curl -XPOST ‘[http://10.1][http_10.1].*.*:9200/dw-search/\_optimize?max\_num\_segments=5’  
    注意：有时候可能需要多次执行  
    原文：[http://www.elasticsearch.org/guide/reference/api/admin-indices-update-settings.html][http_www.elasticsearch.org_guide_reference_api_admin-indices-update-settings.html]  
    原文：[http://www.elasticsearch.org/guide/reference/index-modules/merge.html][http_www.elasticsearch.org_guide_reference_index-modules_merge.html]
2.  去掉mapping中\_all域  
    Index中默认会有\_all的域，这个会给查询带来方便，但是会增加索引时间和索引尺寸  
    “\_all” : \{“enabled” : false\}  
    原文：[http://www.elasticsearch.org/guide/reference/mapping/all-field.html][http_www.elasticsearch.org_guide_reference_mapping_all-field.html]  
    curl -XPOST ‘[http://10.1][http_10.1].*.*:9200/dw-search/pt\_normal/\_mapping’ –data-binary @pt\_normal\_properties.mapping
3.  设置source为压缩模式或者disable  
    compress=true这个能大大减少index的尺寸  
    disable将直接没有\_source域
4.  增加merge.policy.merge\_factor数  
    设置merge.policy.merge\_factor到30，初始是10  
    增加这个数需要更多的内存，bulk index可以调大这个值.  
    如果是即时索引，应该调小这个值  
    原文：[http://www.elasticsearch.org/guide/reference/index-modules/merge.html][http_www.elasticsearch.org_guide_reference_index-modules_merge.html]

[http_10.1]: http://10.1
[http_www.elasticsearch.org_guide_reference_api_admin-indices-create-index.html]: http://www.elasticsearch.org/guide/reference/api/admin-indices-create-index.html
[http_www.elasticsearch.org_guide_reference_setup_installation.html]: http://www.elasticsearch.org/guide/reference/setup/installation.html
[http_www.elasticsearch.org_guide_reference_api_admin-indices-update-settings.html]: http://www.elasticsearch.org/guide/reference/api/admin-indices-update-settings.html
[http_www.elasticsearch.org_guide_reference_index-modules_merge.html]: http://www.elasticsearch.org/guide/reference/index-modules/merge.html
[http_www.elasticsearch.org_guide_reference_mapping_all-field.html]: http://www.elasticsearch.org/guide/reference/mapping/all-field.html