elasticsearch准实时原理

本是古典何须时尚 2022-02-16 07:44 246阅读 0赞

## 概要 ##

elasticsearch被称为准实时搜索，原因是对es的写入操作成功后，写入的数据需要1秒钟后才能被搜索到，因此es搜索是准实时或者又称为近实时（`near real time`）。

elasticsearch底层使用的Lucene，而Lucene的写入是实时的。但Lucene的实时写入意味着每一次写入请求都直接将数据写入硬盘，因此频繁的I/O操作会导致很大的性能问题。

## 原理 ##

![在这里插入图片描述][20190421221838191.png]

当一个写请求发送到es后，es将数据写入`memory buffer`中，并添加事务日志（`translog`）。如果每次一条数据写入内存后立即写到硬盘文件上，由于写入的数据肯定是离散的，因此写入硬盘的操作也就是随机写入了。硬盘随机写入的效率相当低，会严重降低es的性能。

因此es在设计时在`memory buffer`和硬盘间加入了Linux的页面高速缓存（`File system cache`）来提高es的写效率。

当写请求发送到es后，es将数据暂时写入`memory buffer`中，此时写入的数据还不能被查询到。默认设置下，es每1秒钟将`memory buffer`中的数据`refresh`到Linux的`File system cache`，并清空`memory buffer`，此时写入的数据就可以被查询到了。

但`File system cache`依然是内存数据，一旦断电，则`File system cache`中的数据全部丢失。默认设置下，es每30分钟调用`fsync`将`File system cache`中的数据`flush`到硬盘。因此需要通过`translog`来保证即使因为断电`File system cache`数据丢失，es重启后也能通过日志回放找回丢失的数据。

`translog`默认设置下，每一个`index`、`delete`、`update`或`bulk`请求都会直接`fsync`写入硬盘。为了保证`translog`不丢失数据，在每一次请求之后执行`fsync`确实会带来一些性能问题。对于一些允许丢失几秒钟数据的场景下，可以通过设置`index.translog.durability`和`index.translog.sync_interval`参数让`translog`每隔一段时间才调用`fsync`将事务日志数据写入硬盘。

## 解决 ##

对于需要写入后实时查询的数据，可以通过手动`refresh`操作将`memory buffer`的数据立即写入到`File system cache`。

1.  文档更新后立即`refresh`

PUT /test/_doc/1?refresh
    {"test": "test"}
    PUT /test/_doc/2?refresh=true
    {"test": "test"}

[https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-refresh.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_docs-refresh.html]  
2. `refresh`整个索引的`memory buffer`

POST /test/_refresh

[https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-refresh.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_indices-refresh.html]

[20190421221838191.png]: /images/20220216/54b20cabd83c41bea3d7ee7c3dbfcc10.png
[https_www.elastic.co_guide_en_elasticsearch_reference_current_docs-refresh.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-refresh.html
[https_www.elastic.co_guide_en_elasticsearch_reference_current_indices-refresh.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-refresh.html