45-----自定义您自己的嵌入数据库

系统管理员 2023-09-27 20:17 18阅读 0赞

txtai 支持多种不同的数据库和矢量索引后端，包括外部数据库。使用现代硬件，单个节点索引可以带我们走多远是惊人的。轻松进入数亿甚至数十亿条记录。

txtai 在创建您自己的嵌入数据库方面提供了最大的灵活性。开箱即用的合理默认值。因此，除非您寻找这种配置，否则没有必要。本文将探讨当您确实想要自定义嵌入数据库时可用的选项。

可以在此处找到有关嵌入配置设置的更多信息。

安装依赖  
安装txtai和所有依赖项。

## Install txtai ##

pip install txtai\[database,similarity\] datasets  
加载数据集  
此示例将使用ag\_news数据集，它是新闻文章标题的集合。我们将使用 25,000 个标题的子集。  
import timeit

from datasets import load\_dataset

def timer(embeddings, query=“red sox”):  
elapsed = timeit.timeit(lambda: embeddings.search(query), number=250)  
print(f"\{elapsed / 250\} seconds per query")

dataset = load\_dataset(“ag\_news”, split=“train”)\[“text”\]\[:25000\]  
NumPy  
让我们从最简单的嵌入数据库开始。这只是一个简单的包装器，围绕着带有句子转换器的矢量化文本，将结果存储为 NumPy 数组并运行相似性查询。  
from txtai.embeddings import Embeddings

## Create embeddings instance ##

embeddings = Embeddings(\{“path”: “sentence-transformers/all-MiniLM-L6-v2”, “backend”: “numpy”\})

## Index data ##

embeddings.index((x, text, None) for x, text in enumerate(dataset))

embeddings.search(“red sox”)  
\[(19831, 0.6780003309249878),  
(18302, 0.6639199256896973),  
(16370, 0.6617192029953003)\]  
embeddings.info()  
\{  
“backend”: “numpy”,  
“build”: \{  
“create”: “2023-05-04T12:12:02Z”,  
“python”: “3.10.11”,  
“settings”: \{  
“numpy”: “1.22.4”  
\},  
“system”: “Linux (x86\_64)”,  
“txtai”: “5.6.0”  
\},  
“dimensions”: 384,  
“offset”: 25000,  
“path”: “sentence-transformers/all-MiniLM-L6-v2”,  
“update”: “2023-05-04T12:12:02Z”  
\}  
上面的嵌入实例将文本矢量化并将内容存储为 NumPy 数组。数组索引位置与相似性分数一起返回。虽然同样可以使用句子转换器轻松完成，但使用 txtai 框架可以轻松换出不同的选项，如下所示。

SQLite 和 NumPy  
我们将测试的下一个组合是带有 NumPy 数组的 SQLite 数据库。

## Create embeddings instance ##

embeddings = Embeddings(\{“path”: “sentence-transformers/all-MiniLM-L6-v2”, “content”: “sqlite”, “backend”: “numpy”\})

## Index data ##

embeddings.index((x, text, None) for x, text in enumerate(dataset))  
现在让我们搜索一下。  
embeddings.search(“red sox”)  
\[\{‘id’: ‘19831’,  
‘text’: 'Boston Red Sox Team Report - September 6 (Sports Network) - Two of the top teams in the American League tangle in a possible American League Division Series preview tonight, as the West-leading Oakland Athletics host the wild card-leading Boston Red Sox for the first of a three-game set at the ',  
‘score’: 0.67