txtai 教程系列 3----从数据源构建嵌入索引

末蓝、 2023-09-27 18:56 26阅读 0赞

在第 1 部分中，我们概述了 txtai、支持技术以及如何使用它进行相似性搜索的示例。第 2 部分介绍了具有更大数据集的嵌入索引。

对于现实世界的大规模用例，数据通常存储在数据库中（Elasticsearch、SQL、MongoDB、文件等）。在这里，我们将展示如何从 SQLite 读取数据，构建一个由词嵌入支持的嵌入索引，以及如何对生成的嵌入索引运行查询。

此示例涵盖了paperai库中的功能。有关可与下面讨论的数据集一起使用的完整解决方案，请参阅该库。

安装依赖  
安装txtai和所有依赖项。由于本文是构建词向量，所以我们需要安装 similarity extras 包。  
pip install txtai\[similarity\]  
下载数据  
这个例子将处理CORD-19数据集的一个子集。COVID-19 开放研究数据集 (CORD-19) 是一个免费的学术文章资源，由领先的研究小组联盟汇总，涵盖 COVID-19 和冠状病毒病毒家族。

下面下载的是一个从Kaggle notebook生成的 SQLite 数据库。有关此数据格式的更多信息，请参阅CORD-19 分析笔记本。  
wget https://github.com/neuml/txtai/releases/download/v1.1.0/tests.gz  
gunzip tests.gz  
mv tests articles.sqlite  
构建词向量  
此示例将构建一个由词嵌入支持的搜索系统。虽然不如 transformer 嵌入那么强大，但它们通常为基于嵌入的搜索系统提供性能与功能的良好折衷。

对于本文，我们将构建自己的自定义嵌入以用于演示目的。许多预训练的词嵌入模型可用：

来自 pymagnitude 的通用语言模型  
CORD-19 快速文本  
import os  
import sqlite3  
import tempfile

from txtai.pipeline import Tokenizer  
from txtai.vectors import WordVectors

print(“Streaming tokens to temporary file”)

## Stream tokens to temp working file ##

with tempfile.NamedTemporaryFile(mode=“w”, suffix=“.txt”, delete=False) as output:

## Save file path ##

tokens = output.name

db = sqlite3.connect(“articles.sqlite”)  
cur = db.cursor()  
cur.execute(“SELECT Text from sections”)