如何在nodejs中使用sqlite构建矢量数据库
本篇文章向大家介绍《如何在nodejs中使用sqlite构建矢量数据库》,主要包括,具有一定的参考价值,需要的朋友可以参考一下。

SQLite凭借其轻量、快速和经过实战检验的特性,广泛应用于各种系统,从大型系统到微型嵌入式设备,甚至网络浏览器和Android手机都依赖于它。 如今,AI技术日新月异,大型语言模型(LLMs)也正朝着小型化、高效化的方向发展。通过量化等技术手段,LLMs 的体积不断缩小,效率不断提升。 当LLMs 能够在小型设备上本地运行时,对存储空间的需求也随之降低,而SQLite正是满足这一需求的理想选择。
然而,我们不妨更进一步思考:如果我们不仅将SQLite用作存储引擎,还将其用于向量计算呢?在AI领域,LLMs 依赖于向量和嵌入——文本本质的数字表示。虽然PostgreSQL拥有用于向量搜索的pgvector扩展,但我们也可以探索如何将SQLite打造成强大的向量数据库。
本文将指导您如何在Node.js中构建一个基于SQLite的向量数据库,用于构建检索增强型生成应用程序(RAG)。
准备工作:数据准备与数据库设置
首先,克隆包含数据文件夹的项目仓库。该文件夹包含来自白皮书的文本片段,非常适合用于测试嵌入。
git clone https://github.com/sfundomhlungu/nodejs-vectordb.git
注意: 原始代码较为简略,为了方便理解,建议您创建一个新的文件夹,将数据文件夹复制到其中,然后初始化一个新的Node.js项目。 最终目录结构如下:
vectordb/
├── data/
├── embed.js
└── index.js
安装必要的依赖包:
pnpm add better-sqlite3 ollama uuid
这将安装SQLite3驱动、用于生成嵌入的Ollama库以及UUID生成库。 确保您已安装Ollama并配置好API密钥。
数据库播种:嵌入生成与存储
打开embed.js文件,您将看到数据库的创建和嵌入表定义。 关键字段包括sessid(用于模拟会话)和embeddings(用于存储向量嵌入)。
读取数据文件夹中的文本文件,并使用Ollama生成每个文件的嵌入向量:
// ... (导入必要的模块) ...
async function embed(content, meta) {
const res = await ollama.embed({
model: "mxbai-embed-large",
truncate: true,
input: content,
});
// ... (将嵌入向量转换为Float32Array并保存到数据库) ...
}
// ... (读取数据文件并调用embed函数) ...
向量搜索:余弦相似度计算与相似文档检索
接下来,在index.js中实现余弦相似度计算函数和向量搜索函数。 该函数将用户查询嵌入到向量空间,并在数据库中查找最相似的文档。
// ... (导入必要的模块) ...
function cosineSimilarity(v1, v2) {
// ... (计算余弦相似度) ...
}
async function checkSimilarity(userQuery, session) {
// ... (生成用户查询的嵌入向量,并在数据库中查找最相似的文档) ...
}
// ... (实现与模型聊天的函数) ...
性能优化:使用原生模块提升效率
为了提升性能,可以使用vector-sqlite3原生模块。 安装该模块后,更新代码以启用原生向量函数:
import sqlitevector from 'vector-sqlite3';
// ... (数据库连接) ...
sqlitevector(db, { usenative: ["cosine_similarity", "l2_distance", "dot_product"] });
这将使用优化的原生函数来计算余弦相似度,显著提升搜索速度。
总结
本文简要介绍了如何在Node.js中使用SQLite构建向量数据库,并利用Ollama生成文本嵌入。 通过使用原生模块,可以进一步优化性能。 您可以根据实际需求调整模型和参数,以获得最佳的检索效果。 完整的代码和更详细的说明请参考原始仓库。
本篇关于《如何在nodejs中使用sqlite构建矢量数据库》的介绍就到此结束啦,但是学无止境,想要了解学习更多关于文章的相关知识,请关注golang学习网公众号!
使用NextJS尾风CSS和Framer Motion建立现代投资组合
- 上一篇
- 使用NextJS尾风CSS和Framer Motion建立现代投资组合
- 下一篇
- Linux copendir返回值含义解析
-
- 文章 · 前端 | 11小时前 | 前端 · javascript · JavaScript DOM遍历 NodeIterator referenceNode
- JavaScript NodeIterator.referenceNode 怎样读取迭代器当前参照的节点
- 326浏览 收藏
-
- 文章 · 前端 | 12小时前 | 前端 · JavaScript Event defaultPrevented
- JavaScript Event.defaultPrevented 怎样判断事件默认行为是否已经被取消
- 391浏览 收藏
-
- 文章 · 前端 | 12小时前 | 前端 · javascript · 浏览器API · JavaScript Selection focusNode focusOffset DOM Node 文本选择
- JavaScript Selection.focusNode 怎样取得用户当前延伸选择的端点节点
- 492浏览 收藏
-
- 文章 · 前端 | 13小时前 | 前端 · javascript · JavaScript CSSOM CSSStyleSheet CSSRule parentStyleSheet cssRules parentRule
- JavaScript CSSRule.parentStyleSheet 怎样取得一条规则所属的样式表
- 323浏览 收藏
-
- 文章 · 前端 | 15小时前 | javascript · JavaScript 滚动条 Element.clientLeft 左边框
- JavaScript Element.clientLeft 怎样理解左边框宽度与滚动条占位
- 290浏览 收藏
-
- 文章 · 前端 | 16小时前 | 前端 · javascript · JavaScript Shadow DOM Event.composed
- JavaScript Event.composed 怎样判断事件能否跨越影子根边界
- 149浏览 收藏
-
- 文章 · 前端 | 17小时前 | javascript · JavaScript dom Selection anchorOffset
- JavaScript Selection.anchorOffset 怎样理解选择起点在文本与元素中的偏移
- 496浏览 收藏
-
- 文章 · 前端 | 18小时前 | javascript · JavaScript CSSStyleSheet ownerRule CSSImportRule
- JavaScript StyleSheet.ownerRule 怎样取得导入样式表对应的规则对象
- 357浏览 收藏
-
- 文章 · 前端 | 18小时前 | html · 前端 · javascript · 表单 · JavaScript id for label 表单控件 Control HTMLLabelElement
- JavaScript HTMLLabelElement.control 怎样取得标签实际关联的表单控件
- 338浏览 收藏
-
- 文章 · 前端 | 19小时前 | 前端 · javascript · JavaScript DOM遍历 TreeWalker NodeFilter whatToShow
- JavaScript TreeWalker.whatToShow 怎样区分节点类型掩码与自定义过滤器
- 223浏览 收藏
-
- 文章 · 前端 | 20小时前 | 前端 · range · javascript · JavaScript dom range 富文本 isPointInRange 节点偏移
- JavaScript Range.isPointInRange 怎样判断指定节点偏移是否落在范围内
- 145浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1105次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1099次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1270次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1212次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1059次使用
-
- JavaScript函数定义及示例详解
- 2025-05-11 502浏览
-
- 智能体安全引领产业升级——国内AI安全产品市场深度分析
- 2026-08-21 501浏览
-
- CSS变量简化按钮悬停效果技巧
- 2026-05-31 501浏览
-
- JavaScript符号类型详解与应用
- 2026-05-31 501浏览
-
- HTML剪贴板复制粘贴怎么用
- 2026-05-26 501浏览

