适用于 SQL 思维的 ChromaDB
本篇文章向大家介绍《适用于 SQL 思维的 ChromaDB》,主要包括,具有一定的参考价值,需要的朋友可以参考一下。
您好,chroma db 是一个矢量数据库,对于使用 genai 应用程序非常有用。在本文中,我将通过查看 mysql 中的类似关系来探索如何在 chroma db 上运行查询。
模式
与 sql 不同,您无法定义自己的架构。在 chroma 中,您会获得固定的列,每个列都有自己的用途:
import chromadb #setiing up the client client = chromadb.client() collection = client.create_collection(name="name") collection.add( documents = ["str1","str2","str3",...] ids = [1,2,3,....] metadatas=[{"chapter": "3", "verse": "16"},{"chapter":"3", "verse":"5"}, ..] embeddings = [[1,2,3], [3,4,5], [5,6,7]] )
ids:它们是唯一的 id。请注意,您需要自己提供它们,与 sql 不同,没有自动增量
文档: 用于插入用于生成嵌入的文本数据。您可以提供文本,它会自动创建嵌入。或者您可以直接提供嵌入并将文本存储在其他位置。
嵌入: 在我看来,它们是数据库中最重要的部分,因为它们用于执行相似性搜索。
元数据:这用于关联您可能想要添加到数据库中以获得任何额外上下文的任何其他数据。
现在集合的基础知识已经清楚了,让我们继续进行 crud 操作,我们将了解如何查询数据库。
增删改查操作
注意:集合就像 chroma 中的表格
要创建集合,我们可以使用 create_collection() 并根据需要执行我们的操作,但如果集合已经创建并且我们需要再次引用它,我们必须使用 get_collection() 否则我们会收到错误。
create table tablename
#create a collection collection = client.create_collection(name="name") #if a collection is already made and you need to use it again the use collection = client.get_collection(name="name")
insert into tablename values(... , ..., ...)
collection.add( ids = [1] documents = ["some text"] metadatas = [{"key":"value"}] embeddings = [[1,2,3]] )
要更新插入的数据或删除数据,我们可以使用以下命令
collection.update( ids = [2] documents = ["some text"] metadatas = [{"key":"value"}] embeddings = [[1,2,3]] ) # if the id does not exist update will do nothing. to add data if id does not exist use collection.upsert( ids = [2] documents = ["some text"] metadatas = [{"key":"value"}] embeddings = [[1,2,3]] ) # to delete data use delete and refrence the document or id or the feild collection.delete( documents = ["some text"] ) # or you can delete from a bunch of ids using where that will apply filter on metadata collection.delete( ids=["id1", "id2", "id3",...], where={"chapter": "20"} )
查询
现在我们将看看某些查询的样子
select * from tablename select * from tablename limit value select documents, metadata from tablename
collection.get() collection.get(limit = val) collection.get(include = ["documents","metadata"])
虽然 get() 用于获取大量表以进行更高级的查询,但您需要使用查询方法
select a,b from table limit val
collection.query( n_results = val #limit includes = [a,b] )
现在我们有3种可能的方法来过滤数据:相似性搜索(矢量数据库主要用于什么),元数据过滤器和文档过滤器
相似性搜索
我们可以根据文本或嵌入进行搜索并获得最相似的输出
collection.query(query_texts=["string"]) collection.query(query_embeddings=[[1,2,3]])
在 chromadb 中,where 和 where_document 参数用于在查询期间过滤 结果。这些过滤器允许您根据元数据或特定文档内容优化相似性搜索。
按元数据过滤
where 参数可让您根据关联的元数据过滤文档。元数据通常是您在文档插入期间提供的键值对的字典。
按类别、作者或日期等元数据过滤文档。
# insert documents with metadata collection.add( documents=["document about ai", "another document on ai", "general science content"], metadatas=[ {"category": "ai", "author": "john"}, {"category": "ai", "author": "doe"}, {"category": "science", "author": "alice"}, ], ids=["doc1", "doc2", "doc3"] ) # query with a metadata filter results = collection.query( query_texts=["artificial intelligence"], n_results=5, where={"category": "ai"} # only retrieve documents with category = "ai" ) # output print("filtered documents:", results['documents'])
# you can filter using multiple conditions: where={"category": "ai", "author": "john"} # supports operators like `$gt`, `$lt`, `$in`, etc. for example: where={"date": {"$gt": "2024-01-01"}}
按文档内容过滤
where_document 参数允许直接根据文档内容进行过滤。
仅检索包含特定关键字的文档。
# insert documents collection.add( documents=["ai is transforming the world", "ai and machine learning", "physics is fascinating"], ids=["doc1", "doc2", "doc3"] ) # query with a document content filter results = collection.query( query_texts=["what is ai?"], n_results=5, where_document={"$contains": "ai"} # only retrieve documents containing "ai" ) # output print("filtered documents:", results['documents'])
要点:
- 使用 $contains、$startswith 或 $endswith 等运算符。
- $contains:匹配包含子字符串的文档。
- $startswith:匹配以子字符串开头的文档。
- $endswith:匹配以子字符串结尾的文档。
-
例如:
where_document={"$startswith": "ai"}
常见用例:
我们可以像这样组合所有三个过滤器:
-
在特定类别中搜索:
collection.query(query_texts=["machine learning"], n_results=5, where={"category": "ml"})
-
搜索包含特定术语的文档:
collection.query(query_texts=["physics"], n_results=5, where_document={"$contains": "gravity"})
-
组合元数据和文档内容过滤器:
collection.query( query_texts=["AI"], n_results=5, where={"author": "John"}, where_document={"$startsWith": "AI"} )
这些过滤器提高了相似性搜索的精度,使 chromadb 成为目标文档检索的强大工具。
结论
我写这篇文章是因为我觉得在尝试制作自己的程序时该文档还有很多不足之处,我希望这会有所帮助!
感谢您的阅读,如果您喜欢这篇文章,请点赞和分享。另外,如果您是软件架构新手并且想了解更多信息,我将开始一个基于小组的队列,我将亲自与您和一个小组一起工作,教您有关软件架构和设计原理的所有知识。如果您有兴趣,可以填写下面的表格。 https://forms.gle/suaxrzryvbnv8ucga
文中关于的知识介绍,希望对你的学习有所帮助!若是受益匪浅,那就动动鼠标收藏这篇《适用于 SQL 思维的 ChromaDB》文章吧,也可关注golang学习网公众号了解相关技术文章。

- 上一篇
- 探索电脑控软件:如何选择和使用最佳工具提升工作效率

- 下一篇
- 魅族手机如何快速连接电脑:详细步骤与实用技巧
-
- 文章 · python教程 | 6分钟前 |
- Python文本摘要方法及关键信息提取技巧
- 179浏览 收藏
-
- 文章 · python教程 | 12分钟前 |
- Python主流应用领域解析
- 152浏览 收藏
-
- 文章 · python教程 | 12分钟前 | 源码 grep Python函数定位 inspect模块 模块结构
- 快速定位Python函数位置的实用方法
- 290浏览 收藏
-
- 文章 · python教程 | 8小时前 |
- Python中*号的多种用法详解
- 376浏览 收藏
-
- 文章 · python教程 | 8小时前 |
- Python用HDF5实现数据持久化方法
- 330浏览 收藏
-
- 文章 · python教程 | 8小时前 |
- Python数据清洗:pandas预处理实用技巧
- 494浏览 收藏
-
- 文章 · python教程 | 8小时前 | TypeError 参数不匹配 类型提示 Python函数参数 按对象引用传递
- Python参数调用不匹配检测方法
- 378浏览 收藏
-
- 文章 · python教程 | 8小时前 |
- Python特征工程与选择技巧全解析
- 470浏览 收藏
-
- 文章 · python教程 | 8小时前 |
- Python操作Word文档全攻略
- 314浏览 收藏
-
- 文章 · python教程 | 9小时前 |
- PythonLambda函数入门指南
- 418浏览 收藏
-
- 文章 · python教程 | 9小时前 | 日志记录 Python脚本 subprocess pythonw.exe 隐藏窗口
- Python运行时隐藏窗口的实用方法
- 480浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 千音漫语
- 千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
- 176次使用
-
- MiniWork
- MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
- 175次使用
-
- NoCode
- NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
- 177次使用
-
- 达医智影
- 达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
- 183次使用
-
- 智慧芽Eureka
- 智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
- 197次使用
-
- Flask框架安装技巧:让你的开发更高效
- 2024-01-03 501浏览
-
- Django框架中的并发处理技巧
- 2024-01-22 501浏览
-
- 提升Python包下载速度的方法——正确配置pip的国内源
- 2024-01-17 501浏览
-
- Python与C++:哪个编程语言更适合初学者?
- 2024-03-25 501浏览
-
- 品牌建设技巧
- 2024-04-06 501浏览