Python sqlite3.blobopen 怎样读写 SQLite 的大二进制字段
如果 SQLite 表里已经有一条 BLOB 记录,Python 不必先把整列读成一个大 bytes 再整体回写。从 Python 3.11 起,sqlite3.Connection.blobopen() 可以打开已有 BLOB,返回一个类似文件的 Blob 句柄,用 read()、write()、seek() 处理局部数据。关键限制是:Blob 句柄只能读写既有容量,不能在句柄里扩容。
官方文档:https://docs.python.org/3/library/sqlite3.html#sqlite3.Connection.blobopen
实际使用时把动作拆成三层:先用 SQL 创建带固定容量的 BLOB,再用表名、列名和 rowid 打开它,最后在 Blob 关闭后提交连接事务。这样既能避免一次性搬运大字段,也能看清失败和资源释放的边界。
blobopen 先解决什么问题
blobopen(table, column, rowid, readonly=False, name='main') 的定位信息不是查询条件,而是一个已经存在的 BLOB 地址。table 是表名,column 是 BLOB 列,rowid 是目标行的整数行号;需要读取时可以把 readonly 设为 True,需要写入时保留默认的可写句柄。

这个 API 不负责创建行,也不负责改变字段类型。若目标行不存在,或者表是 WITHOUT ROWID 表,打开动作就不符合它的定位模型。可以把它理解为“拿到已有 BLOB 的文件句柄”,而不是“用一个新 API 插入 BLOB”。
先用 zeroblob 预留固定容量

因为 Blob 的长度不能改变,写入前要先决定容量。SQLite 提供的 zeroblob(N) 可以在插入记录时预留 N 个零字节。下面只负责创建一条可定位的记录,并保存返回的 rowid:
import sqlite3
con = sqlite3.connect("assets.db")
try:
# 先准备一张带固定容量 BLOB 的表,rowid 用来定位后续句柄。
con.execute("""
CREATE TABLE IF NOT EXISTS media (
name TEXT NOT NULL,
payload BLOB NOT NULL
)
""")
cursor = con.execute(
"INSERT INTO media(name, payload) VALUES(?, zeroblob(?))",
("manual.bin", 1024 * 1024), # 为示例预留 1 MiB,容量由 SQL 决定。
)
rowid = cursor.lastrowid
con.commit() # 先提交记录,之后 blobopen 才能定位到它。
finally:
con.close() # 连接不再使用时显式关闭,避免资源悬挂。
这里的 rowid 只是示例变量,真实项目应把它保存到业务记录或随任务传递。若业务需要更大的文件,先选择合适的固定容量;不要指望后面的 Blob.write() 自动把字段变长。
按偏移读取或写入局部内容
拿到行号后,可以让 blobopen() 返回可写或只读句柄。seek(offset) 移动当前位置,read(length) 读取一段,write(data) 则覆盖当前位置开始的字节。下面的例子把两种方向放在一起,便于比较:
import sqlite3
con = sqlite3.connect("assets.db")
try:
rowid = 1 # 示例行号;生产代码应使用实际 INSERT 返回的 rowid。
# 可写句柄只能覆盖已经预留的范围,不能改变 BLOB 总长度。
with con.blobopen("media", "payload", rowid, readonly=False) as blob:
blob.seek(128) # 把写入位置移动到已有 BLOB 的偏移 128。
blob.write(b"header-v2") # 写入长度不能超出固定容量。
# 只读句柄适合读取局部区间,避免把整个大字段一次性载入内存。
with con.blobopen("media", "payload", rowid, readonly=True) as blob:
blob.seek(128) # 读取同一位置,验证需要的局部内容。
chunk = blob.read(9)
con.commit() # 写句柄关闭后再提交连接事务。
finally:
con.close() # 连接关闭前,确保上面的 Blob 上下文已经退出。
在这个模型里,readonly=True 是权限意图的明确表达;不要为了统一代码而把所有读取都打开成可写。局部读取适合索引、分片或固定格式记录,但它不会自动替你做并发协调,业务仍需决定什么时候提交和怎样处理写入冲突。
把提交和关闭放在正确边界
Blob 支持上下文管理器,因此优先使用 with con.blobopen(...) as blob。退出上下文后句柄会关闭,后续再访问它会抛出错误。连接本身的事务提交仍应由连接代码负责,尤其是可写句柄退出后再调用 commit(),边界更容易读懂。
import sqlite3
def write_slice(database, rowid, offset, data):
con = sqlite3.connect(database)
try:
# 让异常保留给调用方,调用方可按任务类型决定重试或记录。
with con.blobopen("media", "payload", rowid, readonly=False) as blob:
blob.seek(offset)
blob.write(data)
con.commit() # Blob 关闭后提交本次连接事务。
except (sqlite3.Error, ValueError):
con.rollback() # 打开或写入失败时撤销当前连接的未提交变更。
raise
finally:
con.close() # 无论成功失败都释放连接。
try:
write_slice("assets.db", 1, 256, b"chunk")
except sqlite3.Error as exc:
print(f"BLOB 写入失败:{exc}") # 这里只记录错误,不伪造写入成功。
异常处理的重点是区分“句柄打开失败”和“写入后提交失败”。例如表名、列名或 rowid 不正确时,blobopen() 可能直接抛出 SQLite 异常;如果写入超过容量,也不应把它包装成成功。这里让异常继续向上抛出,调用方才能决定重试、告警或换用新的记录。
版本和容量边界要先确认
| 问题 | 结论 |
|---|---|
| 从哪个版本开始可用 | sqlite3.Connection.blobopen 和 sqlite3.Blob 从 Python 3.11 加入。 |
| 能否在 Blob 句柄中扩容 | 不能。容量由已有 BLOB 决定,需要回到 SQL 重新创建或替换固定大小字段。 |
| 哪些表不能这样打开 | 官方文档明确指出,尝试打开 WITHOUT ROWID 表中的 BLOB 会产生 OperationalError。 |
| 什么时候用只读句柄 | 只读访问或分片读取时使用 readonly=True,让代码意图和权限边界更明确。 |
如果你的数据长度经常变化,先重新评估表结构和容量策略;blobopen 更适合已有记录、固定容量、需要局部读写的场景。它解决的是大字段搬运方式,不是通用文件系统,也不会替代事务设计。
常见问题
blobopen 能直接打开不存在的 BLOB 吗?
不能。先插入记录并用 zeroblob(N) 预留容量,再用 table、column 和 rowid 打开已有 BLOB。
为什么写入成功后还要 commit?
Blob 句柄属于连接事务。可写句柄关闭只表示句柄资源已释放,连接层仍应按事务策略提交或回滚。
怎样改变 BLOB 的大小?
不要在 Blob 对象上扩容。回到 SQL 层重新写入合适大小的 BLOB,或设计新的固定容量记录。
读取大字段一定要用 blobopen 吗?
不一定。小字段直接查询更简单;当字段较大、只需局部区间或希望分段处理时,Blob 句柄才更有价值。
Python sqlite3.Row 怎样按列名读取查询结果
- 上一篇
- Python sqlite3.Row 怎样按列名读取查询结果
- 下一篇
- Python dataclasses.field 怎样声明不可共享的默认值
-
- 文章 · python教程 | 27分钟前 |
- Python zipfile.ZipFile.open 怎样按二进制流读取压缩成员
- 340浏览 收藏
-
- 文章 · python教程 | 46分钟前 | python · Python 进程间通信 multiprocessing shared_memory ShareableList
- Python ShareableList 固定长度共享列表的类型与容量边界
- 163浏览 收藏
-
- 文章 · python教程 | 1小时前 | 工程实践 · Python教程 · Python 对象生命周期 weakref weakref.finalize 清理回调
- Python weakref.finalize 怎样为对象注册清理回调
- 200浏览 收藏
-
- 文章 · python教程 | 1小时前 | python · Python TypeGuard 类型收窄 typing.TypeIs
- Python typing.TypeIs 怎样表达更精确的类型收窄
- 218浏览 收藏
-
- 文章 · python教程 | 1小时前 |
- Python dataclasses.field 怎样声明不可共享的默认值
- 250浏览 收藏
-
- 文章 · python教程 | 1小时前 | SQLite · Python教程 · Python sqlite3 sqlite3.Row row_factory 按列名读取
- Python sqlite3.Row 怎样按列名读取查询结果
- 197浏览 收藏
-
- 文章 · python教程 | 2小时前 | Python asyncio CancelledError 异步超时 asyncio.timeout TimeoutError
- Python asyncio.timeout 怎样把超时变成可捕获异常
- 419浏览 收藏
-
- 文章 · python教程 | 2小时前 | 消息队列 · python · 异步编程 · Python asyncio Queue.shutdown QueueShutDown
- Python asyncio.Queue.shutdown 怎样让生产者和消费者安全收尾
- 312浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 843次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 843次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 925次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 900次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 729次使用
-
- 针对 MySQL IO 特点进行的存储优化揭秘
- 2023-02-24 310浏览
-
- Navicat for SQLite导入csv中文数据的方法
- 2022-12-29 378浏览
-
- SQL 编程思想:一切皆关系
- 2023-02-18 315浏览
-
- 支持国产化!HFish全面兼容国产CPU
- 2023-01-25 305浏览
-
- 聊聊怎么实现通用ORM?(附设计思路)
- 2023-02-16 429浏览

