当前位置:首页 > 文章列表 > 文章 > python教程 > Python sqlite3.blobopen 怎样原地读写固定长度的 BLOB

Python sqlite3.blobopen 怎样原地读写固定长度的 BLOB

来源:17golang原创 2026-11-16 23:20:41 0浏览 收藏

如果 SQLite 表里保存的是头像、缩略图或固定格式的二进制片段,没必要每次都把整列 BLOB 读出再写回。Python 的 sqlite3.Connection.blobopen() 可以打开已有 BLOB,返回一个支持读取、写入、定位和切片访问的 Blob 句柄,适合做固定长度内容的局部更新。

它有一个必须先接受的边界:blobopen() 不能改变 BLOB 的长度。常见做法是先插入 zeroblob(n) 预留空间,再在这个范围内覆盖字节。官方文档可复制查看:https://docs.python.org/3/library/sqlite3.html#sqlite3.Connection.blobopen

要点速览
  • blobopen(table, column, rowid) 面向已有行中的 BLOB,不是创建新列或动态扩容接口。
  • 要修改长度,先重新设计存储策略;Blob.write() 只能覆盖固定范围,越过末尾会抛出 ValueError。
  • 只读场景显式传入 readonly=True,读写句柄建议放在 with 中,确保及时关闭。
Python sqlite3.blobopen、Connection、BLOB 行、Blob 句柄和固定长度存储之间关系的原创静态结构说明图
图1:从 Connection 到 BLOB 行和 Blob 句柄的静态关系说明图,不是运行截图。

先把 blobopen 的适用压力说清楚

完整替换 BLOB 的写法很直观,但会把“只修改中间几百字节”的任务扩大成一次整列读写。blobopen() 把访问对象收窄到某一行、某一列的 BLOB,调用方需要提供表名、列名和 rowid;name 参数则用于选择数据库名,默认是 main。

这不是一个通用的二进制流服务。它打开的是已经存在的 BLOB,而且长度固定;如果目标表是 WITHOUT ROWID 表,官方接口会拒绝这类定位方式。也就是说,设计表结构时要先确认有可用的整数 rowid,或者把局部更新改成普通的整列写回。

用 zeroblob 先预留固定空间

下面的示例把可变内容问题拆成两步:插入时决定最大字节数,更新时只覆盖已分配的区间。示例中的注释说明每个边界,但不在文章中宣称已经运行过。

import sqlite3

connection = sqlite3.connect(":memory:")
connection.execute("CREATE TABLE asset (id INTEGER PRIMARY KEY, payload BLOB NOT NULL)")

# 先分配 16 个字节,后续 Blob 句柄只能在这 16 个字节内修改。
cursor = connection.execute(
    "INSERT INTO asset(payload) VALUES (zeroblob(?))",
    (16,),
)
rowid = cursor.lastrowid
connection.commit()  # 让示例的行在后续 Blob 打开前明确落到连接中

zeroblob(?) 只负责产生指定长度的零字节值。它没有把长度交给 blobopen() 去猜,因此后续写入是否越界可以在表设计和调用参数两边同时控制。

打开句柄并按偏移覆盖内容

拿到 rowid 后,就可以用 blobopen() 取得句柄。Blob 具有文件对象式的 read()、seek()、tell() 和 write(),也可以通过索引或切片访问单个字节。下面只覆盖前 6 个字节,再从开头读取固定长度结果。

# 打开已有行中的 payload;readonly=False 才允许写入。
with connection.blobopen("asset", "payload", rowid, readonly=False) as blob:
    blob.write(b"PYTHON")  # 写入 6 个字节,不会自动改变 BLOB 总长度
    blob.seek(0)            # 把读取位置移回开头,便于检查局部更新
    prefix = blob.read(6)

print(prefix)  # 这里的输出只是示例预期,不是运行截图或线上证据
connection.close()  # 关闭数据库连接,避免把连接生命周期交给垃圾回收

关键点是“行已经存在、列确实是 BLOB、偏移范围属于已分配长度”。如果写入数据比剩余空间更长,write() 不会替你扩容,而是报告越界;这正是固定长度模型给调用方的保护。

把只读、写入和资源关闭分开

读取二进制内容时,建议显式使用 readonly=True,让调用意图在代码层可见。写入任务则保留默认的可写句柄,并把句柄放在 with 代码块中。Blob 支持上下文管理器,离开代码块时会关闭句柄,即使读取或写入抛出异常也能减少泄漏风险。

def read_header(connection, rowid, size=6):
    # readonly=True 防止“只读检查”意外修改数据库中的二进制内容。
    with connection.blobopen("asset", "payload", rowid, readonly=True) as blob:
        # 读取前先限制长度,避免把整列内容无意间搬到内存。
        return blob.read(size)


def replace_prefix(connection, rowid, prefix):
    # 写入前检查长度,给调用方返回清晰的参数错误,而不是依赖越界异常。
    if len(prefix) > 16:
        raise ValueError("prefix 超过预留的 BLOB 长度")
    with connection.blobopen("asset", "payload", rowid) as blob:
        # 从零偏移开始覆盖,未覆盖的尾部字节保持原值。
        blob.seek(0)
        blob.write(prefix)
Python sqlite3 Blob 的 readonly、seek、read、write、固定长度与上下文管理边界关系原创说明图
图2:只读读取、局部写入、固定长度和句柄关闭之间的边界关系图,不是运行截图。

哪些情况不适合用 blobopen

需求更合适的判断原因
只覆盖固定范围使用 blobopen()能按偏移访问已有 BLOB,避免整列搬运
需要增大或缩小内容普通 UPDATE 或重新分配 BLOBBlob.write() 不改变长度
表没有 rowid调整定位方式或整列写回blobopen() 依赖行定位,WITHOUT ROWID 表不适用
跨数据库复制考虑备份或序列化接口Blob 句柄只解决单个 BLOB 的局部访问

可以把它理解成“对固定长度二进制字段开一个受限窗口”:窗口内可以读取、定位和覆盖,窗口外不负责扩容,也不负责替你决定事务、并发和业务版本冲突。把这些职责分开,代码会比把整个 BLOB 当成普通字符串反复替换更容易维护。

常见问题

blobopen 能不能直接创建一个新 BLOB?

不能。它打开的是已有行中的 BLOB。需要新内容时,先插入 zeroblob(n) 或普通二进制值,再根据返回的 rowid 打开句柄。

为什么 write 写少量字节后尾部还在?

因为写入是覆盖,不是截断。未触及的尾部仍属于原来的固定长度 BLOB;如果业务要求新内容覆盖全部字段,就应该明确清零或改用整列更新。

readonly=True 能解决并发冲突吗?

它只表达句柄是否允许写入,不等于完整的并发控制方案。事务边界、锁等待和业务版本判断仍需要由连接与应用层单独设计。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Python sqlite3.complete_statement 判断多语句输入完整性的处理方案Python sqlite3.complete_statement 判断多语句输入完整性的处理方案
上一篇
Python sqlite3.complete_statement 判断多语句输入完整性的处理方案
Python sqlite3.Connection.setlimit 怎样限制单个连接的资源上限
下一篇
Python sqlite3.Connection.setlimit 怎样限制单个连接的资源上限
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1057次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1057次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1222次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1163次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1005次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码