当前位置:首页 > 文章列表 > 文章 > python教程 > Python sqlite3.blobopen 怎样读写 SQLite 的大二进制字段

Python sqlite3.blobopen 怎样读写 SQLite 的大二进制字段

来源:17golang原创 2026-11-02 11:58:41 0浏览 收藏

如果 SQLite 表里已经有一条 BLOB 记录,Python 不必先把整列读成一个大 bytes 再整体回写。从 Python 3.11 起,sqlite3.Connection.blobopen() 可以打开已有 BLOB,返回一个类似文件的 Blob 句柄,用 read()、write()、seek() 处理局部数据。关键限制是:Blob 句柄只能读写既有容量,不能在句柄里扩容。

官方文档:https://docs.python.org/3/library/sqlite3.html#sqlite3.Connection.blobopen

实际使用时把动作拆成三层:先用 SQL 创建带固定容量的 BLOB,再用表名、列名和 rowid 打开它,最后在 Blob 关闭后提交连接事务。这样既能避免一次性搬运大字段,也能看清失败和资源释放的边界。

blobopen 先解决什么问题

blobopen(table, column, rowid, readonly=False, name='main') 的定位信息不是查询条件,而是一个已经存在的 BLOB 地址。table 是表名,column 是 BLOB 列,rowid 是目标行的整数行号;需要读取时可以把 readonly 设为 True,需要写入时保留默认的可写句柄。

sqlite3 blobopen 的表名列名 rowid 和 Blob 句柄关系说明图
图1:blobopen 参数定位说明图,展示如何从表、列和 rowid 找到已有 BLOB。

这个 API 不负责创建行,也不负责改变字段类型。若目标行不存在,或者表是 WITHOUT ROWID 表,打开动作就不符合它的定位模型。可以把它理解为“拿到已有 BLOB 的文件句柄”,而不是“用一个新 API 插入 BLOB”。

先用 zeroblob 预留固定容量

说明 zeroblob 预留固定容量、Blob 句柄按偏移读写、commit 和 close 的边界关系。
图2:固定容量与事务边界说明图,展示局部读写、提交和句柄关闭的关系。

因为 Blob 的长度不能改变,写入前要先决定容量。SQLite 提供的 zeroblob(N) 可以在插入记录时预留 N 个零字节。下面只负责创建一条可定位的记录,并保存返回的 rowid:

import sqlite3

con = sqlite3.connect("assets.db")
try:
    # 先准备一张带固定容量 BLOB 的表,rowid 用来定位后续句柄。
    con.execute("""
        CREATE TABLE IF NOT EXISTS media (
            name TEXT NOT NULL,
            payload BLOB NOT NULL
        )
    """)
    cursor = con.execute(
        "INSERT INTO media(name, payload) VALUES(?, zeroblob(?))",
        ("manual.bin", 1024 * 1024),  # 为示例预留 1 MiB,容量由 SQL 决定。
    )
    rowid = cursor.lastrowid
    con.commit()  # 先提交记录,之后 blobopen 才能定位到它。
finally:
    con.close()  # 连接不再使用时显式关闭,避免资源悬挂。

这里的 rowid 只是示例变量,真实项目应把它保存到业务记录或随任务传递。若业务需要更大的文件,先选择合适的固定容量;不要指望后面的 Blob.write() 自动把字段变长。

按偏移读取或写入局部内容

拿到行号后,可以让 blobopen() 返回可写或只读句柄。seek(offset) 移动当前位置,read(length) 读取一段,write(data) 则覆盖当前位置开始的字节。下面的例子把两种方向放在一起,便于比较:

import sqlite3

con = sqlite3.connect("assets.db")
try:
    rowid = 1  # 示例行号;生产代码应使用实际 INSERT 返回的 rowid。

    # 可写句柄只能覆盖已经预留的范围,不能改变 BLOB 总长度。
    with con.blobopen("media", "payload", rowid, readonly=False) as blob:
        blob.seek(128)  # 把写入位置移动到已有 BLOB 的偏移 128。
        blob.write(b"header-v2")  # 写入长度不能超出固定容量。

    # 只读句柄适合读取局部区间,避免把整个大字段一次性载入内存。
    with con.blobopen("media", "payload", rowid, readonly=True) as blob:
        blob.seek(128)  # 读取同一位置,验证需要的局部内容。
        chunk = blob.read(9)

    con.commit()  # 写句柄关闭后再提交连接事务。
finally:
    con.close()  # 连接关闭前,确保上面的 Blob 上下文已经退出。

在这个模型里,readonly=True 是权限意图的明确表达;不要为了统一代码而把所有读取都打开成可写。局部读取适合索引、分片或固定格式记录,但它不会自动替你做并发协调,业务仍需决定什么时候提交和怎样处理写入冲突。

把提交和关闭放在正确边界

Blob 支持上下文管理器,因此优先使用 with con.blobopen(...) as blob。退出上下文后句柄会关闭,后续再访问它会抛出错误。连接本身的事务提交仍应由连接代码负责,尤其是可写句柄退出后再调用 commit(),边界更容易读懂。

import sqlite3

def write_slice(database, rowid, offset, data):
    con = sqlite3.connect(database)
    try:
        # 让异常保留给调用方,调用方可按任务类型决定重试或记录。
        with con.blobopen("media", "payload", rowid, readonly=False) as blob:
            blob.seek(offset)
            blob.write(data)
        con.commit()  # Blob 关闭后提交本次连接事务。
    except (sqlite3.Error, ValueError):
        con.rollback()  # 打开或写入失败时撤销当前连接的未提交变更。
        raise
    finally:
        con.close()  # 无论成功失败都释放连接。

try:
    write_slice("assets.db", 1, 256, b"chunk")
except sqlite3.Error as exc:
    print(f"BLOB 写入失败:{exc}")  # 这里只记录错误,不伪造写入成功。

异常处理的重点是区分“句柄打开失败”和“写入后提交失败”。例如表名、列名或 rowid 不正确时,blobopen() 可能直接抛出 SQLite 异常;如果写入超过容量,也不应把它包装成成功。这里让异常继续向上抛出,调用方才能决定重试、告警或换用新的记录。

版本和容量边界要先确认

问题结论
从哪个版本开始可用sqlite3.Connection.blobopen 和 sqlite3.Blob 从 Python 3.11 加入。
能否在 Blob 句柄中扩容不能。容量由已有 BLOB 决定,需要回到 SQL 重新创建或替换固定大小字段。
哪些表不能这样打开官方文档明确指出,尝试打开 WITHOUT ROWID 表中的 BLOB 会产生 OperationalError。
什么时候用只读句柄只读访问或分片读取时使用 readonly=True,让代码意图和权限边界更明确。

如果你的数据长度经常变化,先重新评估表结构和容量策略;blobopen 更适合已有记录、固定容量、需要局部读写的场景。它解决的是大字段搬运方式,不是通用文件系统,也不会替代事务设计。

常见问题

blobopen 能直接打开不存在的 BLOB 吗?

不能。先插入记录并用 zeroblob(N) 预留容量,再用 table、column 和 rowid 打开已有 BLOB。

为什么写入成功后还要 commit?

Blob 句柄属于连接事务。可写句柄关闭只表示句柄资源已释放,连接层仍应按事务策略提交或回滚。

怎样改变 BLOB 的大小?

不要在 Blob 对象上扩容。回到 SQL 层重新写入合适大小的 BLOB,或设计新的固定容量记录。

读取大字段一定要用 blobopen 吗?

不一定。小字段直接查询更简单;当字段较大、只需局部区间或希望分段处理时,Blob 句柄才更有价值。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Python sqlite3.Row 怎样按列名读取查询结果Python sqlite3.Row 怎样按列名读取查询结果
上一篇
Python sqlite3.Row 怎样按列名读取查询结果
Python dataclasses.field 怎样声明不可共享的默认值
下一篇
Python dataclasses.field 怎样声明不可共享的默认值
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    843次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    843次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    925次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    900次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    729次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码