当前位置:首页 > 文章列表 > 文章 > python教程 > memoryview零拷贝切片操作详解

memoryview零拷贝切片操作详解

2026-02-08 23:32:36 0浏览 收藏

一分耕耘,一分收获!既然打开了这篇文章《memoryview 实现 bytes/bytearray 零拷贝切片操作的方法如下:创建 memoryview 对象:data = b"hello world" mv = memoryview(data)通过索引进行切片(零拷贝):slice_mv = mv[1:4] # 获取 'ell' 的切片切片后的 memoryview 与原数据共享内存,不复制数据。注意事项:memoryview 支持只读访问,不能修改原始数据切片操作不会创建新对象,而是返回新的 memoryview 对象可以通过 obj 属性获取原始对象适用于大体积二进制数据处理,避免内存复制开销示例:data = bytearray(b"abcdef") mv = memoryview(data) sub_mv = mv[2:5] print(sub_mv.tobytes()) # 输出 b'cde'这种零拷贝特性使 memoryview 成为处理二进制数据时的高效选择。》,就坚持看下去吧!文中内容包含等等知识点...希望你能在阅读本文后,能真真实实学到知识或者帮你解决心中的疑惑,也欢迎大佬或者新人朋友们多留言评论,多给建议!谢谢!

memoryview切片不拷贝数据,因其仅持原内存地址与描述,切片仅调整指针偏移和长度;bytes切片则必拷贝。

memoryview 如何实现 bytes/bytearray 的零拷贝切片操作

memoryview 切片为什么不会拷贝数据

因为 memoryview 本身不持有数据,只持有一块已分配内存的地址、长度和格式描述。当你对它切片(比如 m[10:20]),Python 返回的是一个新的 memoryview 对象,指向原缓冲区的子区域,底层 Py_buffer 结构里的 buf 指针偏移、len 重设,没有 memcpy 发生。

这和 bytes[10:20] 有本质区别:后者一定返回新 bytes 对象,触发完整拷贝。

验证方式:用 id()m.obj is original_obj 确认切片后的 memoryview 仍绑定原始对象;修改原 bytearray 内容,切片视图会立刻反映变化。

必须用 bytearray 才能安全写入切片视图

bytes 是不可变的,即使你用 memoryview 包装它,也无法通过切片视图修改内容——尝试赋值会抛 TypeError: cannot modify read-only memory

bytearray 是可写的缓冲对象,它的 memoryview 支持读写。只要原始对象没被释放或 resize,所有基于它的 memoryview 切片都可直接写入:

data = bytearray(b'hello world')
m = memoryview(data)
sub = m[6:11]  # b'world'
sub[0] = ord('W')  # ✅ 成功:data 变成 b'hello World'
  • 切片得到的 memoryview 与原对象共享底层存储,写入即生效
  • 若原 bytearray 后续调用 .extend().resize(),可能触发内存重分配,原有 memoryview 会自动失效(访问时抛 ValueError: memoryview has been detached
  • bytes 包装的 memoryview 只能用于只读场景,如解析协议头、快速比对字节段

切片后传参给 C 扩展或 socket.send() 的注意事项

很多底层 API(如 socket.send()struct.unpack_from()、Cython 中的 char[:])接受 memoryview,且明确支持零拷贝传递。但要注意:

  • 函数是否声明接受 buffer protocol 对象(查文档看参数类型是否写 “buffer-like” 或 “bytes-like”)
  • socket.send(sub) 是安全的,内核直接从用户态内存读取,不经过 Python 层拷贝
  • 如果函数内部做了 bytes(obj) 转换,就会触发拷贝——得看其实现,不能只看接口签名
  • 跨线程传递 memoryview 切片需确保原始 bytearray 生命周期足够长,否则可能访问已释放内存(虽 Python 通常会报错,但不是绝对安全)

容易忽略的边界问题:非连续内存与 format 不匹配

memoryview 切片在底层依赖 Py_bufferstridessuboffsets。如果原始对象是非连续布局(如 NumPy 的 strided array),切片可能无法生成有效的子视图,抛 BufferError: memoryview: underlying buffer is not C-contiguous

对纯 bytes/bytearray 来说这不是问题(它们总是 C 连续),但如果你混用其他支持 buffer protocol 的类型(如某些 ctypes 数组、自定义类),就得检查:

  • m.c_contiguousm.f_contiguous 属性判断连续性
  • 切片后 m.format 保持为 'B'(单字节无符号整数),若原始 view 是 'i'(int32),切片可能因对齐失败而报错
  • 避免对 memoryview 做“越界但未崩溃”的切片:如 m[1000:] 在原长 500 时返回空视图,看似安全,但后续若误当成有效数据用,逻辑就错了

零拷贝的代价是更紧的生命周期耦合和更少的容错空间——切片本身不危险,危险的是忘了谁在真正管理那块内存。

今天关于《memoryview零拷贝切片操作详解》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于的内容请关注golang学习网公众号!

Windows亮度自动调节无法关闭解决方法Windows亮度自动调节无法关闭解决方法
上一篇
Windows亮度自动调节无法关闭解决方法
小红书电脑版隐私设置教程
下一篇
小红书电脑版隐私设置教程
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • ChatExcel酷表:告别Excel难题,北大团队AI助手助您轻松处理数据
    ChatExcel酷表
    ChatExcel酷表是由北京大学团队打造的Excel聊天机器人,用自然语言操控表格,简化数据处理,告别繁琐操作,提升工作效率!适用于学生、上班族及政府人员。
    3946次使用
  • Any绘本:开源免费AI绘本创作工具深度解析
    Any绘本
    探索Any绘本(anypicturebook.com/zh),一款开源免费的AI绘本创作工具,基于Google Gemini与Flux AI模型,让您轻松创作个性化绘本。适用于家庭、教育、创作等多种场景,零门槛,高自由度,技术透明,本地可控。
    4275次使用
  • 可赞AI:AI驱动办公可视化智能工具,一键高效生成文档图表脑图
    可赞AI
    可赞AI,AI驱动的办公可视化智能工具,助您轻松实现文本与可视化元素高效转化。无论是智能文档生成、多格式文本解析,还是一键生成专业图表、脑图、知识卡片,可赞AI都能让信息处理更清晰高效。覆盖数据汇报、会议纪要、内容营销等全场景,大幅提升办公效率,降低专业门槛,是您提升工作效率的得力助手。
    4157次使用
  • 星月写作:AI网文创作神器,助力爆款小说速成
    星月写作
    星月写作是国内首款聚焦中文网络小说创作的AI辅助工具,解决网文作者从构思到变现的全流程痛点。AI扫榜、专属模板、全链路适配,助力新人快速上手,资深作者效率倍增。
    5407次使用
  • MagicLight.ai:叙事驱动AI动画视频创作平台 | 高效生成专业级故事动画
    MagicLight
    MagicLight.ai是全球首款叙事驱动型AI动画视频创作平台,专注于解决从故事想法到完整动画的全流程痛点。它通过自研AI模型,保障角色、风格、场景高度一致性,让零动画经验者也能高效产出专业级叙事内容。广泛适用于独立创作者、动画工作室、教育机构及企业营销,助您轻松实现创意落地与商业化。
    4529次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码