单线程高并发I/O处理技巧

哈喽！大家好，很高兴又见面了，我是golang学习网的一名作者，今天由我给大家带来一篇《单线程如何高效处理高并发I/O？》，本文主要会讲到等等知识点，希望大家一起学习进步，也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧！

Python单线程高并发I/O靠事件循环+非阻塞I/O+协程协作调度，非多线程；await挂起协程交还控制权，I/O就绪后恢复；CPU密集型任务需用run_in_executor避免阻塞循环。

Python 单线程能处理高并发 I/O，靠的不是“同时执行多个任务”，而是“不等”——在等待 I/O（比如网络请求、文件读写、数据库查询）时，主动把控制权交出去，去处理其他已经就绪的任务。核心机制是 事件循环 + 非阻塞 I/O + 协程协作式调度，而不是靠多线程或 CPU 并行。

非阻塞 I/O 让线程不卡在等待上

传统同步 I/O（如 requests.get()）会一直卡住线程，直到响应返回；而异步 I/O（如 aiohttp 或 asyncio.open_connection）底层使用操作系统提供的非阻塞接口（如 Linux 的 epoll、macOS 的 kqueue）。调用后立刻返回，系统会在数据就绪时通知事件循环。

• socket 设置为 non-blocking 模式，read/write 立即返回，若无数据则抛出 BlockingIOError
• 事件循环持续监控成百上千个 socket 的状态变化，只对“可读/可写”的 socket 才真正发起操作
• 没有“空转轮询”，效率远高于 while 循环检查

协程让逻辑可暂停、可恢复

Python 的 async/await 定义的是协程函数，它不是线程，也不开新栈，只是普通函数对象加了个状态机。遇到 await 时，当前协程主动挂起，把控制权还给事件循环；等 I/O 就绪、结果可用时，事件循环再唤醒它继续执行。

• await 后面必须是 Awaitable 对象（如 asyncio.Future、asyncio.Task、另一个协程）
• 挂起和恢复不涉及线程切换开销，上下文保存在协程对象内部（如局部变量存在 __code__ 和 __closure__ 中）
• 一个线程里可以轻松维持数万协程，内存占用极小（每个协程约几百字节）

事件循环统一调度，避免竞态与锁

整个异步程序运行在一个事件循环中（如 asyncio.run() 启动的默认循环），所有协程共享同一个线程、同一套变量空间。因为没有真实并发（无抢占式多任务），只要不手动调用阻塞函数（如 time.sleep()、requests.get()），就不会出现竞态条件。

• 不需要 threading.Lock，多数场景下普通变量即可安全读写
• 调度完全由程序员控制：await 是明确的让点，不是操作系统随机中断
• 调试更可预测——协程执行路径是确定的，不像多线程那样难以复现时序问题

注意：CPU 密集型任务仍会阻塞整个循环

异步 I/O 解决的是“等待慢设备”的问题，不是“计算慢”的问题。如果协程里做了大量数学运算、图像处理或正则匹配，事件循环会被独占，其他协程无法运行。

• 解决方法：用 loop.run_in_executor() 把 CPU 工作扔进线程池或进程池
• 不要在协程中调用 time.sleep()，改用 await asyncio.sleep()
• 第三方库必须提供异步接口（如 aiohttp、aiomysql），否则需包装或换库

理论要掌握，实操不能落！以上关于《单线程高并发I/O处理技巧》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！