使用tqdm跟踪文件写入进度方法

积累知识，胜过积蓄金银！毕竟在文章开发的过程中，会遇到各种各样的问题，往往都是一些细节知识点还没有掌握好而导致的，因此基础知识点的积累是很重要的。下面本文《用tqdm跟踪文件写入进度方法》，就带大家讲解一下知识点，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

本文详细介绍了如何利用Python的tqdm库来可视化文件操作的进度，特别是针对批量文件处理场景。我们将探讨tqdm在追踪文件写入或处理完成情况时的应用，而非单一写入操作的字节级进度。通过自定义迭代器函数，我们可以有效地聚合文件夹内所有文件的总大小，并以专业、清晰的方式展示处理进度，从而提升用户体验和脚本的实用性。

1. 理解进度条的需求与tqdm的适用性

在进行文件操作，尤其是批量处理文件（如加密、解密、压缩、传输等）时，用户通常希望看到操作的实时进度，而非仅仅等待程序完成。tqdm是一个功能强大且易于使用的Python库，能够为循环迭代器添加智能进度条。

原始需求是追踪file.write()操作的进度。然而，需要明确的是，Python的file.write(data)通常是一个原子操作，它一次性将所有数据写入文件。tqdm本身无法在单次write()调用内部追踪字节级别的进度。tqdm更适用于迭代过程，即在每次迭代完成时更新进度。

因此，对于文件操作的进度追踪，更实际和常见的做法是：

1. 追踪多文件的整体处理进度：当处理一个文件夹中的多个文件时，每完成一个文件的处理，就更新一次进度条，累计已处理的文件大小。
2. 追踪大文件的分块写入进度：如果一个文件非常大，且其写入操作可以被分解为多次小块写入，那么可以在每次小块写入后更新进度条。

本文将主要聚焦于第一种场景，即如何利用tqdm有效追踪文件夹内多个文件的处理进度。

2. 构建文件迭代器以获取总大小

为了使用tqdm显示总进度，我们首先需要知道所有待处理文件的总大小。这可以通过遍历目标文件夹及其子文件夹中的所有文件来实现。

import os
import time
from tqdm import tqdm

def iter_files(folder):
    """
    递归遍历指定文件夹中的所有文件，并生成每个文件的路径和大小。

    Args:
        folder (str): 待遍历的根文件夹路径。

    Yields:
        tuple: (文件大小, 文件路径)
    """
    for root, _, files in os.walk(folder):
        for file in files:
            file_path = os.path.join(root, file)
            # 尝试获取文件大小，如果遇到权限问题或其他错误则跳过
            try:
                file_size = os.path.getsize(file_path)
                yield file_size, file_path
            except OSError as e:
                print(f"警告: 无法访问文件 {file_path}，已跳过。错误: {e}")
                continue

iter_files函数是一个生成器，它会逐个返回文件的大小和完整路径。这不仅可以用于计算总大小，也可以作为后续处理的输入。

3. 集成tqdm实现进度追踪

有了获取文件大小的迭代器，我们就可以将其与tqdm结合，创建一个能够追踪整体进度的迭代器。

def iter_with_progress(folder):
    """
    为指定文件夹中的文件处理过程添加tqdm进度条。

    Args:
        folder (str): 待处理的根文件夹路径。

    Yields:
        tuple: (完成回调函数, 文件大小, 文件路径)
    """
    # 第一次遍历，计算所有文件的总大小
    all_files_data = list(iter_files(folder))
    total_size = sum(s for s, _ in all_files_data)

    # 初始化tqdm进度条
    # unit='B' 表示单位是字节
    # total=total_size 设置总进度为所有文件总大小
    # unit_scale=True 自动缩放单位 (B, KB, MB, GB)
    # unit_divisor=1024 使用1024作为单位除数
    progress = tqdm(unit='B',
                    total=total_size,
                    unit_scale=True,
                    unit_divisor=1024,
                    desc="处理文件") # 进度条描述

    for size, file_path in all_files_data:
        # 定义一个lambda函数作为“完成回调”，用于在文件处理完成后更新进度条
        # 每次调用done()，进度条就会增加当前文件的大小
        done = lambda current_file_size=size: progress.update(current_file_size)
        yield done, size, file_path

    # 确保在所有文件处理完毕后关闭进度条
    progress.close()

iter_with_progress函数是核心。它首先通过调用iter_files获取所有文件信息并计算出总大小，然后用这个总大小初始化tqdm进度条。最关键的是，它在每次迭代时返回一个done回调函数。这个done函数是一个闭包，它捕获了当前文件的大小。当外部代码完成对当前文件的处理后，调用done()即可更新进度条。

4. 实际应用示例

现在，我们可以将上述函数应用于一个模拟的文件处理场景，例如文件加密或解密。

# 假设我们有一个名为 'test_data' 的文件夹，里面包含一些文件
# 在实际使用中，请替换为您的目标文件夹路径
# 例如: target_folder = 'C:\\Users\\YourUser\\Documents\\MyFiles'
# 为了演示，我们创建一个虚拟文件夹和文件
if not os.path.exists('test_data'):
    os.makedirs('test_data')
    with open('test_data/file1.txt', 'w') as f:
        f.write('This is file 1 content.' * 100)
    with open('test_data/file2.bin', 'wb') as f:
        f.write(os.urandom(5000)) # 5KB random data
    with open('test_data/file3.log', 'w') as f:
        f.write('Log entry\n' * 200)

target_folder = 'test_data' # 替换为你的目标文件夹

print(f"开始处理文件夹: {target_folder}")

# 遍历并处理文件
for done_callback, file_size, file_path in iter_with_progress(target_folder):
    print(f"\n正在模拟处理文件: {os.path.basename(file_path)} ({file_size} 字节)")

    # 在这里执行您的实际文件操作，例如加密、解密、复制等
    # 为了演示，我们用 time.sleep() 模拟耗时操作
    time.sleep(file_size / 10000.0) # 根据文件大小模拟处理时间

    # 当文件处理完成后，调用 done_callback 来更新进度条
    done_callback() 
    print(f"文件 {os.path.basename(file_path)} 处理完成。")

print("\n所有文件处理完毕！")

# 清理演示文件 (可选)
# import shutil
# shutil.rmtree('test_data')

在这个示例中，iter_with_progress返回的done_callback在每次文件处理完成后被调用。这使得tqdm能够精确地根据已处理文件的总大小来更新进度条，给用户提供清晰的整体进度反馈。

5. 注意事项与进阶

• 权限问题：在遍历文件时，可能会遇到权限不足导致无法访问文件的情况。在iter_files函数中，我们已经添加了try-except块来捕获OSError并跳过此类文件，同时打印警告信息。

• 内存消耗：如果文件夹中包含数百万个小文件，list(iter_files(folder))可能会消耗大量内存来存储所有文件路径和大小。对于极端情况，可以考虑分批处理或更复杂的迭代策略。

• 单文件内部进度：如前所述，如果需要追踪单个大文件的字节级写入进度（例如，将一个大文件分块写入），你需要修改你的文件写入逻辑，将其分解为多次小块写入，并在每次小块写入后手动调用pbar.update(chunk_size)。例如：

  # 示例：追踪大文件分块写入进度
  # 假设 b85_bytes 是一个非常大的字节串
  # output_file 是一个已打开的文件对象
  
  chunk_size = 1024 * 1024 # 1MB
  total_bytes = len(b85_bytes)
  
  with tqdm(total=total_bytes, unit='B', unit_scale=True, desc="写入文件") as pbar:
      for i in range(0, total_bytes, chunk_size):
          chunk = b85_bytes[i:i + chunk_size]
          output_file.write(chunk)
          pbar.update(len(chunk))

  这种方式更符合原始问题中希望追踪output_file.write(b85_bytes)进度的意图，但它要求你能够将待写入的数据分块。如果b85encode一次性返回所有数据，那么你需要手动将其分块后迭代写入。

6. 总结

tqdm是一个强大的工具，可以显著提升命令行应用程序的用户体验。通过本文介绍的方法，你可以有效地为批量文件处理任务添加专业的进度条。核心思想是计算所有待处理项的总量，并确保在每次处理完成后更新tqdm实例。理解tqdm的工作原理以及其在不同场景下的适用性，是编写高效且用户友好的Python脚本的关键。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《使用tqdm跟踪文件写入进度方法》文章吧，也可关注golang学习网公众号了解相关技术文章。