Map与Partial循环异常修复方法

“纵有疾风来，人生不言弃”，这句话送给正在学习文章的朋友们，也希望在阅读本文《Map与Partial后For循环异常修复指南》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新文章相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

本文针对在使用 Map 函数和 Partial 方法结合 ThreadPoolExecutor 时，for 循环仅处理第一行数据的问题，进行了深入分析和问题定位。通过修改循环的迭代方式，从直接遍历 DataFrame 列改为使用 itertuples 方法迭代 DataFrame 行，从而有效地解决了该问题，并提供了相应的代码示例和注意事项。

在使用 Map 函数和 Partial 方法处理 DataFrame 数据时，如果结合 ThreadPoolExecutor 使用，可能会遇到 for 循环只处理 DataFrame 的第一行数据就停止的问题。这通常是由于在循环中不正确地访问 DataFrame 的数据导致的。下面我们将详细介绍如何解决这个问题。

问题分析

在使用 enumerate 迭代 DataFrame 的列时，实际上迭代的是 DataFrame 的列名，而不是 DataFrame 的行。因此，在循环体内部访问 DataFrame 的数据时，会出现索引错误，导致循环提前结束。

例如，以下代码：

def get_the_text(_df,_firms:list,_link_column:str):
  '''
  发送请求以接收文章文本

  参数
  ----------
  _df : DataFrame

  返回
  -------
  包含文章文本的 DataFrame
  '''  
  _df.reset_index(inplace=True)
  print(_df)
  for k,link in enumerate(_df[[f'{_link_column}']]):
        print(k,'\n',_df.loc[k,f'{_link_column}'])
        if link:
            website_text=list()
            # print(link,'\n','K:',k)         
            try:                                            
                page_status_code,page_content,page_url =  send_two_requests(_df.loc[k,f'{_link_column}']) 
                ......
                .....
                ...
                ..
                .

在上述代码中，enumerate(_df[[f'{_link_column}']]) 迭代的是 _df[[f'{_link_column}']] 这个 DataFrame 的列名，而不是 DataFrame 的行数据。因此，在循环内部使用 _df.loc[k, f'{_link_column}'] 访问数据时，k 的值实际上是列名的索引，而不是行索引，从而导致访问错误。

解决方案

要解决这个问题，可以使用 itertuples 方法来迭代 DataFrame 的行。itertuples 方法会将 DataFrame 的每一行转换为一个 namedtuple 对象，可以通过属性名来访问每一列的数据。

修改后的代码如下：

def get_the_text(_df, _firms: list, _link_column: str):
    _df.reset_index(inplace=True)
    print(_df)
    for row in _df.itertuples(index=False):
        link = getattr(row, f'{_link_column}')
        print(link)
        if link:
            website_text = list()
            try:
                page_status_code, page_content, page_url = send_two_requests(link)
                # Your remaining code here...
            except Exception as e:
                print(f"Error processing link {link}: {e}")

在上述代码中，_df.itertuples(index=False) 会将 DataFrame 的每一行转换为一个 namedtuple 对象，index=False 表示不包含索引列。通过 getattr(row, f'{_link_column}') 可以访问 row 对象中名为 _link_column 的属性，即链接地址。

代码示例

以下是一个完整的代码示例，演示了如何使用 itertuples 方法来解决 for 循环只处理 DataFrame 第一行数据的问题：

import pandas as pd
from functools import partial
from concurrent.futures import ThreadPoolExecutor
import requests

def send_two_requests(url):
    """模拟发送请求，返回状态码、内容和 URL"""
    try:
        response = requests.get(url, timeout=5)
        response.raise_for_status()  # 检查是否有 HTTP 错误
        return response.status_code, response.text, response.url
    except requests.exceptions.RequestException as e:
        print(f"Request failed for {url}: {e}")
        return None, None, None

def get_the_text(_df, _firms: list, _link_column: str):
    """
    发送请求以接收文章文本

    参数
    ----------
    _df : DataFrame

    返回
    -------
    包含文章文本的 DataFrame
    """
    _df.reset_index(inplace=True)
    print(_df)
    for row in _df.itertuples(index=False):
        link = getattr(row, f'{_link_column}')
        print(link)
        if link:
            website_text = list()
            try:
                page_status_code, page_content, page_url = send_two_requests(link)
                # Your remaining code here...
                print(f"Status Code: {page_status_code}, URL: {page_url}")  # 示例输出
            except Exception as e:
                print(f"Error processing link {link}: {e}")

# 示例数据
data = {
    'index': [1366, 4767, 6140, 11898],
    'DATE': ['2014-01-12', '2014-01-12', '2014-01-12', '2014-01-12'],
    'SOURCES': ['go.com', 'bloomberg.com', 'latimes.com', 'usatoday.com'],
    'SOURCEURLS': [
        'http://abcnews.go.com/Business/wireStory/mercedes-recalls-372k-suvs-21445846',
        'http://www.bloomberg.com/news/2014-01-12/vw-patent-application-shows-in-car-gas-heater.html',
        'http://www.latimes.com/business/autos/la-fi-hy-autos-recall-mercedes-20140112-story.html',
        'http://www.usatoday.com/story/money/cars/2014/01/12/mercedes-recall/4437279/'
    ],
    'Tone': [-0.375235, -1.842752, 1.551724, 2.521008],
    'Positive_Score': [2.626642, 1.228501, 3.275862, 3.361345],
    'Negative_Score': [3.001876, 3.071253, 1.724138, 0.840336],
    'Polarity': [5.628518, 4.299754, 5.0, 4.201681],
    'Activity_Reference_Density': [22.326454, 18.918919, 22.931034, 19.327731],
    'Self_Group_Reference_Density': [0.0, 0.0, 0.344828, 0.840336],
    'Year': [2014, 2014, 2014, 2014],
    'Month': [1, 1, 1, 1],
    'Day': [12, 12, 12, 12],
    'Hour': [0, 0, 0, 0],
    'Minute': [0, 0, 0, 0],
    'Second': [0, 0, 0, 0],
    'Mentioned_firms': ['mercedes', 'vw', 'mercedes', 'mercedes'],
    'text': ['', '', '', '']
}

# 创建 DataFrame
df = pd.DataFrame(data)

# 使用 ThreadPoolExecutor
_link_column = 'SOURCEURLS'
_firms = ['mercedes', 'vw']
get_the_text_par = partial(get_the_text, _link_column=_link_column, _firms=_firms)

with ThreadPoolExecutor() as executor:
    chunk_size = len(df) if len(df) < 10 else len(df) // 10
    chunks = [df.iloc[i:i + chunk_size] for i in range(0, len(df), chunk_size)]
    result = list(executor.map(get_the_text_par, chunks))

注意事项:

• 确保安装 requests 库：pip install requests。
• 示例中的 send_two_requests 函数仅为模拟，实际应用中需要根据具体情况实现。
• 在处理网络请求时，需要考虑异常处理，例如超时、连接错误等。

总结

通过使用 itertuples 方法迭代 DataFrame 的行，可以有效地解决 for 循环只处理 DataFrame 第一行数据的问题。这种方法可以确保循环能够正确地访问 DataFrame 的每一行数据，从而实现预期的功能。同时，结合 ThreadPoolExecutor 可以提高数据处理的效率。在实际应用中，需要根据具体情况选择合适的迭代方式，并注意异常处理，以确保代码的稳定性和可靠性。

本篇关于《Map与Partial循环异常修复方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！