当前位置：首页 > 文章列表 > 文章 > 前端 > HTML数据转PandasDataFrame方法详解

HTML数据转PandasDataFrame方法详解

2025-09-26 15:36:36 0浏览收藏

本教程针对网页数据抓取与分析中常见的HTML解析难题，提供了一套实用的解决方案。当遇到非标准表格结构的HTML，特别是嵌套在div标签中的键值对信息时，传统方法往往难以奏效。本文将详细讲解如何结合Beautiful Soup库与Pandas库，巧妙地从复杂的HTML div结构中提取非结构化的文本信息，并通过自定义分隔符将其转化为规范的键值对。随后，我们将这些结构化数据导入Pandas DataFrame，通过转置、重命名等操作，最终生成符合分析需求的整洁表格数据，助力高效的数据分析与挖掘。文章包含完整代码示例，注意事项以及扩展，助力提升数据提取效率。

将HTML结构化数据转换为Pandas DataFrame教程

本教程详细介绍了如何利用Beautiful Soup库解析复杂的HTML div结构，提取出非结构化的文本信息，并通过巧妙的分隔符处理将其转化为键值对。随后，我们将这些结构化数据导入Pandas DataFrame，并通过转置和重命名操作，最终生成一个符合分析需求的整洁表格数据。

1. 引言与问题背景

在数据抓取和分析过程中，我们经常会遇到需要从HTML页面中提取结构化信息的情况。虽然许多HTML表格可以直接使用Pandas的read_html函数进行解析，但对于非标准表格结构，特别是嵌套在div标签中的键值对信息，则需要更精细的解析方法。本教程将展示如何结合Beautiful Soup和Pandas，将一个包含多个div标签的HTML片段转换为一个规整的Pandas DataFrame，以便后续的数据分析。

假设我们有以下HTML片段，其中包含公司的一些基本信息：

<div class="companyProfileHeader">
    <div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a&lt;eq_market_cap;1">Life Sciences Tools &amp; Services</a></div>
    <div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a&lt;eq_market_cap;1">Healthcare</a></div>
    <div>Employees<p class="bold">17000</p></div>
    <div>Equity Type<p class="bold">ORD</p></div>
</div>

我们的目标是将其转换为如下Pandas DataFrame：

+--------------------------------+------------+-----------+-------------+
|            Industry            |   Sector   | Employees | Equity Type |
+--------------------------------+------------+-----------+-------------+
| Life Sciences Tools & Services | Healthcare |     17000 | ORD         |
+--------------------------------+------------+-----------+-------------+

2. 准备工作

在开始之前，请确保您的Python环境中已安装beautifulsoup4和pandas库。如果尚未安装，可以使用pip进行安装：

pip install beautifulsoup4 pandas

3. 使用Beautiful Soup解析HTML

首先，我们需要使用Beautiful Soup解析HTML字符串，并定位到包含目标信息的父div元素。

from bs4 import BeautifulSoup
import pandas as pd

html_content = """
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a&lt;eq_market_cap;1">Life Sciences Tools &amp; Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a&lt;eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>
"""

# 创建Beautiful Soup对象
soup = BeautifulSoup(html_content, "html.parser")

# 查找包含公司信息的父div
company_profile_div = soup.find("div", class_="companyProfileHeader")

# 提取每个子div中的文本信息
# 使用get_text(strip=True, separator="~")方法，可以在提取文本时自动去除空白，
# 并用指定的分隔符连接不同标签内的文本。这对于区分键和值非常关键。
extracted_texts = [
    div.get_text(strip=True, separator="~")
    for div in company_profile_div.find_all("div")
]

print("原始提取文本列表:", extracted_texts)
# 输出: ['Industry~Life Sciences Tools & Services', 'Sector~Healthcare', 'Employees~17000', 'Equity Type~ORD']

在上述代码中，get_text(strip=True, separator="~")是关键。它能够将每个div标签内的所有文本内容（包括子标签如和

中的文本）连接起来，并用~符号分隔。这样，我们就能得到一个清晰的"键~值"字符串。

接下来，我们需要将这些"键~值"字符串分割成独立的键和值对。

# 将每个字符串按"~"分割成键值对
final_lst = [item.split("~") for item in extracted_texts]

print("分割后的键值对列表:", final_lst)
# 输出: [['Industry', 'Life Sciences Tools & Services'], ['Sector', 'Healthcare'], ['Employees', '17000'], ['Equity Type', 'ORD']]

现在，final_lst是一个列表的列表，每个子列表包含一个键和其对应的值。

4. 转换为Pandas DataFrame

有了final_lst，我们可以将其轻松转换为Pandas DataFrame。然而，直接转换会得到一个两列的DataFrame，其中第一列是键，第二列是值。为了得到期望的输出格式（键作为列名，值作为一行数据），我们需要进行一些转置和重命名操作。

# 1. 将列表转换为DataFrame
# 此时DataFrame的行是键值对，列是索引0和1
df = pd.DataFrame(final_lst)
print("\n初始DataFrame:\n", df)
# 输出:
#          0                               1
# 0  Industry  Life Sciences Tools & Services
# 1    Sector                      Healthcare
# 2 Employees                           17000
# 3 Equity Type                             ORD

# 2. 转置DataFrame
# 将原来的行变为列，列变为行。现在第一行包含所有键，第二行包含所有值。
df = df.transpose()
print("\n转置后的DataFrame:\n", df)
# 输出:
#           0           1          2            3
# 0  Industry      Sector  Employees  Equity Type
# 1  Life Sciences Tools & Services  Healthcare      17000          ORD

# 3. 将第一行设置为列名
# df.iloc[0] 获取DataFrame的第一行作为新的列名
df.rename(columns=df.iloc[0], inplace=True)
print("\n设置列名后的DataFrame:\n", df)
# 输出:
#          Industry      Sector Employees Equity Type
# 0  Industry      Sector Employees Equity Type
# 1  Life Sciences Tools & Services  Healthcare     17000         ORD

# 4. 删除作为列名的第一行
# 因为第一行现在已经作为列名，其数据本身已无用，需要删除。
df.drop(df.index[0], inplace=True)
print("\n最终DataFrame:\n", df)
# 输出:
#                        Industry    Sector Employees Equity Type
# 1  Life Sciences Tools & Services  Healthcare     17000         ORD

通过这四个步骤，我们成功地将HTML中的结构化信息转换为一个整洁、易于分析的Pandas DataFrame。

5. 完整代码示例

from bs4 import BeautifulSoup
import pandas as pd

# 待解析的HTML内容
html_content = """
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a&lt;eq_market_cap;1">Life Sciences Tools &amp; Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a&lt;eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>
"""

# 1. 使用Beautiful Soup解析HTML并提取文本
soup = BeautifulSoup(html_content, "html.parser")
company_profile_div = soup.find("div", class_="companyProfileHeader")

if company_profile_div:
    # 提取每个子div中的文本，并用"~"分隔键和值
    extracted_texts = [
        div.get_text(strip=True, separator="~")
        for div in company_profile_div.find_all("div")
    ]

    # 将"键~值"字符串分割成独立的键和值对
    final_lst = [item.split("~") for item in extracted_texts]

    # 2. 转换为Pandas DataFrame
    df = pd.DataFrame(final_lst)

    # 3. 转置DataFrame，使键成为一行，值成为另一行
    df = df.transpose()

    # 4. 将第一行（包含键）设置为列名
    df.rename(columns=df.iloc[0], inplace=True)

    # 5. 删除作为列名的第一行
    df.drop(df.index[0], inplace=True)

    print("最终生成的DataFrame:")
    print(df)
else:
    print("未找到指定的HTML元素 'companyProfileHeader'。")