HTML表格转DataFrame实用教程
2025-10-08 10:54:34
0浏览
收藏
从现在开始，我们要努力学习啦！今天我给大家带来《HTML表格转DataFrame方法解析》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！
本文档旨在提供一个清晰、简洁的教程，指导读者如何使用Beautiful Soup库解析具有固定结构的HTML表格，并将提取的数据转换为Pandas DataFrame。通过示例代码和详细解释，读者将学会如何有效地从HTML中提取特定数据，并将其组织成易于分析的表格形式。
使用Beautiful Soup解析HTML表格并转换为DataFrame
在数据处理和分析中，经常需要从网页中提取数据。HTML表格是一种常见的数据呈现方式。本教程将演示如何使用Python的Beautiful Soup库解析HTML表格，并将其转换为Pandas DataFrame，方便后续的数据处理。
准备工作
首先，确保已经安装了必要的库：
pip install beautifulsoup4 pandas lxml
- beautifulsoup4: 用于解析HTML和XML文档。
- pandas: 用于数据分析，提供DataFrame数据结构。
- lxml: 一个高性能的XML和HTML解析器，Beautiful Soup可以使用它来提高解析速度。
示例HTML
假设我们有以下HTML代码，表示一个包含产品信息的表格：
html = '''
<table align="center">
<tr>
<th>Name</th>
<td>NAME A</td>
<th>Status</th>
<td class="IN PROGRESS">IN PROGRESS</td>
</tr>
<tr>
<th>Category</th>
<td COLSPAN="3">CATEGORY A</td>
</tr>
<tr>
<th>Creation date</th>
<td>13/01/23 23:00</td>
<th>End date</th>
<td></td>
</tr>
</table>
'''解析HTML并提取数据
以下代码演示了如何使用Beautiful Soup解析HTML，提取表格中的数据，并将其转换为DataFrame：
from bs4 import BeautifulSoup
import pandas as pd
html = '''
<table align="center">
<tr>
<th>Name</th>
<td>NAME A</td>
<th>Status</th>
<td class="IN PROGRESS">IN PROGRESS</td>
</tr>
<tr>
<th>Category</th>
<td COLSPAN="3">CATEGORY A</td>
</tr>
<tr>
<th>Creation date</th>
<td>13/01/23 23:00</td>
<th>End date</th>
<td></td>
</tr>
</table>
'''
soup = BeautifulSoup(html, 'lxml')
data = [{e.find_previous_sibling('th').text:e.text for e in soup.select('table td')}]
df = pd.DataFrame(data)
print(df)这段代码的执行流程如下：
- 导入库: 导入BeautifulSoup和pandas库。
- 创建Beautiful Soup对象: 使用BeautifulSoup(html, 'lxml')创建一个Beautiful Soup对象，html是HTML代码，lxml是解析器。
- 选择
标签: 使用soup.select('table td')选择表格中所有的 标签。 - 提取数据: 遍历所有的
标签，对于每个 标签，找到它的前一个兄弟节点 ，将 的文本作为键， 的文本作为值，存储到字典中。 - 创建DataFrame: 将包含字典的列表转换为DataFrame。
代码解释
- soup.select('table td'): 使用CSS选择器选择所有在
标签内的
标签。 - e.find_previous_sibling('th'): 对于每个
元素(e)，找到它紧邻的前一个 兄弟元素。 - {e.find_previous_sibling('th').text:e.text for e in soup.select('table td')}: 这是一个字典推导式，它遍历所有选中的
元素，并创建一个字典，其中键是前一个 元素的文本内容，值是当前 元素的文本内容。 - pd.DataFrame([ ... ]): 将包含一个字典的列表传递给pd.DataFrame构造函数。由于我们只有一行数据，所以需要将字典放在一个列表中。
结果
运行上述代码，将得到以下DataFrame：
Name Status Category Creation date End date 0 NAME A IN PROGRESS CATEGORY A 13/01/23 23:00
注意事项
- 确保HTML结构稳定：此方法依赖于HTML表格的固定结构。如果表格结构发生变化，代码可能需要调整。
- 处理缺失值：如果某些单元格为空，DataFrame中对应的位置将显示NaN。可以使用fillna()方法填充缺失值。
- 处理复杂的HTML结构：对于更复杂的HTML结构，可能需要使用更复杂的CSS选择器或Beautiful Soup的其他方法来提取数据。
- 错误处理：在实际应用中，需要添加错误处理机制，例如检查是否成功找到
标签，以避免程序崩溃。 总结
本教程介绍了如何使用Beautiful Soup解析HTML表格，并将提取的数据转换为Pandas DataFrame。这种方法适用于具有固定结构的HTML表格。通过掌握这些技术，可以更有效地从网页中提取数据，并进行后续的分析和处理。
好了，本文到此结束，带大家了解了《HTML表格转DataFrame实用教程》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！
JS自动部署配置详解与教程
- 上一篇
- JS自动部署配置详解与教程
- 下一篇
- PHP框架权限控制详解教程
查看更多最新文章-
- 文章 · python教程 | 24分钟前 |
- Python批量合并Excel文件的技巧
- 480浏览 收藏
-
- 文章 · python教程 | 34分钟前 |
- Pythonfun函数使用教程
- 156浏览 收藏
-
- 文章 · python教程 | 8小时前 |
- Python线程安全教程：锁与队列使用详解
- 484浏览 收藏
-
- 文章 · python教程 | 9小时前 |
- PyCharm中文设置与使用教程
- 266浏览 收藏
-
- 文章 · python教程 | 9小时前 | 字典 取值
- Python获取字典特定值的方法
- 246浏览 收藏
-
- 文章 · python教程 | 9小时前 |
- 装饰器怎么用？正确使用与执行顺序解析
- 406浏览 收藏
-
- 文章 · python教程 | 9小时前 |
- Python数据库操作：SQLiteMySQLPostgreSQL教程
- 125浏览 收藏
-
- 文章 · python教程 | 10小时前 |
- 进程池任务分配机制解析
- 212浏览 收藏
-
- 文章 · python教程 | 10小时前 |
- Python对象哈希与比较全解析
- 237浏览 收藏
-
- 文章 · python教程 | 10小时前 |
- Pythonassert断言使用技巧分享
- 120浏览 收藏
-
- 文章 · python教程 | 10小时前 |
- 带参与不带参装饰器区别及参数传递解析
- 246浏览 收藏
-
- 文章 · python教程 | 11小时前 |
- Python装饰器与闭包详解
- 208浏览 收藏
查看更多课程推荐-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
查看更多AI推荐-
- ChatExcel酷表
- ChatExcel酷表是由北京大学团队打造的Excel聊天机器人，用自然语言操控表格，简化数据处理，告别繁琐操作，提升工作效率！适用于学生、上班族及政府人员。
- 3711次使用
-
- Any绘本
- 探索Any绘本（anypicturebook.com/zh），一款开源免费的AI绘本创作工具，基于Google Gemini与Flux AI模型，让您轻松创作个性化绘本。适用于家庭、教育、创作等多种场景，零门槛，高自由度，技术透明，本地可控。
- 3981次使用
-
- 可赞AI
- 可赞AI，AI驱动的办公可视化智能工具，助您轻松实现文本与可视化元素高效转化。无论是智能文档生成、多格式文本解析，还是一键生成专业图表、脑图、知识卡片，可赞AI都能让信息处理更清晰高效。覆盖数据汇报、会议纪要、内容营销等全场景，大幅提升办公效率，降低专业门槛，是您提升工作效率的得力助手。
- 3921次使用
-
- 星月写作
- 星月写作是国内首款聚焦中文网络小说创作的AI辅助工具，解决网文作者从构思到变现的全流程痛点。AI扫榜、专属模板、全链路适配，助力新人快速上手，资深作者效率倍增。
- 5095次使用
-
- MagicLight
- MagicLight.ai是全球首款叙事驱动型AI动画视频创作平台，专注于解决从故事想法到完整动画的全流程痛点。它通过自研AI模型，保障角色、风格、场景高度一致性，让零动画经验者也能高效产出专业级叙事内容。广泛适用于独立创作者、动画工作室、教育机构及企业营销，助您轻松实现创意落地与商业化。
- 4292次使用
查看更多相关文章-
- Flask框架安装技巧：让你的开发更高效
- 2024-01-03 501浏览
-
- Django框架中的并发处理技巧
- 2024-01-22 501浏览
-
- 提升Python包下载速度的方法——正确配置pip的国内源
- 2024-01-17 501浏览
-
- Python与C++：哪个编程语言更适合初学者？
- 2024-03-25 501浏览
-
- 品牌建设技巧
- 2024-04-06 501浏览
- e.find_previous_sibling('th'): 对于每个
- 提取数据: 遍历所有的
