使用BeautifulSoup提取段落并识别高亮文本

标签。我们的目标是处理

标签内的文本。

3.2 实现步骤与代码

以下是实现上述功能的Python代码：

import pandas as pd
from bs4 import BeautifulSoup

# 原始HTML字符串
original_string = """<div class="image-container half-saturation half-opaque" \
style="cursor: pointer;"><img src="../stim/microphone.png" style="width: 40px; height: 40px;">\
</div><p class="full-opaque">\
<span class="highlight">Easy to cultivate, sunflowers are a popular choice for gardeners of all skill levels</span>. \
Their large, <span class="highlight">cheerful blooms</span>\
bring a touch of summer to any outdoor space, creating a delightful atmosphere. \
Whether you're enjoying their beauty in a garden or using them to add a splash of color to your living space, \
sunflowers are a symbol of positivity and radiance, making them a beloved part of nature's tapestry.</p>"""

# 1. 解析HTML内容
soup = BeautifulSoup(original_string, "html.parser")

# 2. 准备数据存储列表
data = []

# 3. 遍历目标段落（<p>标签）内的所有文本节点
# 使用soup.p来定位到具体的p标签，避免处理其他不相关的文本
for i, text_node in enumerate(soup.p.find_all(string=True)):
    # 清理文本节点前后的空白字符
    cleaned_text = text_node.strip()

    # 仅处理非空文本节点
    if cleaned_text:
        # 判断当前文本节点是否在高亮span元素内部
        # text_node.find_parent(class_="highlight")会向上查找最近的父元素
        # 如果找到，则返回该元素；否则返回None。
        # bool()会将None转换为False，非None转换为True。
        is_highlighted = bool(text_node.find_parent(class_="highlight"))

        # 将提取的信息添加到数据列表中
        data.append(
            {
                "text_order": i,  # 文本片段的顺序
                "text": cleaned_text,  # 文本内容
                "highlight": is_highlighted,  # 是否高亮
            }
        )

# 4. 将数据列表转换为Pandas DataFrame
df = pd.DataFrame(data)

# 5. 打印结果
print(df)

3.3 运行结果

执行上述代码将输出以下Pandas DataFrame：

   text_order                                                                                                                                                                                                                                                                                                text  highlight
0           0                                                                                                                                                                                                                Easy to cultivate, sunflowers are a popular choice for gardeners of all skill levels       True
1           1                                                                                                                                                                                                                                                                                      . Their large,      False
2           2                                                                                                                                                                                                                                                                                     cheerful blooms       True
3           3  bring a touch of summer to any outdoor space, creating a delightful atmosphere. Whether you're enjoying their beauty in a garden or using them to add a splash of color to your living space, sunflowers are a symbol of positivity and radiance, making them a beloved part of nature's tapestry.      False

从结果可以看出，我们成功地提取了所有文本片段，保留了它们的原始顺序，并准确地标记了哪些片段是高亮的。

4. 注意事项与最佳实践

• 目标元素的选择： 在示例中，我们使用了soup.p.find_all(string=True)来限定搜索范围到第一个

  标签内。如果HTML中存在多个

  标签，或者需要处理其他类型的标签，应根据实际情况调整选择器，例如使用soup.find_all('p')遍历所有段落，再对每个段落进行处理。

• 空白字符处理： text_node.strip()用于移除文本节点前后的空白字符（如换行符、空格）。这有助于清理数据并避免生成只包含空白的行。
• 空文本节点过滤： if cleaned_text:条件用于跳过那些在strip()后变成空字符串的文本节点，进一步确保数据的整洁性。
• find_parent()的灵活性： find_parent()方法非常强大，可以根据标签名、CSS类、ID等多种属性来查找父元素。这使得它在判断文本节点上下文时非常灵活。
• 错误处理： 对于更复杂的HTML结构，可能需要考虑更多的错误处理机制，例如当某些预期标签不存在时。

5. 总结

通过巧妙地结合BeautifulSoup的find_all(string=True)方法和文本节点的find_parent()方法，我们能够高效且准确地从HTML中提取文本片段，同时保留其在文档中的原始顺序并识别其所属的特定元素上下文。这种方法在需要对HTML文本进行精细化分析、内容提取或数据结构化时非常有用，为后续的数据处理和分析提供了坚实的基础。

好了，本文到此结束，带大家了解了《使用BeautifulSoup提取段落并识别高亮文本》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！