BeautifulSoup进阶：条件提取与占位符技巧

示例HTML结构：

<div class="section">
        <a class="site" href="www.example1.com">Site1</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed1.com">Idontneedthis1</a>               
</div>
<div class="section">
        <a class="site" href="www.example2.com">Site2</a>                   
</div>
<div class="section">
        <a class="site" href="www.example3.com">Site3</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed2.com">Idontneedthis2</a>                   
</div>

如果仅仅使用soup.find_all('a', class_='site')或soup.select('a.site')，我们会得到一个只包含www.example1.com、www.example2.com、www.example3.com的列表，而那些bogus的条目则会被完全忽略，无法插入占位符，从而破坏了与原始section数量对应的数据结构。

我们期望的输出结果是：

[{"site":"www.example1.com"}, {"site":" "}, {"site":"www.example2.com"}, {"site":"www.example3.com"}, {"site":" "}]

4. 通用解决方案：列表推导式与条件判断

为了实现上述目标，我们可以采用一种更通用的方法：首先选中所有相关的子元素，然后通过列表推导式结合条件判断来决定提取什么内容。

Python实现：

from bs4 import BeautifulSoup

html_doc = """
<div class="section">
        <a class="site" href="www.example1.com">Site1</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed1.com">Idontneedthis1</a>               
</div>
<div class="section">
        <a class="site" href="www.example2.com">Site2</a>                   
</div>
<div class="section">
        <a class="site" href="www.example3.com">Site3</a>                   
</div>
<div class="section">
        <a class="bogus" href="www.idontneed2.com">Idontneedthis2</a>                   
</div>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 使用CSS选择器选中所有直接子元素<a>的.section
# 然后通过列表推导式和条件判断来构建结果列表
result = [
    {"site": " " if "bogus" in a.get("class", []) else a["href"]}
    for a in soup.select(".section > a")
]

print(result)

代码解析：