Python抓取技巧：同名类标签精准筛选方法

工具准备

要解决上述问题，我们将使用Python中两个强大的库：

• requests: 用于向目标网站发送HTTP请求，获取网页的HTML内容。
• BeautifulSoup: 一个解析HTML和XML文档的库，能够方便地从复杂结构中提取数据。

在开始之前，请确保已安装这些库：

pip install requests beautifulsoup4

核心问题：同名类标签与数据筛选

假设我们正在抓取医生信息，每个医生可能在多个地点提供服务。这些地点（无论是实体医院还是在线咨询）都可能使用相同的CSS类名（例如listing-locations）。我们的目标是只获取医生提供的实体医院服务地点，并忽略任何“在线视频咨询”的地点。

解决方案详解

解决此问题的关键在于利用BeautifulSoup提供的强大CSS选择器功能，特别是:-soup-contains()伪类选择器，它允许我们根据元素内包含的文本内容进行筛选。

1. 获取网页内容

首先，我们需要使用requests库获取目标网页的HTML内容。

import requests
from bs4 import BeautifulSoup

url = "https://oladoc.com/pakistan/lahore/gynecologist"
# 发送GET请求并获取响应
response = requests.get(url)
# 检查请求是否成功
response.raise_for_status() 
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, "html.parser")

2. 定位医生信息

通常，网页上的每个独立信息块（例如，每个医生的完整信息）都会被一个特定的HTML元素包裹。我们需要找到这些主要的容器。根据示例，每个医生的信息都包含在class="gynecologist"的元素中。

# 遍历所有医生信息块
for g in soup.select(".gynecologist"):
    # 提取医生姓名
    doctor_name = g.h2.get_text(strip=True)
    print("姓名:", doctor_name)

    # ... 接下来是提取地点信息

3. 精确筛选医院位置

这是解决问题的核心步骤。我们需要选择所有具有listing-locations类的元素，但同时排除那些文本内容包含“Online Video Consultation”的元素。BeautifulSoup的select()方法支持复杂的CSS选择器，包括:-soup-contains()。

• listing-locations: 选择所有class为listing-locations的元素。
• :-soup-contains('Online Video Consultation'): 选择包含特定文本“Online Video Consultation”的元素。
• :not(...): 否定选择器，排除括号内匹配的元素。

结合起来，".listing-locations:not(:-soup-contains('Online Video Consultation'))"将选择所有class为listing-locations，但不包含“Online Video Consultation”文本的元素。

    # 筛选医院地点：选择所有class为listing-locations，且不包含“Online Video Consultation”文本的元素
    hospitals = g.select(
        ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
    )

    # 提取每个筛选出的医院名称
    hospital_names = [h.span.text.strip() for h in hospitals]
    print("医院:", hospital_names)
    print("-" * 30) # 分隔线，使输出更清晰

4. 完整代码示例

将以上步骤整合，得到完整的Python抓取脚本：

import requests
from bs4 import BeautifulSoup

# 目标URL
url = "https://oladoc.com/pakistan/lahore/gynecologist"

try:
    # 发送GET请求并获取网页内容
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功，如果状态码不是200，则抛出异常

    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(response.content, "html.parser")

    # 遍历页面上所有的医生信息块
    for g in soup.select(".gynecologist"):
        # 提取医生姓名
        doctor_name = g.h2.get_text(strip=True)
        print("姓名:", doctor_name)

        # 筛选医院地点：
        # 选择所有class为"listing-locations"的元素，
        # 但排除那些内部文本包含"Online Video Consultation"的元素。
        hospitals = g.select(
            ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
        )

        # 提取每个筛选出的医院名称，并去除首尾空白
        hospital_names = [h.span.text.strip() for h in hospitals]
        print("医院:", hospital_names)
        print("-" * 40) # 打印分隔线

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except Exception as e:
    print(f"发生错误: {e}")

输出示例：

姓名: Dr. Ayesha Azam Khan
医院: ['National Hospital & Medical Centre  (DHA)', 'Surgimed Hospital (Gulberg)']
----------------------------------------
姓名: Dr. Maliha Amjad
医院: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)']
----------------------------------------
姓名: Dr. Sara Rasul
医院: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)']
----------------------------------------
# ... 更多医生信息

注意事项

1. 网页结构变化: 网页的HTML结构可能会随时更新。如果目标网站的HTML类名、标签结构或文本内容发生变化，上述CSS选择器可能需要调整。
2. 伦理与法律: 在进行网页抓取时，请务必遵守网站的robots.txt协议和使用条款。避免对网站造成过大负载，可以设置请求间隔（time.sleep()）。
3. 错误处理: 在实际项目中，应加入更健壮的错误处理机制，例如处理网络连接问题、页面元素不存在的情况等。上述代码已加入基本的try-except块。
4. 进一步筛选: 如果您严格要求每个医生只获取一个地点（例如，只取第一个物理地点），可以在hospital_names列表不为空的情况下，进一步选择hospital_names[0]。
5. 代理与用户代理: 对于某些网站，可能需要设置请求头（User-Agent）或使用代理IP来避免被反爬机制阻止。

总结

通过本教程，我们学习了如何利用Python的requests和BeautifulSoup库，结合强大的CSS选择器（特别是:-soup-contains()和:not()），有效地处理网页抓取中同名类标签的挑战。这种方法不仅能够精确地筛选出所需数据，还能排除不必要或干扰性的信息，从而提高数据抓取的准确性和效率。掌握这些技巧，将使您在面对复杂网页结构时更加游刃有余。