WebScraper城市半径抓取教程详解

一分耕耘，一分收获！既然打开了这篇文章《WebScraper 自动输入城市选半径抓取数据教程》，就坚持看下去吧！文中内容包含等等知识点...希望你能在阅读本文后，能真真实实学到知识或者帮你解决心中的疑惑，也欢迎大佬或者新人朋友们多留言评论，多给建议！谢谢！

本文介绍在 WebScraper.io 中实现自动填写搜索框与触发下拉菜单选择的操作方法，包括 SelectorElementClick 配置技巧、实际 JSON 代码示例及替代方案建议，助你高效抓取 Alberta 地区脊医列表。

WebScraper.io 是一款功能强大的浏览器扩展型爬虫工具，适用于结构化网页的可视化采集，但其原生能力不支持直接模拟键盘输入（如 typing into a text field）或动态交互式表单提交。不过，它提供了 SelectorElementClick 类型选择器，可模拟真实点击行为——这正是解决你问题的关键突破口。

✅ 正确思路：绕过“输入”，改用预设筛选项触发结果

目标网站 的搜索逻辑通常依赖于：

• 文本输入框（如 #search-city 或类似）
• 半径下拉框（如 <select name="radius"> 下含 5 km, 10 km, 25 km 等选项）
• 提交按钮（或回车/自动搜索）

由于 WebScraper 无法执行 .sendKeys() 类操作，我们应优先检查该页面是否支持URL 参数驱动筛选（例如 ?city=Edmonton&radius=25），或是否存在静态可点击的区域链接/筛选卡片（如“Edmonton”、“Calgary”等城市标签）。若存在，推荐优先使用 URL 参数 + 分页组合方式，最稳定可靠。

若必须通过表单交互，则需借助 SelectorElementClick 模拟点击已渲染的 元素，并配合合理延时等待 DOM 更新：

{
  "id": "select-radius-25km",
  "parentSelectors": ["_root"],
  "type": "SelectorElementClick",
  "clickActionType": "real",
  "clickElementSelector": "select[name='radius'] option[value='25']",
  "clickElementUniquenessType": "uniqueCSSSelector",
  "clickType": "clickOnce",
  "delay": 1500,
  "discardInitialElements": "do-not-discard",
  "multiple": false,
  "selector": "body"
}

⚠️ 注意事项：

• clickElementSelector 必须精准匹配页面加载完成后已存在的 DOM 节点；建议先在 Chrome DevTools 中验证 document.querySelector("select[name='radius'] option[value='25']") 是否返回有效元素；
• 若下拉框使用 JS 动态渲染（如 React/Vue 组件），原生 WebScraper 可能无法捕获，此时需切换至 Playwright 或 Selenium + Python 方案；
• 输入城市名称无法直接模拟？可尝试：① 查看是否有“热门城市”可点击区域；② 检查网络请求，找到 /api/search?city=... 类接口，直接构造 API 请求（WebScraper 支持 JSON API 抓取）；③ 改用 Playwright（推荐）编写自动化脚本，完整支持 page.fill(), page.selectOption() 和显式等待。

? 推荐进阶方案（当 WebScraper 不足时）

对于需要强交互的场景（如输入+回车+等待 AJAX 加载+翻页），建议迁移到 Playwright（Python），代码简洁且稳定性高：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    page.goto("https://chiropractic.ca/find-a-chiro/alberta/")

    # 输入城市
    page.fill("#search-city", "Edmonton")
    # 选择半径（支持 value/text 多种方式）
    page.select_option("select[name='radius']", value="25")
    # 触发搜索（可能为按钮或回车）
    page.press("#search-city", "Enter")

    # 等待结果加载
    page.wait_for_selector(".chiropractor-list-item", timeout=10000)

    # 提取数据（示例）
    chiropractors = page.eval_on_selector_all(
        ".chiropractor-list-item",
        "els => els.map(el => ({name: el.querySelector('h3')?.innerText, phone: el.querySelector('.phone')?.innerText}))"
    )
    print(chiropractors)

? 小结：WebScraper.io 适合静态或简单交互页面；涉及输入框+下拉+异步加载的复合操作，建议转向 Playwright/Selenium。同时务必查阅 WebScraper 官方论坛 和 Dropdown Variation 教程视频，获取最新 selector 配置实践。

本篇关于《WebScraper城市半径抓取教程详解》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！