KAP网站动态公告数量获取方法
本文揭秘了为何传统HTML解析工具如BeautifulSoup无法获取KAP官网动态显示的公告数量(如`{{memberVm.disclosures.length}}`),并手把手教你绕过前端渲染陷阱,通过逆向分析并直接调用其后端REST API(`/tr/api/memberDisclosureQuery`),仅用几行Python代码就能精准、高效、稳定地提取真实公告总数与完整结构化数据——无需浏览器自动化,不依赖JavaScript执行,真正实现从“扒网页”到“取数据”的本质升级,为爬取各类现代单页应用(SPA)站点提供了可复用的高阶实战范式。

本文详解为何 BeautifulSoup 无法提取 KAP 官网中类似 {{memberVm.disclosures.length}} 的动态计数,以及如何通过逆向分析 API 接口,直接调用后端 JSON 接口精准获取真实公告总数与完整数据列表。
本文详解为何 BeautifulSoup 无法提取 KAP 官网中类似 `{{memberVm.disclosures.length}}` 的动态计数,以及如何通过逆向分析 API 接口,直接调用后端 JSON 接口精准获取真实公告总数与完整数据列表。
在使用 BeautifulSoup 抓取土耳其资本市场监管平台(KAP)的公告搜索页(如 此链接)时,开发者常遇到一个典型问题:页面顶部显示的「34 bildirim bulundu」(共34条公告)在 HTML 源码中实际为 AngularJS 模板语法 {{memberVm.disclosures.length}},而非已渲染的数字。这是因为该数值由前端 JavaScript 异步请求后端 API 并动态插入 DOM —— BeautifulSoup 仅解析静态 HTML,无法执行 JS,因此永远无法获取真实数字。
✅ 正确方案:直连后端 REST API
KAP 前端通过 POST 请求调用以下接口获取公告数据:
https://www.kap.org.tr/tr/api/memberDisclosureQuery
该接口返回标准 JSON 格式响应,其中 data 字段即为公告列表,其长度即为真实公告总数。无需 Selenium 或 Playwright 等重量级工具,纯 requests 即可高效解决。
? 示例代码(获取总数 + 全量数据)
import requests
# KAP 公告查询 API 地址
API_URL = "https://www.kap.org.tr/tr/api/memberDisclosureQuery"
# 构造请求载荷(关键参数需与 URL 中一致)
payload = {
"bdkMemberOidList": [],
"bdkReview": "",
"discIndex": [],
"disclosureClass": "",
"fromDate": "",
"fromSrc": "Y",
"inactiveMkkMemberOidList": [],
"index": "",
"isLate": "",
"mainSector": "",
"market": "",
"memberType": None,
"mkkMemberOidList": [],
"prd": "",
"ruleType": "",
"sector": "",
"srcCategory": "4", # 对应 URL 中 cat=4
"subjectList": ["srp2205201503"], # 对应 URL 中 s=srp2205201503(主题编码)
"subSector": "",
"term": "",
"toDate": "",
"year": ""
}
# 发送 POST 请求(无需 headers 亦可成功,但建议添加以模拟真实浏览器)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.post(API_URL, json=payload, headers=headers)
response.raise_for_status() # 检查 HTTP 错误
data = response.json()
# ✅ 获取真实公告总数(即列表长度)
total_count = len(data)
print(f"✅ 共检索到 {total_count} 条公告")
# ✅ 提取每条公告的关键字段(示例)
for i, item in enumerate(data[:5], 1): # 打印前5条作为示意
title = item.get("kapTitle", "N/A").strip()
publish_date = item.get("publishDate", "N/A")
subject = item.get("subject", "N/A")
print(f"{i}. [{publish_date}] {title[:50]}... → 主题: {subject}")✅ 输出示例:
✅ 共检索到 34 条公告
1. [Dün 17:44] BİRLEŞİM MÜHENDİSLİK ISITMA SOĞUTMA HAVALANDIRMA SANAYİ VE TİCARET A.Ş.... → 主题: Yeni İş İlişkisi
⚠️ 关键注意事项
- 参数一致性:subjectList 和 srcCategory 必须严格匹配原始 URL 中的 s= 和 cat= 参数,否则返回空或错误结果;
- 无 CSRF/Token 限制:该 API 当前未启用鉴权,可直接调用,但请遵守 KAP 使用条款 及 robots.txt;
- 分页处理:当前接口默认返回全部结果(最多约 100 条),如需更多数据,需分析 page、size 等潜在分页参数(可通过浏览器 DevTools → Network → Fetch/XHR 查看完整请求);
- 编码兼容性:返回 JSON 默认为 UTF-8,无需额外解码;若涉及土耳其语字符(如 İ, ş, ç),确保终端/IDE 支持 UTF-8 显示;
- 稳定性建议:将 API 调用封装为函数,并添加重试机制(如 tenacity 库)和异常日志,提升生产环境鲁棒性。
? 总结
当网页内容由 JavaScript 动态渲染时,执着于“解析 HTML”是低效且不可靠的。真正的 Web 抓取进阶思维是:跳过 DOM,直击数据源头。通过 Chrome DevTools 的 Network 面板捕获 XHR 请求,复现 API 调用,即可获得结构化、高精度、高性能的数据。本例不仅解决了 {{memberVm.disclosures.length}} 的提取难题,更提供了一套可复用的「前端→后端 API」逆向抓取方法论——适用于绝大多数现代 SPA 站点。
今天关于《KAP网站动态公告数量获取方法》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!
Linux设置静态IP教程详解
- 上一篇
- Linux设置静态IP教程详解
- 下一篇
- XMind添加图标步骤及图标库使用方法
-
- 文章 · 前端 | 10小时前 | 流式处理 · javascript · 浏览器API · JavaScript UTF-8 ReadableStream Web Streams WritableStream TextEncoderStream
- Web Streams TextEncoderStream 怎样把字符串转换成字节流
- 358浏览 收藏
-
- 文章 · 前端 | 10小时前 | javascript · 浏览器API · Web Locks API navigator.locks.request 同源标签页 共享任务 浏览器并发
- Web Locks API 怎样让同源标签页串行执行共享任务
- 445浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · css · CSS 组件样式 @scope scope root scope limit 选择器作用域
- CSS @scope 怎样限制选择器只作用于局部组件
- 210浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · JavaScript translate HTMLElement 产品名称
- JavaScript HTMLElement.translate 怎样标记无需翻译的产品名称
- 483浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · javascript · JavaScript IntersectionObserver rootMargin threshold intersectionRatio
- JavaScript IntersectionObserver 怎样设置多级阈值
- 289浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · JavaScript postMessage Message BroadcastChannel close 同源页面通信
- JavaScript BroadcastChannel 怎样在同源页面间传递消息
- 403浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · javascript · JavaScript iframe document importNode createHTMLDocument DOMImplementation
- JavaScript createHTMLDocument 怎样在独立文档中组装 HTML
- 329浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · websocket · JavaScript websocket CloseEvent 关闭事件
- JavaScript WebSocket 怎样处理 close 事件的 code 和 reason
- 239浏览 收藏
-
- 文章 · 前端 | 1天前 |
- JavaScript structuredClone 复制 Error 对象怎样保留错误信息
- 261浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · JavaScript Fetch AbortController AbortSignal abort reason
- JavaScript AbortController.abort(reason) 怎样把取消原因传给调用方
- 423浏览 收藏
-
- 文章 · 前端 | 1天前 | 前端 · 错误处理 · JavaScript Fetch response HTTP 404
- JavaScript fetch 怎样区分网络失败和 HTTP 404
- 239浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1147次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1134次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1312次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1251次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1104次使用
-
- JavaScript函数定义及示例详解
- 2025-05-11 502浏览
-
- 智能体安全引领产业升级——国内AI安全产品市场深度分析
- 2026-08-21 501浏览
-
- CSS变量简化按钮悬停效果技巧
- 2026-05-31 501浏览
-
- JavaScript符号类型详解与应用
- 2026-05-31 501浏览
-
- HTML剪贴板复制粘贴怎么用
- 2026-05-26 501浏览

