当前位置:首页 > 下载列表 > LetsScrapeData

LetsScrapeData 0.6.10

LetsScrapeData扩展:全面解析模板管理与数据抓取LetsScrapeData扩展为用户提供了高效管理模板XML和相关语言配置的工具。无论您是新手还是专业用户,都可以通过快速入门指南或YouTube视频教程深入了解该扩展的使用方法。概念简介在LetsScrapeData中,模板(通过templateId或tid标识)定义了如何从特定域名(domainId)的网站上抓取数据,并将这些数据保
分类:   下载/工具 · 工具软件 来源:  点击进入 版本:  0.6.10
日期:  2025-05-24 人气:   大小:  
标签:   xml keybindings snippet
点击下载 相关下载
功能介绍

LetsScrapeData扩展:全面解析模板管理与数据抓取

LetsScrapeData扩展为用户提供了高效管理模板XML和相关语言配置的工具。无论您是新手还是专业用户,都可以通过快速入门指南或YouTube视频教程深入了解该扩展的使用方法。

概念简介

在LetsScrapeData中,模板(通过templateId或tid标识)定义了如何从特定域名(domainId)的网站上抓取数据,并将这些数据保存到指定的表(tabname)中。一个完整的模板由两部分组成:模板配置(template config)和模板语言(template lang)。

  • 模板配置:一个XML文件,定义了数据抓取的具体动作,同时包含主要的语言配置。
  • 模板语言:用于高级语言配置的部分。

主要功能

  • 添加模板配置:创建新的XML文件(tid=0),输入并添加“lsd”块(默认快捷键:Ctrl Alt S)。
  • 保存模板配置:编辑XML文件(tid>0)并保存模板(默认快捷键:Ctrl Alt S)。
  • 保存模板语言:根据XML/JSON/HTML文件生成并保存语言配置,详细信息请参考相关文档(默认快捷键:Ctrl Alt L)。
  • 提交模板配置与语言:验证模板和语言配置,如果正确则提交(此命令不保存配置!)(默认快捷键:Ctrl Alt C)。
  • 获取新表名:获取用于保存域名数据的新表名。
  • 搜索域名:根据部分域名搜索域名。
  • 搜索模板:搜索特定domainId的模板,如果domainId为空,则搜索所有domainId的模板。
  • 搜索表名:搜索特定domainId的表名,如果domainId为空,则搜索所有domainId的表名。
  • 获取模板配置:通过tid获取模板的XML。
  • 获取模板语言:获取当前模板的语言配置(XML)。
  • 执行模板:使用参数字符串(paras)执行模板。
    • 执行所有动作:执行模板的所有动作(默认快捷键:Ctrl Alt A)。
    • 执行部分动作:执行模板的部分动作(默认快捷键:Ctrl Alt P)。
    • 提取特定列:提取选定的列(默认快捷键:Ctrl Alt F,vim正常模式下Shift F)。
  • 编辑元素标签的loc属性时的自动完成(仅支持CSS选择器):loc属性支持CSS选择器和Xpath。
    • ID选择器:触发字符“#”,如loc="div#"。
    • 类选择器:触发字符“%”,如loc="div%"。
    • 属性选择器(属性名):触发字符“[”,如loc="div["。
    • 属性选择器(属性值):触发字符“!”,如loc="a[href=!"。
  • 显示第一个选定元素的外部XML
    • 在聚焦于列行时显示第一个元素的外部XML(参考“提取特定列”)。
    • 在聚焦于元素行或其他行(父元素)时显示第一个元素的外部XML(命令“显示父XML”,默认快捷键:Ctrl Alt T,或vim正常模式下Shift T)。

相关扩展

  • 依赖扩展:由Red Hat提供的“XML”。
  • 建议扩展:如果您想在vim正常模式下使用键盘快捷键(Shift T,Shift F),建议使用由vscodevim提供的“Vim”扩展。

如何添加/更新模板

  1. 首先,您必须决定模板的domainId和tabname(s)。模板和tabname(s)必须具有相同的domainId。您可以通过“搜索域名”命令获取domainName的domainId。
  2. 如果需要,获取相关domainId的新tabname(s),或者如果它们保存相同的数据,可以重用与其他模板的tabname(s)。
  3. 创建或更新模板和语言配置。
  4. 通过执行模板测试模板。
  5. 添加/保存模板:如果tid为0,则添加;如果tid>0,则保存模板。
  6. 保存模板语言配置。
  7. 如果需要,重复步骤3至6。
  8. 提交模板和语言配置。
版本声明
本文转载于:https://marketplace.visualstudio.com/items?itemName=LetsScrapeData.letsscrapedata 如有侵犯,请联系study_golang@163.com删除
查看更多
课程推荐
  • Golang云原生架构师课程
    Golang云原生架构师课程
    Go是一门并发支持、垃圾回收的编译型系统编程语言;本课程转载自哔哩哔哩:https://www.bilibili.com/video/BV1Mh411M7A
    204次学习
  • MySQL数据管理之备份恢复案例解析视频教程
    MySQL数据管理之备份恢复案例解析视频教程
    《MySQL数据管理之备份恢复案例解析视频教程》MySQL是一个开放源码的小型关联式数据库管理系统,目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。
    160次学习
  • MySQL索引优化解决方案
    MySQL索引优化解决方案
    本套课程是根据MySQL索引的设计理念与数据结构、索引使用场景、索引分类、索引运用场景、索引性能分析、查询优化、MySQL索引的慢查询等组成,主要讲述了MySQL索引优化的解决方案,非常适合有MySQL使用基础或者有一定工作经验的同学。课程讲解了解决大数量查询慢的问题、如何编写一个高效的SQL、查询语句应该如何优化、索引的实现原理是什么、索引又应该如何优化...等诸多SQL索引优化的难点和面试点。
    182次学习
  • 极客学院Docker视频教程
    极客学院Docker视频教程
    Docker是PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎,源代码托管在Github上,基于go语言并遵从Apache2.0协议开源。Docker自2013年以来非常火热,无论是从github上的代码活跃度,还是各大厂商的支持,都使Docker成为了时下最受关注的技术,甚至微软都声称在下一代WindowsServer中集成对Docker的支持。所以我们收集了《极客学院Docke
    243次学习
  • Golang进阶实战编程
    Golang进阶实战编程
    本课程是在《Go语言基础视频》基础之上录制的,是Go语言基础的后半部分。包括包的管理,IO操作,Go语言最大的亮点:高并发,goroutine,channel,反射等。本视频主要为了帮助Go语言的初学者,从零到一的快速入门。学完本套课程,可以学会如果通过包管理Go项目,并发模型,以及并发实现,channel通道如何传递数据,反射等等。
    127次学习
  • JavaScript极速入门
    JavaScript极速入门
    本套课程将帮助大家迅速掌握JavaScript这门高端的、动态的、弱类型编程语言。知识点简单明了,让你学习0压力,适合新手观看学习......
    431次学习
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码