LetsScrapeData 0.6.10
LetsScrapeData扩展:全面解析模板管理与数据抓取LetsScrapeData扩展为用户提供了高效管理模板XML和相关语言配置的工具。无论您是新手还是专业用户,都可以通过快速入门指南或YouTube视频教程深入了解该扩展的使用方法。概念简介在LetsScrapeData中,模板(通过templateId或tid标识)定义了如何从特定域名(domainId)的网站上抓取数据,并将这些数据保
功能介绍
LetsScrapeData扩展:全面解析模板管理与数据抓取
LetsScrapeData扩展为用户提供了高效管理模板XML和相关语言配置的工具。无论您是新手还是专业用户,都可以通过快速入门指南或YouTube视频教程深入了解该扩展的使用方法。
概念简介
在LetsScrapeData中,模板(通过templateId或tid标识)定义了如何从特定域名(domainId)的网站上抓取数据,并将这些数据保存到指定的表(tabname)中。一个完整的模板由两部分组成:模板配置(template config)和模板语言(template lang)。
- 模板配置:一个XML文件,定义了数据抓取的具体动作,同时包含主要的语言配置。
- 模板语言:用于高级语言配置的部分。
主要功能
- 添加模板配置:创建新的XML文件(tid=0),输入并添加“lsd”块(默认快捷键:Ctrl Alt S)。
- 保存模板配置:编辑XML文件(tid>0)并保存模板(默认快捷键:Ctrl Alt S)。
- 保存模板语言:根据XML/JSON/HTML文件生成并保存语言配置,详细信息请参考相关文档(默认快捷键:Ctrl Alt L)。
- 提交模板配置与语言:验证模板和语言配置,如果正确则提交(此命令不保存配置!)(默认快捷键:Ctrl Alt C)。
- 获取新表名:获取用于保存域名数据的新表名。
- 搜索域名:根据部分域名搜索域名。
- 搜索模板:搜索特定domainId的模板,如果domainId为空,则搜索所有domainId的模板。
- 搜索表名:搜索特定domainId的表名,如果domainId为空,则搜索所有domainId的表名。
- 获取模板配置:通过tid获取模板的XML。
- 获取模板语言:获取当前模板的语言配置(XML)。
- 执行模板:使用参数字符串(paras)执行模板。
- 执行所有动作:执行模板的所有动作(默认快捷键:Ctrl Alt A)。
- 执行部分动作:执行模板的部分动作(默认快捷键:Ctrl Alt P)。
- 提取特定列:提取选定的列(默认快捷键:Ctrl Alt F,vim正常模式下Shift F)。
- 编辑元素标签的loc属性时的自动完成(仅支持CSS选择器):loc属性支持CSS选择器和Xpath。
- ID选择器:触发字符“#”,如loc="div#"。
- 类选择器:触发字符“%”,如loc="div%"。
- 属性选择器(属性名):触发字符“[”,如loc="div["。
- 属性选择器(属性值):触发字符“!”,如loc="a[href=!"。
- 显示第一个选定元素的外部XML:
- 在聚焦于列行时显示第一个元素的外部XML(参考“提取特定列”)。
- 在聚焦于元素行或其他行(父元素)时显示第一个元素的外部XML(命令“显示父XML”,默认快捷键:Ctrl Alt T,或vim正常模式下Shift T)。
相关扩展
- 依赖扩展:由Red Hat提供的“XML”。
- 建议扩展:如果您想在vim正常模式下使用键盘快捷键(Shift T,Shift F),建议使用由vscodevim提供的“Vim”扩展。
如何添加/更新模板
- 首先,您必须决定模板的domainId和tabname(s)。模板和tabname(s)必须具有相同的domainId。您可以通过“搜索域名”命令获取domainName的domainId。
- 如果需要,获取相关domainId的新tabname(s),或者如果它们保存相同的数据,可以重用与其他模板的tabname(s)。
- 创建或更新模板和语言配置。
- 通过执行模板测试模板。
- 添加/保存模板:如果tid为0,则添加;如果tid>0,则保存模板。
- 保存模板语言配置。
- 如果需要,重复步骤3至6。
- 提交模板和语言配置。
版本声明
本文转载于:https://marketplace.visualstudio.com/items?itemName=LetsScrapeData.letsscrapedata 如有侵犯,请联系study_golang@163.com删除
更多
相关下载
查看更多
课程推荐
-
- Golang云原生架构师课程
- Go是一门并发支持、垃圾回收的编译型系统编程语言;本课程转载自哔哩哔哩:https://www.bilibili.com/video/BV1Mh411M7A
- 204次学习
-
- MySQL数据管理之备份恢复案例解析视频教程
- 《MySQL数据管理之备份恢复案例解析视频教程》MySQL是一个开放源码的小型关联式数据库管理系统,目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。
- 160次学习
-
- MySQL索引优化解决方案
- 本套课程是根据MySQL索引的设计理念与数据结构、索引使用场景、索引分类、索引运用场景、索引性能分析、查询优化、MySQL索引的慢查询等组成,主要讲述了MySQL索引优化的解决方案,非常适合有MySQL使用基础或者有一定工作经验的同学。课程讲解了解决大数量查询慢的问题、如何编写一个高效的SQL、查询语句应该如何优化、索引的实现原理是什么、索引又应该如何优化...等诸多SQL索引优化的难点和面试点。
- 182次学习
-
- 极客学院Docker视频教程
- Docker是PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎,源代码托管在Github上,基于go语言并遵从Apache2.0协议开源。Docker自2013年以来非常火热,无论是从github上的代码活跃度,还是各大厂商的支持,都使Docker成为了时下最受关注的技术,甚至微软都声称在下一代WindowsServer中集成对Docker的支持。所以我们收集了《极客学院Docke
- 243次学习
-
- Golang进阶实战编程
- 本课程是在《Go语言基础视频》基础之上录制的,是Go语言基础的后半部分。包括包的管理,IO操作,Go语言最大的亮点:高并发,goroutine,channel,反射等。本视频主要为了帮助Go语言的初学者,从零到一的快速入门。学完本套课程,可以学会如果通过包管理Go项目,并发模型,以及并发实现,channel通道如何传递数据,反射等等。
- 127次学习
-
- JavaScript极速入门
- 本套课程将帮助大家迅速掌握JavaScript这门高端的、动态的、弱类型编程语言。知识点简单明了,让你学习0压力,适合新手观看学习......
- 431次学习
查看更多
相关文章
-
- Golangmap实践及实现原理解析
- 2022-12-28 505浏览
-
- GoLand调式动态执行代码
- 2023-01-13 502浏览
-
- 试了下Golang实现try catch的方法
- 2022-12-27 502浏览
-
- 用Nginx反向代理部署go写的网站。
- 2023-01-17 502浏览
-
- MySQL主从切换的超详细步骤
- 2023-01-01 501浏览
-
- Mysql-普通索引的 change buffer
- 2023-01-25 501浏览