Scrapy导出数据：-o与Feedexports详解

Scrapy导出数据远不止简单加个-o参数，-o模式虽便捷却仅适用于小规模调试，存在无法中断恢复、内存占用高、类型兼容性差等致命缺陷；真正可靠高效的方案是采用Scrapy 2.1+推荐的FEEDS配置，支持JSONLines流式导出（每行一记录，断点续传、低内存、易解析）、多格式并行输出及细粒度控制，而CSV需注意字段对齐与内容清洗，Excel或数据库等复杂目标则需通过自定义Pipeline实现连接复用与事务安全——导出不是收尾敷衍，而是决定数据完整性、可维护性与工程健壮性的关键一环。

scrapy crawl spider_name -o items.json 为什么只导出一次就清空？

因为 -o 是一次性输出模式：Scrapy 在爬虫结束时把所有 yield item 收集起来，统一序列化写入文件。如果中途报错、被 Ctrl+C 中断，或者爬虫 yield 了重复 key 的字典（比如多次 yield 同一个 item 对象引用），文件可能为空或不完整。

• 只适合小规模调试，不支持增量、追加、分片
• 不能和 --nolog 或重定向 stdout 混用，否则 JSON 结构会被日志污染
• 若 item 字段含 datetime、Decimal 等非 JSON 原生类型，会直接抛 TypeError: Object of type datetime is not JSON serializable

Feed Exports 配置里 FEEDS 和 FEED_URI 哪个该用？

FEEDS 是新方式（Scrapy 2.1+ 强烈推荐），FEED_URI 已弃用。前者支持多格式、多目标、条件导出；后者只能配一个 URI，且不支持 JSONL、XML 等现代格式的细粒度控制。

• FEEDS 是 dict，key 是文件路径（如 "items.json"），value 是导出配置 dict
• 必须显式指定 "format"，比如 "json"、"jsonlines"、"csv"，不能靠后缀自动推断
• 导出 CSV 时，"fields" 要对齐 item 的 key，漏写会导致列为空；字段含逗号或换行会破坏 CSV 结构，得提前清洗

FEEDS = {
    "items.json": {"format": "json", "encoding": "utf-8"},
    "items.jl": {"format": "jsonlines"},
    "data.csv": {"format": "csv", "fields": ["title", "url", "price"]}
}

JSONLines（.jl）比 JSON（.json）更适合线上导出？

是的。JSONLines 每行一个 JSON 对象，天然支持流式写入、断点续传、按行解析 —— 这对长时间运行的爬虫至关重要。而普通 JSON 是单一大数组，必须等全部 item 收集完才能写入，内存占用高，失败即全丢。

• 用 "format": "jsonlines" 时，Scrapy 每 yield 一个 item 就写一行，不缓存
• Python 侧读取 .jl 文件只需逐行 json.loads(line)，不用 json.load(f) 整体加载
• 注意：JSONLines 不是标准 JSON，不能直接用 jq '.' items.jl 解析，得用 jq -r '.' items.jl 或 cat items.jl | jq -r '.title'

导出 Excel（.xlsx）或数据库要自己写 pipeline？

Scrapy 原生 Feed Exports 不支持 .xlsx、PostgreSQL、Elasticsearch 等，必须写自定义 ItemPipeline。这不是“扩展性差”，而是设计使然：这类目标需要连接管理、事务控制、schema 映射，不适合塞进声明式导出配置里。

• 写 pipeline 时，open_spider() 初始化连接，close_spider() 关闭/提交，避免每次 process_item() 都新建连接
• 导出 Excel 推荐用 openpyxl（支持 .xlsx）或 csv 模块写 .csv 再用 Excel 打开（更轻量、无依赖）
• 别在 pipeline 里做耗时操作（如 HTTP 请求、复杂清洗），会拖慢整个爬取流水线

导出看似只是最后一步，但格式选错、配置漏项、类型没处理，数据就卡在半路——尤其是时间字段、嵌套字典、空值，最容易在 JSON 序列化或 CSV 列对齐时突然翻车。

理论要掌握，实操不能落！以上关于《Scrapy导出数据：-o与Feedexports详解》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！