Python爬虫存入MongoDB方法详解

本文详细讲解了Python爬虫将抓取的非结构化或半结构化网页数据高效存入MongoDB的完整流程：从安装PyMongo驱动、通过MongoClient连接本地或远程数据库，到使用insert_one()或insert_many()插入单条/批量文档，并强调了实际开发中极易被忽视却至关重要的优化实践——为关键字段（如URL）创建唯一索引以避免重复存储，以及添加异常处理机制保障爬虫在数据库连接中断等异常场景下的稳定性与健壮性，让数据持久化既简单直观又生产就绪。

Python爬虫将数据存入MongoDB数据库，主要通过安装驱动库、连接数据库、插入文档三步完成。整个过程简单高效，适合存储非结构化或半结构化的网页抓取数据。

安装PyMongo驱动

要让Python与MongoDB交互，需先安装官方推荐的PyMongo库。使用pip命令即可快速安装：

安装完成后，在Python脚本中导入即可使用：

连接MongoDB数据库

确保本地或服务器已运行MongoDB服务。通过MongoClient建立连接：

client = MongoClient('localhost', 27017)  # 连接本地MongoDB
db = client['spider_db']                  # 指定数据库名
collection = db['news_data']              # 指定集合名

若使用远程或带认证的MongoDB，可使用URI方式连接：

client = MongoClient('mongodb://user:password@host:port/')

将爬虫数据插入MongoDB

假设你用requests和BeautifulSoup抓取了网页信息，并整理成字典格式的数据：

data = {
    'title': '新闻标题',
    'url': 'https://example.com/article',
    'content': '新闻正文内容...',
    'crawl_time': '2025-04-05'
}

调用insert_one()方法将单条数据写入：

collection.insert_one(data)

若有多条数据，可用insert_many()批量插入：

data_list = [data1, data2, data3]
collection.insert_many(data_list)

注意事项与优化建议

实际使用中注意以下几点提升稳定性和效率：

• 插入前检查字段完整性，避免空值导致后续分析困难
• 为常用查询字段（如url）建立索引，防止重复抓取：collection.create_index("url", unique=True)
• 捕获异常以防数据库断开导致爬虫崩溃：

try:
    collection.insert_one(data)
except Exception as e:
    print(f"存储失败：{e}")

基本上就这些。只要连接成功，存数据就像操作字典一样自然。不复杂但容易忽略的是索引和异常处理，加上之后更稳定。

以上就是《Python爬虫存入MongoDB方法详解》的详细内容，更多关于Python,Python入门,Python爬虫的资料请关注golang学习网公众号！