PyMongo导入CSV如何设置数值类型

对于一个文章开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《PyMongo导入CSV：正确设置数值字段类型》，主要介绍了，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

当使用PyMongo和`csv.DictReader`将CSV数据导入MongoDB时，所有字段默认会被解析为字符串。为确保数值型字段（如整数或浮点数）以正确的数据类型存储，需要在数据插入MongoDB前进行显式的类型转换，例如使用`int()`或`float()`函数，从而避免数据类型不匹配的问题。

理解 csv.DictReader 的默认行为

在使用Python的csv模块处理CSV文件时，csv.DictReader是一个非常方便的工具，它将每一行数据解析为一个字典，其中键是CSV文件的列标题。然而，csv.DictReader的一个重要特性是，它会把CSV文件中的所有值都作为字符串来处理。这意味着，即使CSV文件中包含看起来像数字的数据（如20.67或1），在通过csv.DictReader读取后，它们依然是字符串类型（如"20.67"或"1"）。

当这些字符串类型的数据直接被PyMongo插入到MongoDB时，MongoDB会按照接收到的类型进行存储，即存储为字符串。这通常不是我们期望的行为，尤其是对于需要进行数值计算或范围查询的字段，例如地理坐标（经纬度）或ID。

考虑以下CSV数据示例：

country_id,country_name,zone_id,minLat,maxLat,minLong,maxLong
2,Bangladesh,1,20.6708832870000,26.4465255803000,88.0844222351000,92.6727209818000
3,"Sri Lanka",1,5.9683698592300,9.8240776636100,79.6951668639000,81.7879590189000

如果直接使用以下方式导入：

import csv
from pymongo import MongoClient

# ... MongoDB连接和文件读取设置 ...

# 假设reader是一个csv.DictReader对象
for each in reader: 
    row = {}
    # header是CSV列名的列表
    for field in header: 
        row[field] = each[field] # each[field]在此处始终是字符串类型
    collection.insert_one(row) # 或 collection.insert(row)

最终，MongoDB中的country_id, zone_id, minLat, maxLat, minLong, maxLong等字段都将是字符串类型，而非预期的整数或浮点数。

解决方案：显式类型转换

要解决这个问题，关键在于在将数据插入MongoDB之前，对需要特定数据类型的字段进行显式转换。Python提供了内置的类型转换函数，如int()用于整数，float()用于浮点数。

以下是使用PyMongo导入CSV数据并确保数值字段类型正确的教程：

1. 导入必要的库并建立MongoDB连接

首先，确保你已经安装了pymongo库。然后，导入MongoClient和csv，并建立与MongoDB的连接。

from pymongo import MongoClient
import csv

# 建立MongoDB连接
# 请根据你的实际情况修改连接字符串和数据库名
myclient = MongoClient("mongodb://localhost:27017/")
mydb = myclient["mydbname"] # 你的数据库名称

2. 定义数据导入函数并执行类型转换

创建一个函数来封装数据导入逻辑。在这个函数内部，我们将打开CSV文件，使用csv.DictReader读取数据，并在构建要插入MongoDB的文档时，对数值字段进行显式的类型转换。

def csvToMongo():
  # 使用with语句确保文件被正确关闭，并指定文件编码
  with open('country.csv', 'r', encoding='utf-8') as myFile:
    reader = csv.DictReader(myFile, delimiter=",")

    # 使用列表推导式高效地处理每一行数据并进行类型转换
    myParsedData = [
      {
        'country_id': int(elem['country_id']),
        'country_name': elem['country_name'],
        'zone_id': int(elem['zone_id']),
        'minLat': float(elem['minLat']),
        'maxLat': float(elem['maxLat']),
        'minLong': float(elem['minLong']),
        'maxLong': float(elem['maxLong']),
      }
      for elem in reader
    ]

    # 获取或创建集合
    collection = mydb['country'] # 你的集合名称

    # 使用insert_many()批量插入数据，提高效率
    if myParsedData: # 检查是否有数据需要插入
        collection.insert_many(myParsedData)
        print(f"成功导入 {len(myParsedData)} 条数据到集合 '{collection.name}'。")
    else:
        print("CSV文件为空或没有可解析的数据。")

# 执行数据导入函数
csvToMongo()

代码详解

• with open('country.csv', 'r', encoding='utf-8') as myFile::
  • 这是一种推荐的文件操作方式，它确保文件在使用完毕后（无论是否发生错误）都会被自动关闭，避免资源泄露。
  • encoding='utf-8'是处理CSV文件时的良好实践，尤其当文件可能包含非ASCII字符时。
• reader = csv.DictReader(myFile, delimiter=","):
  • 创建一个csv.DictReader对象，它将CSV文件的第一行作为字典的键（字段名），后续每一行作为字典的值。
  • delimiter=","明确指定了CSV文件的分隔符，虽然逗号是默认值，但显式指定可以增加代码的清晰度。
• 列表推导式 myParsedData = [...]:
  • 这是代码的核心部分，它遍历reader中的每一行（elem是一个字典），并为每个字段创建新的字典。
  • 对于country_id和zone_id，我们使用int()将其转换为整数。
  • 对于minLat, maxLat, minLong, maxLong等地理坐标字段，我们使用float()将其转换为浮点数（在Python中，这对应于MongoDB的Double类型）。
  • country_name等文本字段保持原样，仍为字符串。
• collection = mydb['country']:
  • 获取或创建一个名为country的集合。如果集合不存在，MongoDB会在第一次插入数据时自动创建它。
• collection.insert_many(myParsedData):
  • insert_many()是PyMongo提供的一个高效方法，用于一次性插入多个文档。相较于在循环中多次调用insert_one()（或旧版的insert()），insert_many()能显著提高导入大量数据时的性能。
  • 在插入之前，我们添加了一个简单的if myParsedData:检查，以避免在列表为空时调用insert_many()。

注意事项与最佳实践

1. 错误处理: 在实际应用中，CSV文件中的数据可能不总是干净和格式正确的。例如，一个本应是数字的字段可能包含非数字字符（如空字符串或文本）。直接对这些值调用int()或float()会导致ValueError。为了提高代码的健壮性，建议使用try-except块来捕获并处理这些潜在的转换错误：

   # 示例：带错误处理的类型转换辅助函数
   def safe_int(value):
       try:
           return int(value)
       except (ValueError, TypeError):
           # 可以选择返回None、默认值，或者记录错误信息
           print(f"警告: 无法将 '{value}' 转换为整数。返回 None。")
           return None 
   
   def safe_float(value):
       try:
           return float(value)
       except (ValueError, TypeError):
           print(f"警告: 无法将 '{value}' 转换为浮点数。返回 None。")
           return None 
   
   # 在列表推导式中使用这些安全函数
   myParsedData = [
     {
       'country_id': safe_int(elem['country_id']),
       'country_name': elem['country_name'],
       'zone_id': safe_int(elem['zone_id']),
       'minLat': safe_float(elem['minLat']),
       'maxLat': safe_float(elem['maxLat']),
       'minLong': safe_float(elem['minLong']),
       'maxLong': safe_float(elem['maxLong']),
     }
     for elem in reader
   ]

   你可以选择在转换失败时返回None、默认值，或者记录错误信息并根据业务需求决定如何处理该行数据。

2. 性能优化: 如代码所示，使用insert_many()批量插入文档比逐个插入效率更高，因为它减少了与MongoDB服务器的往返次数。对于非常大的CSV文件，你可能还需要考虑分批（batch）插入，即每N条数据调用一次insert_many()，以避免一次性加载所有数据到内存中。

3. 数据验证: 除了类型转换，你可能还需要进行更复杂的数据验证，例如检查字段是否为空、是否在有效范围内等。这些验证逻辑可以在类型转换之前或之后添加。

4. 编码: 始终建议在打开文件时明确指定编码，如encoding='utf-8'，以避免因编码问题导致的数据读取错误。

5. mongoimport工具: 虽然本教程专注于使用PyMongo进行编程导入，但MongoDB官方也提供了mongoimport命令行工具，它能够直接从CSV、JSON等文件导入数据。mongoimport通常能够自动识别并转换一些基本数据类型（如数字和布尔值），但对于复杂或不规则的数据，编程方式提供了

以上就是《PyMongo导入CSV如何设置数值类型》的详细内容，更多关于的资料请关注golang学习网公众号！