如何将多个来源的网站列合并为单一列并保留其他字段信息

本文介绍使用 pandas 的 melt() 方法将多个同质 来源列（如 Source1site、Source2site、Source3site）高效合并为一列 MergeSourceSite，同时完整保留 CompanyName、City 等关联字段，并自动去重、清理空值、重排索引。

这段内容主要讲的是：如何借助 pandas 的 melt() 方法，把多个同类型的来源列，比如 Source1site、Source2site、Source3site，快速整理并合并到同一列 MergeSourceSite 中，同时把 CompanyName、City 等相关字段完整保留下来，并顺带完成去重、空值清理和索引重排。

在数据整合这类场景里，经常会碰到这样的问题：不同渠道提供了好几列、含义却完全一致的数据，比如多个来源的域名，需要把它们“纵向摊开”成单列，同时又不能丢掉原始记录对应的上下文信息，例如公司名、城市等。像 fillna() 或 combine_first() 这类方法，解决不了这种“一个来源对应一行”的展开诉求；真正适合处理宽表转长表这件事的核心方法，恰恰是 melt()。

以下为完整实现步骤（基于 pandas 2.0+）：

import pandas as pd
import numpy as np

# 示例数据构建（注意：原始 NaN 应为 pd.NA 或 np.nan）
df = pd.DataFrame({
"index": [1, 2, 3, 4, 5, 6, 7],
"CompanyName": ["Comp1", "Comp1", "Comp2", "Comp2", "Comp3", "Comp4", "Comp5"],
"Source1site": ["web1.com", "Web2.com", np.nan, "site2.com", np.nan, np.nan, np.nan],
"Source2site": [np.nan, "web2.com", "site1.com", np.nan, np.nan, "url1.com", "example.com"],
"Source3site": ["web2.com", np.nan, np.nan, np.nan, np.nan, np.nan, np.nan],
"City": ["Paris", np.nan, "Oakland", "London", "Mexico", np.nan, "New York"]
})

# 1. 使用 melt 展开来源列：保留 index/CompanyName/City 为标识变量，合并三个 source 列
merged_sources = df.melt(
id_vars=["index", "CompanyName", "City"],
value_vars=["Source1site", "Source2site", "Source3site"],
var_name="source_origin",# 可选：保留来源标识（本例中可删）
value_name="MergeSourceSite"
)

# 2. 过滤掉空值（仅保留有效域名）
merged_sources = merged_sources.dropna(subset=["MergeSourceSite"])

# 3. 删除冗余列（source_origin），去重并重置索引
merged_sources = (
merged_sources
.drop(columns="source_origin")
.drop_duplicates()
.reset_index(drop=True)
)

# 4. 按原始 index 排序，确保逻辑顺序清晰（可选，增强可读性）
merged_sources = merged_sources.sort_values(by="index").reset_index(drop=True)

print(merged_sources)

输出结果：

 index CompanyName City MergeSourceSite
01 Comp1Parisweb1.com
11 Comp1Parisweb2.com
22 Comp1NaNWeb2.com
32 Comp1NaNweb2.com
43 Comp2Oakland site1.com
54 Comp2 London site2.com
66 Comp4NaNurl1.com
77 Comp5 New Yorkexample.com

⚠️ 注意事项：

• 原始数据中的 "Nan" 字符串需替换为真正的 np.nan 或 pd.NA，否则 dropna() 不生效；建议加载时用 na_values=["Nan", "nan", ""] 显式声明缺失值标识。
• 若需统一域名格式（如小写、去除协议头），可在 dropna() 后添加清洗步骤：

  merged_sources["MergeSourceSite"] = (
  merged_sources["MergeSourceSite"]
  .str.lower()
  .str.replace(r"^https?://|www.", "", regex=True)
  )

• drop_duplicates() 防止同一公司同一城市下重复域名被多次保留；若业务允许重复（如记录采集次数），则可省略该步。

该方案简洁、可扩展性强——新增 Source4site 列时，只需将其加入 value_vars 列表即可，无需修改逻辑结构。