python案例如何融合多源数据进行综合？

wen python案例 2026-10-23 4

多源数据融合的综合案例分析

多源数据融合是数据分析中的核心技能,下面通过一个电商用户行为综合画像的完整案例,系统讲解融合方法。

问题场景

某电商平台有以下多源数据,需要融合构建用户综合价值分,用于精准营销:

数据源	格式
订单系统	交易金额、频次	MySQL表
行为日志	浏览、点击、加购	JSON日志
CRM系统	用户画像、注册信息	CSV
客服系统	投诉、咨询记录	API接口

各源数据存在ID不一致、时间粒度不同、缺失值、量纲不同等问题。

融合框架(四个层次)

数据层对齐 → 特征层融合 → 模型层综合 → 决策层输出

完整代码实现

模拟多源数据

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler
# 源1:订单数据(交易)
orders = pd.DataFrame({
    'user_id': ['U001','U001','U002','U003','U003','U004'],
    'order_amt': [100, 200, 50, 300, 150, 80],
    'order_time': pd.to_datetime(['2024-01-01','2024-02-01',
                                   '2024-01-15','2024-01-20',
                                   '2024-03-01','2024-02-10'])
})
# 源2:行为日志(浏览点击)
behavior = pd.DataFrame({
    'uid': ['U001','U002','U003','U005'],   # 注意:字段名不同!
    'pv': [50, 10, 30, 5],
    'click': [20, 3, 12, 1],
    'cart': [5, 0, 3, 0]
})
# 源3:CRM静态画像
crm = pd.DataFrame({
    'user_id': ['U001','U002','U003','U004','U005'],
    'age': [25, 32, 28, 40, 22],
    'vip_level': ['A','B','A','C','B'],
    'reg_days': [365, 200, 500, 100, 30]
})
# 源4:客服工单
service = pd.DataFrame({
    'user_id': ['U001','U003'],
    'complaints': [1, 2]
})

数据层:统一ID与时间对齐

# ① 统一主键命名
behavior = behavior.rename(columns={'uid': 'user_id'})
# ② 订单数据聚合到"用户-月"粒度
orders['month'] = orders['order_time'].dt.to_period('M')
order_agg = orders.groupby(['user_id','month']).agg(
    total_amt=('order_amt','sum'),
    order_cnt=('order_amt','count')
).reset_index()
# ③ 用户级汇总(跨源对齐到同一粒度)
order_user = orders.groupby('user_id').agg(
    total_amt=('order_amt','sum'),
    order_cnt=('order_amt','count')
).reset_index()

特征层:多源合并 + 清洗

# 依次 merge(以CRM为主表,左连接保留所有用户)
df = crm.merge(order_user, on='user_id', how='left') \
        .merge(behavior, on='user_id', how='left') \
        .merge(service, on='user_id', how='left')
# 缺失值处理:交易/行为无记录说明"未发生",填0;投诉填0
fill_zero_cols = ['total_amt','order_cnt','pv','click','cart','complaints']
df[fill_zero_cols] = df[fill_zero_cols].fillna(0)
# 派生特征(融合的关键:跨源构造新特征)
df['转化率'] = df['order_cnt'] / df['pv'].replace(0, np.nan)
df['客单价'] = df['total_amt'] / df['order_cnt'].replace(0, np.nan)
df['月均消费'] = df['total_amt'] / (df['reg_days']/30)
df[['转化率','客单价']] = df[['转化率','客单价']].fillna(0)
# VIP等级编码
df['vip_score'] = df['vip_level'].map({'A':3,'B':2,'C':1})
print(df.head())

模型层:归一化 + 加权综合评分

# ① 归一化(消除量纲差异)
scaler = MinMaxScaler()
feature_cols = ['total_amt','order_cnt','pv','click',
                '转化率','月均消费','vip_score']
df_scaled = df.copy()
df_scaled[feature_cols] = scaler.fit_transform(df[feature_cols])
# ② 权重设置(业务经验 / 熵权法 / AHP 均可)
weights = {
    'total_amt':   0.25,   # 交易贡献
    'order_cnt':   0.15,
    'pv':          0.05,
    'click':       0.10,
    '转化率':      0.15,
    '月均消费':    0.20,
    'vip_score':   0.10,
}
# ③ 综合价值分
df_scaled['value_score'] = sum(df_scaled[c]*w for c,w in weights.items())
# ④ 投诉扣分(负向因子)
df_scaled['value_score'] -= df['complaints'] * 0.05
df_scaled['value_score'] = df_scaled['value_score'].clip(0, 1)
# ⑤ 分层
df_scaled['user_tier'] = pd.cut(
    df_scaled['value_score'],
    bins=[-1, 0.3, 0.6, 1.0],
    labels=['低价值','中价值','高价值']
)
print(df_scaled[['user_id','value_score','user_tier']])

决策层:输出应用

high_value = df_scaled[df_scaled['user_tier']=='高价值']['user_id'].tolist()
print(f"高价值用户(建议重点营销): {high_value}")
# 可进一步:同步到营销系统 API
# requests.post('https://crm/api/tags', json={'user_id':..., 'tier':...})

融合过程中的关键技术点

难点	解决方案
ID不一致	建立ID映射表,统一命名
时间粒度不同	对齐到同一粒度(用户级/月级)
缺失值	语义判断:业务未发生填0,未知用中位数/模型预测
量纲差异	MinMax/Z-score 标准化
权重主观性	熵权法、AHP、变异系数法或业务加权
正向/负向指标	正向直接加权;负向取反或扣分
实时性差异	离线批(交易)+流式(行为)混合,定期更新