Python案例如何用Pandas做数据分组导出

wen python案例 2026-07-14 202

本文目录导读：

基础分组操作
按单个列分组
按多个列分组
分组后导出到不同文件
高级分组操作示例
条件分组和过滤
批量导出为Excel多工作表
实用工具函数
完整案例：销售数据统计分析

我来详细说明如何使用Pandas进行数据分组和导出操作。

基础分组操作

import pandas as pd
import numpy as np
# 创建示例数据
df = pd.DataFrame({
    '部门': ['技术部', '市场部', '技术部', '市场部', '财务部', '技术部'],
    '员工': ['张三', '李四', '王五', '赵六', '钱七', '孙八'],
    '薪资': [15000, 12000, 18000, 13000, 14000, 16000],
    '绩效': ['A', 'B', 'A', 'C', 'B', 'A'],
    '入职年份': [2020, 2019, 2021, 2020, 2018, 2022]
})
print("原始数据：")
print(df)

按单个列分组

# 按部门分组
grouped = df.groupby('部门')
# 查看分组后的统计数据
print("\n各部门统计：")
print(grouped['薪资'].agg(['mean', 'sum', 'count', 'max', 'min']))
# 遍历分组
for name, group in grouped:
    print(f"\n部门: {name}")
    print(group)

按多个列分组

# 按部门和绩效分组
grouped_multi = df.groupby(['部门', '绩效'])
print("\n各部门、绩效分组统计：")
print(grouped_multi['薪资'].agg(['mean', 'count']))
# 遍历多级分组
for (dept, perf), group in grouped_multi:
    print(f"\n部门: {dept}, 绩效: {perf}")
    print(group)

分组后导出到不同文件

import os
# 创建输出目录
output_dir = '分组数据'
os.makedirs(output_dir, exist_ok=True)
# 方法1：每个分组导出为单独的CSV文件
for name, group in df.groupby('部门'):
    filename = f"{output_dir}/部门_{name}.csv"
    group.to_csv(filename, index=False, encoding='utf-8-sig')
    print(f"已导出: {filename}")
# 方法2：导出到Excel的不同工作表
with pd.ExcelWriter(f'{output_dir}/各部门数据.xlsx', engine='openpyxl') as writer:
    for name, group in df.groupby('部门'):
        group.to_excel(writer, sheet_name=f'部门_{name}', index=False)
        print(f"已写入工作表: 部门_{name}")

高级分组操作示例

# 创建更复杂的数据集
sales_data = pd.DataFrame({
    '日期': pd.date_range('2024-01-01', periods=100, freq='D'),
    '产品': np.random.choice(['A', 'B', 'C'], 100),
    '区域': np.random.choice(['华北', '华东', '华南'], 100),
    '销量': np.random.randint(10, 100, 100),
    '金额': np.random.uniform(100, 1000, 100).round(2)
})
print("\n销售数据前5行：")
print(sales_data.head())
# 复杂分组统计
result = sales_data.groupby(['产品', '区域']).agg({
    '销量': ['sum', 'mean', 'std'],
    '金额': ['sum', 'mean', 'count']
}).round(2)
print("\n产品销售统计：")
print(result)
# 导出复杂分组结果
result.to_csv(f'{output_dir}/销售分组统计.csv', encoding='utf-8-sig')
print("\n分组统计结果已导出")

条件分组和过滤

# 分组后过滤特定条件
def filter_group(group):
    """过滤出每组中金额大于平均值的记录"""
    return group[group['金额'] > group['金额'].mean()]
# 应用过滤函数
filtered_df = sales_data.groupby('产品', group_keys=False).apply(filter_group)
print("\n过滤后的数据（每个产品金额高于平均值）：")
print(filtered_df)
# 另一种方式：使用transform
sales_data['金额均值'] = sales_data.groupby('产品')['金额'].transform('mean')
high_value = sales_data[sales_data['金额'] > sales_data['金额均值']]
print("\n使用transform方法过滤：")
print(high_value)

批量导出为Excel多工作表

def export_groups_to_excel(df, group_col, filename):
    """
    将分组数据导出到Excel的多个工作表
    """
    with pd.ExcelWriter(filename, engine='openpyxl') as writer:
        # 先导出汇总表
        summary = df.groupby(group_col).agg({
            '销量': 'sum',
            '金额': ['sum', 'mean', 'count']
        }).round(2)
        summary.columns = ['销量总计', '金额总计', '金额均值', '订单数']
        summary.to_excel(writer, sheet_name='汇总')
        # 导出每个分组的详细数据
        for name, group in df.groupby(group_col):
            # 清理sheet名称（不能超过31个字符，不能包含特殊字符）
            sheet_name = str(name)[:31]
            group.to_excel(writer, sheet_name=sheet_name, index=False)
    print(f"数据已导出到: {filename}")
# 调用函数
export_groups_to_excel(sales_data, '区域', f'{output_dir}/区域销售数据.xlsx')

实用工具函数

def export_grouped_data(df, group_columns, output_dir='.', format='csv'):
    """
    通用分组导出函数
    参数:
    - df: DataFrame
    - group_columns: 分组列名列表
    - output_dir: 输出目录
    - format: 输出格式 ('csv' 或 'excel')
    """
    import os
    os.makedirs(output_dir, exist_ok=True)
    # 创建分组对象
    if len(group_columns) == 1:
        grouped = df.groupby(group_columns[0])
    else:
        grouped = df.groupby(group_columns)
    # 导出每个分组
    for name, group in grouped:
        # 生成文件名
        if isinstance(name, tuple):
            filename = '_'.join(str(x) for x in name)
        else:
            filename = str(name)
        # 清理文件名
        filename = filename.replace('/', '_').replace('\\', '_')
        if format == 'csv':
            filepath = os.path.join(output_dir, f'{filename}.csv')
            group.to_csv(filepath, index=False, encoding='utf-8-sig')
        elif format == 'excel':
            filepath = os.path.join(output_dir, f'{filename}.xlsx')
            group.to_excel(filepath, index=False)
        print(f"已导出: {filepath}")
# 使用示例
export_grouped_data(sales_data, '产品', f'{output_dir}/按产品分组', format='csv')
export_grouped_data(sales_data, ['产品', '区域'], f'{output_dir}/按产品区域分组', format='excel')

完整案例：销售数据统计分析

def sales_analysis_pipeline():
    """
    销售数据分析完整流程
    """
    # 1. 生成模拟数据
    np.random.seed(42)
    dates = pd.date_range('2024-01-01', periods=365, freq='D')
    data = {
        '日期': dates,
        '产品': np.random.choice(['A', 'B', 'C', 'D'], 365, p=[0.3, 0.3, 0.2, 0.2]),
        '区域': np.random.choice(['华北', '华东', '华南', '西南'], 365),
        '销量': np.random.randint(10, 200, 365),
        '单价': np.random.choice([100, 200, 300, 400, 500], 365),
    }
    df = pd.DataFrame(data)
    df['金额'] = df['销量'] * df['单价']
    # 2. 数据清洗
    df = df.dropna()
    df['月份'] = df['日期'].dt.month
    df['季度'] = df['日期'].dt.quarter
    # 3. 按产品和区域分组统计
    summary = df.groupby(['产品', '区域']).agg({
        '销量': ['sum', 'mean', 'std'],
        '金额': ['sum', 'mean', 'count']
    }).round(2)
    # 4. 导出结果
    with pd.ExcelWriter(f'{output_dir}/销售分析报告.xlsx', engine='openpyxl') as writer:
        # 详细数据
        df.to_excel(writer, sheet_name='原始数据', index=False)
        # 分组汇总
        summary.to_excel(writer, sheet_name='分组汇总')
        # 按月份的趋势分析
        monthly = df.groupby(['月份', '产品']).agg({
            '销量': 'sum',
            '金额': 'sum'
        }).unstack()
        monthly.to_excel(writer, sheet_name='月度趋势')
        # 按区域导出详细数据
        for region, group in df.groupby('区域'):
            group.to_excel(writer, sheet_name=f'{region}区域', index=False)
    print("销售分析报告已生成!")
    return df, summary
# 运行分析
df, summary = sales_analysis_pipeline()
print("\n数据预览：")
print(df.head())
print("\n分组汇总：")
print(summary)

这些案例覆盖了Pandas分组导出的常用场景,包括：