Python案例怎么实现数据计数统计？

wen python案例 2026-06-09 15

Python案例：数据计数统计的7种高效实现方法（附完整代码）

📖 文章导读

为什么数据计数统计如此重要？
基础统计：列表中的元素计数（count & Counter）
文本数据分析：单词频率统计实战
大数据集优化：pandas 分组计数
数据库查询计数：SQL联动的Python方案
文件数据统计：CSV与JSON计数案例
高频问题解答（Q&A）

为什么数据计数统计如此重要？

数据计数统计是数据分析的基石,无论是电商的商品销售频次、社交媒体的关键词热度，还是科研中的分布规律，最终都要回归到「统计数量」这一核心操作，Python凭借内置模块和第三方库，提供了从简单列表到百万级数据集的灵活方案。

Python案例怎么实现数据计数统计？

基础统计：列表中的元素计数

场景：统计一个列表中各元素的出现次数

data = ['苹果', '香蕉', '苹果', '橙子', '香蕉', '苹果']

✅ 方法1：使用`count()`（适合小规模单元素查询）

apple_count = data.count('苹果')  # 返回3

✅ 方法2：使用`collections.Counter`（一劳永逸）

from collections import Counter
counter = Counter(data)
print(counter)  
# 输出: Counter({'苹果': 3, '香蕉': 2, '橙子': 1})
# 获取前2名高频项：
print(counter.most_common(2))  
# 输出: [('苹果', 3), ('香蕉', 2)]

优势：时间复杂度O(n)，比手动循环快得多，且直接支持排序、累加等操作。

文本数据分析：单词频率统计

实战：清洗一篇文章并统计单词频次

import re
from collections import Counter
text = "Python is powerful. Python is easy to learn! Learn Python today."
# 1. 去除标点、转小写
words = re.findall(r'\b\w+\b', text.lower())
# 2. 统计
word_count = Counter(words)
print(word_count)
# 输出: Counter({'python': 3, 'is': 2, 'learn': 2, 'powerful': 1, ...})

进阶：忽略停用词（Stopwords）

stopwords = {'is', 'to', 'a', 'the'}
cleaned = [w for w in words if w not in stopwords]
filtered_count = Counter(cleaned)

为什么这样做？ 搜索引擎排名算法通常更关注实义词频率（如品牌名、产品词），而非停用词。

大数据集优化：pandas 分组计数

场景：从200万行销售数据中统计每个类别的订单数

❌ 错误示范：逐行循环count()会导致性能灾难

# 不推荐
for category in df['category'].unique():
    cnt = df[df['category'] == category].shape[0]

✅ 正确方案：pandas的`value_counts()`或`groupby().count()`

import pandas as pd
# 方法1：直接统计
category_counts = df['category'].value_counts()
# 方法2：分组更灵活（可附带其他统计）
grouped = df.groupby('category')['order_id'].count()

性能对比：value_counts()处理100万行仅需0.3秒，而循环需要40秒以上。

多维度统计：按年份+类别同时计数

df.groupby(['year', 'category']).size()  # 返回MultiIndex Series

数据库查询计数：SQL联动的Python方案

场景：从MySQL统计用户活跃度

import mysql.connector
from collections import Counter
conn = mysql.connector.connect(host='localhost', database='shop')
cursor = conn.cursor()
cursor.execute("SELECT user_id FROM user_log")
user_ids = [row[0] for row in cursor.fetchall()]
# 用Counter统计每个用户ID出现次数
user_activity = Counter(user_ids)
print(user_activity.most_common(10))  # 最活跃的10个用户

但更好的做法是直接在SQL中完成计数：
SELECT user_id, COUNT(*) FROM user_log GROUP BY user_id ORDER BY 2 DESC LIMIT 10;
然后Python仅负责可视化展示,这能减少网络传输量。

文件数据统计：CSV与JSON计数案例

案例1：统计CSV文件中某列的非空值数量

import csv
with open('data.csv', 'r') as f:
    reader = csv.DictReader(f)
    non_null = sum(1 for row in reader if row['email'])  # 计数非空邮箱

案例2：JSON日志中统计错误类型

import json
from collections import Counter
with open('logs.json', 'r') as f:
    logs = json.load(f)  # 假设是列表形式
error_types = [log['error_code'] for log in logs if 'error_code' in log]
error_counter = Counter(error_types)

注意：如果JSON文件大于100MB，建议用ijson流式解析，避免内存溢出。

高频问题解答（Q&A）

❓ Q1：为什么我的`Counter`结果不按次数排序？

答：Counter本身按添加顺序或字母顺序无序，但可用.most_common()按降序输出。
或者手动排序：sorted(counter.items(), key=lambda x: x[1], reverse=True)

❓ Q2：统计超过10亿数据时内存不够怎么办？

答：

方法1：分批读取，用Counter.update()逐批累加。
方法2：使用dask库分布式计算，或collections.defaultdict(int)手动内存管理。
方法3：存数据库用SQL的COUNT，只返回结果而非全部数据。

❓ Q3：如何统计嵌套列表中的元素频次？

nested = [['a', 'b'], ['a'], ['b', 'c']]
from itertools import chain
flat = list(chain.from_iterable(nested))  # 展平
Counter(flat)  # 输出: Counter({'a': 2, 'b': 2, 'c': 1})

❓ Q4：pandas的`value_counts()`和`groupby().size()`有何区别？

答：

value_counts()默认对指定列统计唯一值数量，返回降序Series。
groupby().size()返回每个分组的行数索引，适用于多列分组场景。
性能上，value_counts()略快（针对单列）。

❓ Q5：如何排除NaN值再进行计数？

df['col'].dropna().value_counts()  # 先drop NaN
# 或直接
df['col'].value_counts(dropna=False)  # 保留NaN计数

选择最佳计数策略的决策表

数据规模	数据结构	推荐方法	原因
< 1万	列表/元组	`Counter`	简洁高效
1万~100万	DataFrame	`value_counts()`	无需数据库
> 100万	数据库	SQL的`GROUP BY`	减少内存压力
文本/日志	字符串	`re`+`Counter`	精准提取关键词
流式/动态	无限数据流	`defaultdict(int)`	实时更新