怎么用脚本获取文件编码格式

wen 实用脚本 2026-07-31 2

本文目录导读：

怎么用脚本获取文件编码格式

Python 方法（最常用）
Shell 脚本方法
Node.js 方法
批处理（Windows）
完整的 Python 检测工具
注意事项
安装依赖

这里我为您提供几种获取文件编码格式的脚本方法,涵盖不同编程语言和场景：

Python 方法（最常用）

使用 chardet 库（自动检测）

import chardet
def get_file_encoding(file_path):
    # 读取文件的一部分字节进行检测
    with open(file_path, 'rb') as f:
        raw_data = f.read(10000)  # 读取前10000字节
    result = chardet.detect(raw_data)
    return result['encoding'], result['confidence']
# 使用示例
file_path = 'your_file.txt'
encoding, confidence = get_file_encoding(file_path)
print(f"编码格式: {encoding}, 置信度: {confidence}")

使用纯Python实现（简单检测）

def detect_encoding_utf8(bytes_data):
    try:
        bytes_data.decode('utf-8')
        return 'UTF-8'
    except UnicodeDecodeError:
        pass
    try:
        bytes_data.decode('gbk')
        return 'GBK'
    except UnicodeDecodeError:
        pass
    # 检查BOM
    if bytes_data.startswith(b'\xef\xbb\xbf'):
        return 'UTF-8 with BOM'
    elif bytes_data.startswith(b'\xff\xfe'):
        return 'UTF-16 LE'
    elif bytes_data.startswith(b'\xfe\xff'):
        return 'UTF-16 BE'
    return 'Unknown'
# 使用示例
with open('your_file.txt', 'rb') as f:
    data = f.read()
    print(detect_encoding_utf8(data))

Shell 脚本方法

使用 file 命令

#!/bin/bash
file -bi "$1" | sed 's/charset=//'

使用 ICU 工具（更准确）

#!/bin/bash
if command -v uchardet &> /dev/null; then
    uchardet "$1"
else
    # 备用方案使用 file 命令
    file -b --mime-encoding "$1"
fi

Node.js 方法

const fs = require('fs');
const chardet = require('chardet');
function getFileEncoding(filePath) {
    const buffer = fs.readFileSync(filePath);
    return chardet.detect(buffer);
}
// 使用示例
const encoding = getFileEncoding('your_file.txt');
console.log(`文件编码: ${encoding}`);

批处理（Windows）

@echo off
:: 使用 PowerShell
powershell -Command "$content = Get-Content -Encoding Byte -Path '%1' -TotalCount 100; if ($content[0] -eq 0xEF -and $content[1] -eq 0xBB -and $content[2] -eq 0xBF) { echo 'UTF-8 with BOM' } else { echo 'Need more analysis' }"

完整的 Python 检测工具

#!/usr/bin/env python3
import os
import sys
import chardet
def comprehensive_encoding_detection(file_path):
    """综合编码检测"""
    results = {}
    # 方法1: chardet 检测
    with open(file_path, 'rb') as f:
        raw_data = f.read()
        chardet_result = chardet.detect(raw_data)
        results['chardet'] = chardet_result['encoding']
        results['confidence'] = chardet_result['confidence']
    # 方法2: 检查 BOM
    if raw_data.startswith(b'\xef\xbb\xbf'):
        results['BOM检测'] = 'UTF-8 with BOM'
    elif raw_data.startswith(b'\xff\xfe') or raw_data.startswith(b'\xfe\xff'):
        results['BOM检测'] = 'UTF-16'
    # 方法3: 尝试常用编码
    encodings_to_try = ['utf-8', 'gbk', 'gb2312', 'big5', 'shift_jis', 'iso-8859-1']
    for enc in encodings_to_try:
        try:
            raw_data.decode(enc)
            results[f'可解码为{enc}'] = True
        except UnicodeDecodeError:
            results[f'可解码为{enc}'] = False
    return results
if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("用法: python script.py <文件路径>")
        sys.exit(1)
    file_path = sys.argv[1]
    if not os.path.exists(file_path):
        print("文件不存在!")
        sys.exit(1)
    results = comprehensive_encoding_detection(file_path)
    print(f"文件: {file_path}")
    print(f"检测结果: {results}")

注意事项

准确性：没有100%准确的编码检测方法，chardet 等工具的准确率一般在90%以上
性能：对于大文件，建议只读取前几KB进行检测
多语言：不同编码适用于不同语言环境：
- 中文环境：UTF-8、GBK、GB2312
- 日文环境：Shift_JIS、EUC-JP
- 韩文环境：EUC-KR

安装依赖

Python

pip install chardet

Node.js

npm install chardet

Linux 系统

sudo apt-get install file  # 基础版本
sudo apt-get install uchardet  # 更准确

选择哪种方法取决于您的具体需求和环境,如果是处理中文字符文件，推荐使用 Python + chardet，因为它对中文字符编码的支持最好。