脚本如何批量转换GIS矢量格式

wen 实用脚本 2026-07-04 25

脚本如何批量转换GIS矢量格式：高效工作流与实战指南

目录导读

为什么需要批量转换GIS矢量格式？
了解数据格式差异与项目协作中的格式转换痛点
常用GIS矢量格式概览
从Shapefile到GeoJSON，从KML到File Geodatabase
脚本批量转换的核心工具
GDAL/OGR、Fiona、PyShp、QGIS命令行工具对比
从零开始：OGR脚本实战
Python + OGR批量转换Shapefile为GeoJSON
高级技巧：条件过滤与坐标系重投影
如何只转换特定图层、过滤属性、或重投影到WGS84
常见问题与解决方案
编码错误、字段名截断、大文件性能优化
问答环节
针对实际工作中最常遇到的5个问题给出明确答案

为什么需要批量转换GIS矢量格式？

GIS数据格式的多样性是行业常态，Shapefile虽为经典，但在Web地图（如Leaflet、Mapbox）中更通用的是GeoJSON；KML/KMZ常用于Google Earth共享；而File Geodatabase（.gdb）又是ArcGIS生态的标准容器。

想象一个场景：你接到一个项目，客户交付了200个Shapefile图层，而你的团队统一使用PostGIS + GeoJSON进行Web发布，手动转换？每个文件15分钟，200个文件就是50小时，脚本批量转换就是效率革命的关键——只需一行命令，即可自动遍历文件夹、转换格式、重命名输出，甚至同时修复常见问题（如字段名过长、中文编码乱码）。

常用GIS矢量格式概览

格式	扩展名	特点	适用场景
Shapefile	.shp + 伴生文件	最古老GIS格式，字段名长度10字符限制	桌面GIS（ArcGIS/QGIS）
GeoJSON	.geojson	轻量、纯文本，支持JavaScript直接解析	Web地图、API交互
KML/KMZ	.kml / .kmz	基于XML，支持样式与网络链接	Google Earth共享
File GDB	.gdb文件夹	Esri容器，支持拓扑、子类型	ArcGIS企业项目
GeoPackage	.gpkg	开源、单文件、支持栅格+矢量	移动GIS、替代Shapefile
GML	.gml	OGC标准XML格式，适合数据交换	政府/机构数据交换
DXF	.dxf	AutoCAD交换格式，支持2D/3D	工程制图与GIS互操作

关键理解：不同格式的字段类型、坐标系支持、大小限制差异巨大，脚本转换时需特别注意：字段名长度、几何类型（点/线/面）、编码（UTF-8 vs GBK）等参数。

脚本批量转换的核心工具

1 GDAL/OGR —— 工业标准，无可替代

安装：pip install gdal（Windows需下载二进制包）
核心命令：ogr2ogr
支持输入/输出格式超过80种
可处理大批量（百万级要素）、支持并行处理

2 Fiona + Shapely —— 纯Python方式

Fiona是OGR的Python封装，读写更Pythonic
适合开发自定义逻辑（如格式转换+数据清洗同时进行）
性能略低于OGR，但灵活性更高

3 QGIS命令行（qgis_process）

无需写代码，可视化转换后导出为批处理脚本
适合不熟悉Python的用户
可调用QGIS原生算法（如修复几何、定义投影）

4 系统脚本（批处理/Bash）

Windows：for %%f in (*.shp) do ogr2ogr -f "GPKG" "%%~nf.gpkg" "%%f"
Linux/Mac：for f in *.shp; do ogr2ogr -f "GeoJSON" "${f%.shp}.geojson" "$f"; done

从零开始：OGR脚本实战

场景：将目录下所有Shapefile转换为GeoJSON，并输出到新文件夹

完整脚本（Python版）：

import os
import subprocess
from pathlib import Path
def batch_convert_shp_to_geojson(input_dir, output_dir, target_epsg=4326):
    """
    批量转换Shapefile为GeoJSON，自动重投影到WGS84
    """
    input_path = Path(input_dir)
    output_path = Path(output_dir)
    output_path.mkdir(parents=True, exist_ok=True)
    for shp_file in input_path.glob("*.shp"):
        # 处理单个文件
        geojson_file = output_path / f"{shp_file.stem}.geojson"
        # 构建ogr2ogr命令
        cmd = [
            "ogr2ogr",
            "-f", "GeoJSON",          # 输出格式
            "-t_srs", f"EPSG:{target_epsg}",  # 重投影
            "-lco", "ENCODING=UTF-8",    # 输出编码
            str(geojson_file),
            str(shp_file)
        ]
        try:
            subprocess.run(cmd, check=True, capture_output=True)
            print(f"✅ 已转换: {shp_file.name} → {geojson_file.name}")
        except subprocess.CalledProcessError as e:
            print(f"❌ 转换失败: {shp_file.name}\n错误: {e.stderr.decode()}")
if __name__ == "__main__":
    batch_convert_shp_to_geojson(
        input_dir=r"D:\gis_data\shapefiles",
        output_dir=r"D:\gis_data\geojson_output"
    )

命令行一行搞定（用于Linux/Mac) ：

mkdir -p ./geojson_output && for f in ./shapefiles/*.shp; do ogr2ogr -f GeoJSON -t_srs EPSG:4326 -lco ENCODING=UTF-8 "./geojson_output/$(basename "$f" .shp).geojson" "$f"; done

性能提示：对于超大文件夹（2000+文件），建议添加-skipfailures参数跳过错误文件，并添加pbar进度条扩展（如tqdm）。

高级技巧：条件过滤与坐标系重投影

1 只转换特定区域内的要素

利用-spat参数：ogr2ogr -spat xmin ymin xmax ymax
-spat 112.5 22.3 114.2 23.9 只保留深圳范围内的要素

2 字段名截断修复

Shapefile转GeoJSON时，字段名被截断为10字符,解决方案：

ogr2ogr -mapFieldType Integer64=Real -lco "FID=id" -lco "GEOMETRY_NAME=geom"

或在OGR中自定义字段映射：-sql "SELECT CAST(name AS varchar(25)) AS name, ... FROM input"

3 多线程并行处理（大幅加速）

使用GNU Parallel（Linux）或multiprocessing（Python）：

ls *.shp | parallel -j 4 'ogr2ogr -f GeoJSON {.}.geojson {}'

4 保持原始坐标系 vs 统一到WGS84

保持原始：不写-t_srs
转换到统一坐标系：-t_srs EPSG:4326（WGS84）或-t_srs EPSG:3857（Web墨卡托）

常见问题与解决方案

问题	原因	解决方案
中文乱码	Shapefile属性表编码非UTF-8	添加`-lco ENCODING=UTF-8` + `-lco "SHAPE_ENCODING=GBK"`
字段名被截断	Shapefile字段名限制10字符	使用GeoPackage或File GDB作为中转格式
转换后要素丢失	几何错误（自相交、空几何）	先运行`ogr2ogr -makevalid`或QGIS“修复几何”
大文件内存溢出	文件含百万级要素	使用`-nlt`指定几何类型 + 添加`-segment`分块处理
输出格式不识别	扩展名未小写（如.GEOJSON）	使用双引号包裹输出路径，或者标准化扩展名

问答环节

Q1: 脚本批量转换时，如何保留所有字段属性？

A: 默认ogr2ogr会保留所有字段，除非使用-select过滤，若需排除某些字段，可加-select "field1,field2"，特别注意：Shapefile转GeoJSON时，日期字段会被转为字符串，需用-fieldTypeToString保留格式。

Q2: 大量文件（5000个以上）转换时有没有加速技巧？

A: 推荐三个方法：

并行处理：使用-nlt + -skipfailures，配合parallel工具
更换输出格式：GeoPackage比单个GeoJSON文件写入更快（单文件可存储多个图层）
使用GDAL虚拟文件系统（/vsizip/、/vsicurl/）避免磁盘I/O瓶颈

Q3: 为什么转换后的GeoJSON文件比原始Shapefile大很多？

A: 因为GeoJSON是纯文本JSON格式，而Shapefile内部是二进制压缩，若需减小体积,可：

使用-lco COORDINATE_PRECISION=6（坐标保留6位小数,约1cm精度）
输出为TopoJSON（减少冗余坐标）

Q4: 脚本能否跨平台运行？Windows/ Mac/Linux通用吗？

A: GDAL本身是跨平台工具，但路径语法不同，推荐的做法是：使用Python库pathlib或os.path统一路径表示，或者使用系统脚本（如Windows用批处理、Mac/Linux用Bash），我们提供的Python脚本在任何安装了Python+GDAL的系统上都能运行。

Q5: 如果我只想转换特定名称的文件（如包含“道路”的Shapefile），脚本如何写？

A: 在Python循环中添加条件判断：

for shp_file in input_path.glob("*.shp"):
    if "road" in shp_file.stem.lower():  # 过滤文件名包含“road”
        # 执行转换

或在Bash中用find：

find . -name "*道路*.shp" -exec ogr2ogr -f GeoJSON {}.geojson {} \;

掌握脚本批量转换GIS矢量格式，不仅是技术能力的体现，更是工作效率的倍增器，从简单的ogr2ogr一行命令，到结合Python的自定义工作流，再到并行处理与错误恢复,每一步都能让你从重复的手动操作中解放出来。

下一步行动：立刻在你的数据文件夹里测试一个最小批量转换任务，体验从“逐个手工”到“一键完成”的飞越，遇到具体报错时，ogr2ogr --help 和搜索引擎是你最强的搭档。