企业官网建设流程全解析

避开这些坑！用Python爬取高德公交数据时，我遇到的5个典型问题及解决方案

去年接手一个城市交通分析项目时，需要批量获取全国30个城市的公交线路数据。原本以为调用高德API就能轻松搞定，结果在真实爬取过程中踩遍了所有能踩的坑。今天就把这些血泪教训整理成五个关键问题点，附带经过实战验证的解决方案，希望能帮你节省至少40小时的调试时间。

1. 坐标系转换：为什么你的公交线路总是偏移500米？

第一次把爬取的公交线路叠加到地图上时，发现所有站点都像被施了魔法般整齐地偏移到附近小区里。这个经典问题源于高德采用的火星坐标系（GCJ-02）与国际通用的WGS84坐标系之间的差异。

典型现象：

• 在Leaflet或Mapbox等地图上显示时出现系统性偏移
• 与OpenStreetMap等第三方地图数据叠加时无法对齐
• 使用geopandas进行空间分析时产生误差

解决方案：

def gcj02_to_wgs84(lng, lat): # 火星坐标系转WGS84的简化算法 ee = 0.00669342162296594323 a = 6378245.0 dlat = transform_lat(lng - 105.0, lat - 35.0) dlng = transform_lng(lng - 105.0, lat - 35.0) radlat = lat / 180.0 * math.pi magic = math.sin(radlat) magic = 1 - ee * magic * magic sqrtmagic = math.sqrt(magic) dlat = (dlat * 180.0) / ((a * (1 - ee)) / (magic * sqrtmagic) * math.pi) dlng = (dlng * 180.0) / (a / sqrtmagic * math.cos(radlat) * math.pi) return [lng - dlng, lat - dlat]

注意：完全精确的坐标转换需要高德的官方加密算法，上述方法在城区范围内误差通常在1-3米，对于公交数据可视化足够用。若需要厘米级精度，建议直接使用高德地图JS API进行展示。

2. 复杂JSON解析：当一条公交线有多个分支时怎么办？

高德API返回的线路数据中，最让人头疼的是遇到环形线路或多分支线路。比如北京的300路公交，主线加支线共有6种不同走向，常规解析方法会丢失大部分信息。

常见错误：

• 只提取buslines数组的第一个元素
• 未处理via_stops字段中的途径站点
• 忽略polyline中的分号分隔符

优化后的解析逻辑：

def parse_complex_route(data): routes = [] for line in data['buslines']: # 处理主线路 main_route = { 'name': line['name'], 'type': 'main', 'polyline': [list(map(float, p.split(','))) for p in line['polyline'].split(';')], 'stops': [{ 'name': stop['name'], 'location': list(map(float, stop['location'].split(','))) } for stop in line['busstops']] } routes.append(main_route) # 处理支线 if 'via_stops' in line: for branch in line['via_stops']: branch_route = { 'name': f"{line['name']}({branch['name']})", 'type': 'branch', 'polyline': [list(map(float, p.split(','))) for p in branch['polyline'].split(';')], 'stops': [{ 'name': stop['name'], 'location': list(map(float, stop['location'].split(','))) } for stop in branch['via_stops']] } routes.append(branch_route) return routes

关键改进点：

1. 使用列表推导式替代传统循环，提升解析速度
2. 保留线路类型标记（主线和支线）
3. 统一坐标格式为[lng, lat]的浮点数列表

3. API限额策略：如何用单个Key爬取百万级数据？

高德API的5000次/日调用限额看似充足，但当需要爬取跨城市数据时很快就会捉襟见肘。我们通过三级策略实现了单日采集20万+条记录：

分级优化方案：

实现代码片段：

from datetime import datetime import pytz def optimal_request_time(): # 利用高德每日配额重置规则 tz = pytz.timezone('Asia/Shanghai') now = datetime.now(tz) if 8 <= now.hour < 22: return 1.5 # 日间间隔 return 0.8 # 夜间加速 def district_partition(city): # 获取城市行政区划 url = f"https://restapi.amap.com/v3/config/district?key={key}&keywords={city}" resp = requests.get(url).json() return [d['name'] for d in resp['districts'][0]['districts']]

提示：配合requests.Session()保持长连接，相比单次请求可节省约15%的时间开销。实测在深圳这类大城市，完整采集所有公交线路数据从原来的3天缩短到18小时。

4. 城市参数陷阱：为什么你的city_phonetic总是报错？

从公交网获取线路列表时，city_phonetic参数堪称最大玄学。我们发现至少有三种特殊情况需要处理：

1. 多音字问题：重庆应使用chongqing而非zhongqing
2. 缩写问题：哈尔滨要写haerbin而非hrb
3. 特殊字符：西安市要写xian而非xi'an

解决方案：

city_mapping = { '北京': 'beijing', '重庆': 'chongqing', '哈尔滨': 'haerbin', '西安': 'xian', # ...其他城市映射 } def get_city_phonetic(city_name): if city_name in city_mapping: return city_mapping[city_name] # 通用拼音转换（适用于大多数普通城市） from pypinyin import lazy_pinyin return ''.join(lazy_pinyin(city_name))

验证方法：

curl -I "http://{city_phonetic}.gongjiao.com/lines_all.html"

当返回200状态码时表示参数正确，404则需要调整拼音拼写。

5. Polyline转换：从字符串到GIS折线的高效处理

高德返回的polyline是形如"113.3232,23.1123;113.3255,23.1155"的字符串，传统处理方法在百万级数据时会出现严重性能瓶颈。

性能对比测试：

终极优化方案：

# 使用numpy向量化操作 import numpy as np def parse_polyline(polyline_str): points = np.fromstring(polyline_str.replace(';', ','), sep=',') return points.reshape(-1, 2).tolist()

实际应用技巧：

1. 对于Shapefile输出，直接使用numpy数组比列表快5倍
2. 在GeoJSON序列化时，保留四位小数可减小30%文件体积
3. 使用rtree建立空间索引可提升后续查询效率

# 生成空间索引示例 from rtree import index idx = index.Index() for i, line in enumerate(lines): coords = parse_polyline(line['polyline']) # 创建边界框 minx = min(c[0] for c in coords) maxx = max(c[0] for c in coords) miny = min(c[1] for c in coords) maxy = max(c[1] for c in coords) idx.insert(i, (minx, miny, maxx, maxy))

在完成广州全市公交数据采集后，这些优化使得整体处理时间从原来的6小时缩短到23分钟。最深刻的教训是：永远不要直接使用GitHub上未经优化的示例代码处理生产级数据，每个环节都可能藏着性能黑洞。