企业官网建设流程全解析

前言

在网络爬虫实际采集场景中，标准 JSON 格式数据仅占部分接口返回内容，大量前端异步接口、加密接口、老旧站点、自定义数据接口会返回非标准 JSON 文本。此类数据存在键名无双引号、单引号包裹键值、末尾多余逗号、注释字符、特殊转义符、残缺结构、混合 HTML 文本、中文乱码、键值缺失等各类格式异常，直接使用 Python 内置json模块解析时，会直接抛出JSONDecodeError解码异常，造成爬虫程序中断、数据采集失败、批量任务卡死等生产级问题。

常规 JSON 解析方案仅能适配 RFC4180 标准规范格式，无法兼容各类畸形数据结构，而爬虫业务具备数据源不可控、接口格式杂乱、第三方站点无规范约束等特征，非标准 JSON 容错解析能力，已然成为爬虫数据处理的核心必备技能。本文系统性梳理爬虫高频遇到的非标准 JSON 异常类型，拆解底层解析报错原理，提供轻量化字符串预处理、第三方容错解析库、正则修正、多层异常捕获、混合数据剥离等多维度落地解决方案，搭配工业级可运行代码案例与底层原理详解，覆盖 99% 爬虫畸形 JSON 解析场景。

全文严格遵循工程化开发规范，采用专家书面语撰写，无任何图片与流程图，通过多维度对比表格、分层知识点拆解、代码原理注释、异常场景复现等形式丰富内容结构，全文字数超 6000 字，适配单机爬虫、分布式爬虫、批量数据清洗等全业务场景。本文涉及全部依赖库与官方文档超链接如下，可直接跳转查阅安装配置与语法手册：

1. Python json 内置模块官方文档：标准 JSON 解析核心库
2. demjson3 容错解析库文档：畸形 JSON 兼容解析工具
3. json5 解析库官方说明：JSON5 规范数据专用解析组件
4. re 正则表达式标准库文档：文本修正与字符过滤核心
5. ast 抽象语法树模块文档：单引号字典安全解析工具
6. chardet 编码检测库：非标准编码乱码修复依赖
7. traceback 异常追踪模块：解析异常日志排查工具

通过本文学习，开发者可彻底解决爬虫中非标准 JSON 解析报错问题，提升爬虫程序健壮性与容错性，降低线上运维故障率，保障批量数据采集任务持续稳定运行。

一、爬虫中非标准 JSON 核心异常类型与报错原理

1.1 标准 JSON 语法强制规范

标准 JSON 拥有严格的语法约束，也是判定数据是否合规的核心依据，原生json.loads仅支持以下规则：

1. 对象键名必须使用双引号包裹，禁止单引号、无引号格式；
2. 字符串内容仅允许双引号包裹，布尔值、数字、null 无引号；
3. 数组与对象末尾禁止多余逗号，不允许存在悬空分隔符；
4. 文本内禁止单行注释、多行注释、特殊自定义符号；
5. 转义字符必须合规，禁止无效转义、连续反斜杠；
6. 整体结构完整，禁止残缺括号、截断文本、嵌套错乱。

一旦接口返回数据违背以上任意规则，标准解析器将直接终止执行并抛出解码异常。

1.2 爬虫高频非标准 JSON 异常分类

结合百万级爬虫采集经验，现将生产环境最常见的非标准 JSON 畸形格式整理分类，并附带真实异常示例，便于开发者快速识别问题：

表格

1.3 标准 JSON 解析失败底层原理

Python 内置json模块采用严格递归下降解析器，解析过程逐字符校验语法结构、符号规范、嵌套关系，不存在自动修复与兼容逻辑。当读取到不符合 RFC 标准的字符时，解析器无法继续匹配语法规则，立即抛出解码异常并终止程序。

爬虫场景下，多数后端开发人员不会严格遵循 JSON 输出规范，直接复用 JS 对象、字典字符串、拼接文本作为接口返回值，是导致非标准 JSON 泛滥的核心诱因。同时，网络传输丢包、接口限流、数据压缩异常等问题，会进一步加剧数据格式损坏，提升解析难度。

1.4 非标准 JSON 解析核心设计原则

针对复杂畸形数据，容错解析需遵循三大核心原则，兼顾解析成功率与数据安全性：

1. 优先修复而非强制解析：通过正则替换、字符清洗修正格式，尽量使用原生 json 模块，减少第三方库依赖；
2. 分级容错处理：轻度格式异常使用字符串修正，重度畸形数据使用专用容错库，残缺数据做异常兜底；
3. 安全过滤风险字符：禁止直接执行未知字符串代码，防止代码注入、恶意字符攻击，保障爬虫服务安全。

二、轻度畸形 JSON：原生模块 + 字符串预处理修复方案

针对单引号、多余逗号、冗余字符、无效转义等轻度格式异常，无需安装第三方库，通过正则替换、字符清洗、文本截取即可完成格式标准化，适配轻量化爬虫项目，无额外依赖、运行效率更高。

2.1 场景一：单引号字典格式解析

2.1.1 场景说明

前端接口常直接返回 Python/JS 字典格式文本，全部使用单引号包裹键名与字符串值，是爬虫最高频的非标准 JSON 场景，原生json.loads完全无法解析。

2.1.2 两种落地实现方案

方案 1：正则替换单引号为双引号

通过正则精准替换非嵌套场景下的单引号，快速标准化格式，代码轻量化：

python

运行

import json import re # 非标准JSON：单引号格式 bad_json_str = {'title':'Python爬虫解析','code':200,'list':[11,22,33]} def replace_single_quote(json_text: str) -> str: """正则替换单引号为双引号，修复字典格式""" # 匹配键值单引号并替换 text = re.sub(r"'(.*?)':", r'"\1":', json_text) text = re.sub(r":\s*'(.*?)'", r':"\1"', text) return text # 格式修复 fix_str = replace_single_quote(str(bad_json_str)) # 标准解析 result = json.loads(fix_str) print(result) print(type(result))

代码原理详解：正则表达式分两次匹配，分别处理字典键名单引号与值单引号，规避嵌套字符串误替换问题；仅做字符替换，不修改数据结构，保证解析准确性；全程使用内置 re 与 json 模块，无第三方依赖，运行速度快。

方案 2：ast.literal_eval 安全解析

Python 内置 ast 模块的literal_eval函数，专门用于安全解析字符串格式字典、列表，天然兼容单引号格式，是该场景最优解：

python

运行

import ast # 畸形单引号JSON数据 raw_text = "{'name':'非标准数据','num':888,'content':'爬虫解析测试'}" # 安全解析 data = ast.literal_eval(raw_text) print(f"解析结果：{data}") print(f"数据类型：{type(data)}") print(f"取值测试：{data['name']}")

代码原理详解：ast.literal_eval会将字符串解析为 Python 基础数据类型，仅支持常量数据解析，不会执行任意代码，相较于eval()函数具备极高安全性，杜绝代码注入风险；原生兼容单引号、数字、布尔值、嵌套列表字典，适配绝大多数轻度畸形字典数据。

2.2 场景二：末尾多余逗号修复

2.2.1 异常特征

数组、对象最后一个元素后存在多余逗号，是前端拼接数据的常见问题，属于典型语法违规。

2.2.2 通用清除代码

python

运行

import re import json def remove_trailing_comma(json_text: str) -> str: """移除JSON数组、对象末尾多余逗号""" # 移除 } 前多余逗号 text = re.sub(r",\s*}", "}", json_text) # 移除 ] 前多余逗号 text = re.sub(r",\s*]", "]", text) return text # 含多余逗号的畸形数据 bad_str = '{"data":[10,20,30,],"info":{"a":1,}}' fix_str = remove_trailing_comma(bad_str) data = json.loads(fix_str) print(data)

代码原理详解：通过非贪婪正则匹配逗号 + 空白符 + 闭合符号的组合，精准删除悬空逗号，保留正常数据内部标点；支持换行、空格等混合空白格式，适配前端格式化后的畸形文本。

2.3 场景三：剥离 JS 变量与冗余字符

2.3.1 异常特征

部分网页会将 JSON 数据嵌套在 JS 变量中，格式为var data = {...};，存在前后冗余字符，无法直接解析。

2.3.2 文本截取清洗方案

python

运行

import json import re def strip_js_json(raw_text: str) -> str: """剥离JS变量、分号、前后冗余字符，提取纯JSON片段""" # 匹配大括号、中括号包裹的核心数据 pattern = re.compile(r"(\{.*\}|\[.*\])", re.S) match = pattern.search(raw_text) if match: return match.group(1) return raw_text # 带JS冗余字符的非标准数据 raw = "window.spiderData = {code:200,msg:'success'};console.log('end');" fix_json = strip_js_json(raw) print(fix_json)

代码原理详解：使用单行匹配模式re.S适配换行嵌套 JSON，精准提取首个完整对象 / 数组片段，剔除 JS 变量名、分号、打印语句等无效内容；通用性强，适配各类前端嵌套数据格式。

2.4 场景四：清除注释与无效转义字符

2.4.1 代码实现

python

运行

import re import json def clean_json_comment(json_text: str) -> str: """清除JSON单行注释、多行注释与无效转义""" # 移除单行注释 // text = re.sub(r"//.*?\n", "", json_text) # 移除多行注释 /* */ text = re.sub(r"/\*.*?\*/", "", text, re.S) # 修复连续反斜杠转义 text = re.sub(r"\\+", r"\\", text) return text # 含注释畸形数据 comment_json = ''' { "list":[1,2,3], // 采集列表 "num":100 /* 数据总量 */ } ''' fix_data = clean_json_comment(comment_json) res = json.loads(fix_data) print(res)

代码原理详解：分步清除两类注释格式，避免注释内容干扰 JSON 结构；合并连续反斜杠，修复接口二次转义导致的解析失败；清洗逻辑轻量化，可嵌套在爬虫数据解析通用方法中。

三、重度畸形 JSON：专业容错库完整兼容方案

针对无引号键名、undefined 关键字、残缺结构、JSON5 规范数据等重度异常格式，简单字符串修复无法全覆盖，需使用json5、demjson3等专业容错解析库，实现一键兼容解析，大幅降低代码复杂度。

3.1 核心依赖安装

bash

运行

# JSON5标准解析库，支持无引号、注释、单引号 pip install json5 # 全量容错解析库，兼容各类极端畸形JSON pip install demjson3

3.2 方案一：json5 库兼容解析

3.2.1 核心特性

JSON5 是 JSON 的拓展规范，原生支持无引号键名、单引号、注释、末尾逗号、undefined等语法，完美适配前端原生 JS 对象数据，是爬虫重度畸形 JSON 首选方案。

3.2.2 完整代码案例

python

运行

import json5 # 重度非标准JSON：无引号+注释+末尾逗号+单引号 bad_json = ''' { title: '爬虫数据解析', id: 10086, data: [1,2,3,], tips: // 自定义提示 '非标准JSON兼容测试' } ''' # 直接容错解析，无需手动修复 data = json5.loads(bad_json) print("解析结果：", data) print("字段取值：", data["title"])

代码原理详解：json5 解析器基于 JSON5 规范重构语法校验逻辑，放宽原生 JSON 的严格限制，自动识别无引号标识符、单引号字符串、注释内容；底层采用容错词法分析，自动忽略多余符号与无效语法，无需人工正则修正，代码极简且兼容性极强。

3.3 方案二：demjson3 万能容错解析

3.3.1 核心特性

demjson3 是目前兼容性最强的 JSON 解析工具，支持残缺 JSON、自定义空值、混合编码、极端嵌套畸形数据，提供宽松解析模式，适配接口截断、数据损坏等极端场景。

3.3.2 完整代码案例

python

运行

import demjson # 极端畸形数据：undefined+无引号+残缺结构 worst_json = "{code:200,data:undefined,info:{name:'爬虫'}}" # 宽松模式容错解析 result = demjson.decode(worst_json, strict=False) print(result) print("状态码：", result["code"])

代码原理详解：通过strict=False关闭严格语法校验，自动兼容 JS 内置关键字 undefined、null、NaN；对残缺括号、截断文本做兜底补全处理，最大限度保留有效数据；适合接口不稳定、数据频繁损坏的爬虫场景。

3.4 三大容错解析方案横向对比

结合爬虫业务场景，从兼容性、运行效率、安全性、依赖程度四个维度做全面对比，方便选型：

表格

四、残缺与混合数据：多层兜底容错架构设计

爬虫采集过程中，网络波动、接口限流、响应截断会产生残缺 JSON、空数据、混合文本 + JSON等极端场景，单一解析方案无法覆盖，需搭建多层异常捕获 + 分级兜底架构，保证程序不崩溃。

4.1 通用多层容错解析工具类

封装工业级通用解析函数，整合正则修复、ast 解析、json5、异常兜底，一行调用即可适配所有非标准 JSON 场景，可直接集成至爬虫项目：

python

运行

import json import re import ast import json5 import traceback class SpiderJsonParser: """爬虫专用非标准JSON容错解析工具类""" @staticmethod def clear_garbage(text: str) -> str: """统一清洗：注释、多余逗号、JS冗余字符""" # 清除注释 text = re.sub(r"//.*\n", "", text) text = re.sub(r"/\*.*?\*/", "", text, re.S) # 清除末尾逗号 text = re.sub(r",\s*}", "}", text) text = re.sub(r",\s*]", "]", text) # 提取纯JSON片段 res = re.search(r"(\{[\s\S]*\}|\[[\s\S]*\])", text) return res.group(1) if res else text @staticmethod def parse(raw_text: str): """多层分级容错解析核心方法""" if not raw_text or not isinstance(raw_text, str): return None # 第一层：标准json直接解析 try: return json.loads(raw_text) except json.JSONDecodeError: pass # 第二层：基础清洗后标准解析 try: fix_text = SpiderJsonParser.clear_garbage(raw_text) return json.loads(fix_text) except json.JSONDecodeError: pass # 第三层：ast解析单引号字典 try: return ast.literal_eval(fix_text) except (ValueError, SyntaxError): pass # 第四层：json5重度兼容解析 try: return json5.loads(fix_text) except Exception: pass # 最终兜底：打印异常日志，返回空值 traceback.print_exc() return None # 工具类调用示例 if __name__ == "__main__": # 测试极端混合畸形数据 test_text = 'var res={data:[1,2,],name:"爬虫",msg:undefined};' parse_data = SpiderJsonParser.parse(test_text) print("最终解析结果：", parse_data)

代码原理详解：

1. 采用自上而下的分级解析逻辑，优先使用高效原生方案，逐级降级使用容错库；
2. 统一垃圾字符清洗方法，前置处理通用格式问题，提升解析成功率；
3. 全层级异常捕获，任意环节报错自动进入下一级方案，不会中断程序；
4. 最终兜底返回空值并打印异常堆栈，便于后期问题排查，适配无人值守爬虫。

4.2 混合编码乱码配套修复

非标准 JSON 常搭配编码异常出现，结合chardet库自动检测编码，解决中文乱码、二进制畸形文本问题，与容错解析搭配使用：

python

运行

import chardet def repair_encode(raw_bytes): """二进制响应编码自动修复""" encode_info = chardet.detect(raw_bytes) return raw_bytes.decode(encode_info["encoding"], errors="ignore")

该方法可处理 GBK、GB2312、ISO-8859-1 等非标编码接口，完善非标准数据全链路处理能力。

五、生产环境解析优化与安全规范

5.1 解析性能优化策略

1. 按需引入容错库：常规接口使用原生 json 解析，仅畸形接口调用 json5/demjson3，减少性能损耗；
2. 缓存正则规则：预编译正则表达式，避免循环爬取中重复编译，提升批量解析速度；
3. 截断超长文本：对超过阈值的异常响应做截断处理，防止超大畸形文本占用内存。

5.2 数据安全防护规范

1. 禁止使用 eval 函数：杜绝直接执行字符串代码，仅使用 ast.literal_eval 安全解析；
2. 特殊字符过滤：解析完成后过滤 \x00、控制字符等危险符号，防止数据库写入异常；
3. 异常数据隔离：解析失败的原始文本单独落地保存，便于后续人工复盘修复，不直接丢弃。

5.3 日志监控机制

在爬虫解析模块中增加日志记录，对解析失败、降级使用容错库的接口做标记，定时统计畸形接口占比，便于后续针对性优化采集规则，提升爬虫稳定性。

六、常见报错快速排查方案

6.1 JSONDecodeError: Expecting property name

问题原因：键名无双引号、单引号包裹解决方案：正则替换 + ast.literal_eval 组合修复。

6.2 JSONDecodeError: Trailing comma not allowed

问题原因：数组 / 对象末尾多余逗号解决方案：调用末尾逗号清除函数批量清洗。

6.3 JSONDecodeError: Invalid \escape

问题原因：无效转义、连续反斜杠解决方案：正则合并重复转义符，修正字符串格式。

6.4 解析出现 undefined 关键字报错

问题原因：前端 JS 原生关键字解决方案：使用 json5 或 demjson3 宽松模式解析。