企业官网建设流程全解析

1. 别再用 LibreOffice 硬扛了：AnyDoc + Docling 的双流水线拆法

LibreOffice 又把容器内存吃满，1997 年的.doc解析直接超时。换成 AnyDoc 后同一份文件 10ms 出 Markdown，但扫描件它不管，得交给 Docling。两条流水线跑完要调 LLM 做切块质检，Key 统一从 TaoToken 官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=anydoc-docling 领，Base URL 固定 https://taotoken.net/api。

先把报错现场还原一下。很多人做过这种运维单：一个 Java + LibreOffice 的文档转换 Sidecar，跑着跑着容器内存飙到 2G 被 OOM killer 干掉，业务日志里只留一句Conversion failed: source file could not be loaded。更折磨的是，这个报错时有时无——同一批文件上午能过、下午就挂，原因往往是格式探测走了另一条分支。后来把这条路径切开之后就清楚了：数字原生 Office 文档和扫描件，本来就是两个赛道的东西，用同一个进程扛两件事，不炸才怪。

所以现在的做法是拆两段：

• 第一段AnyDoc：只处理数字原生格式。.doc/.docx/.docm、.xls/.xlsx/.xlsm/.xlsb、.ppt/.pptx、OpenDocument 三件套、RTF、EPUB、CSV，以及带文本层的 PDF。本地 Rust 二进制，零系统依赖，不需要装 Office 运行时，也不需要 Java；
• 第二段Docling：只处理镜像型和扫描型 PDF、图片。OCR、版面分析、表格结构识别、阅读顺序还原，都是它的活；
• 两段输出统一收口成 GitHub-Flavored Markdown，再进切块、向量化、元数据抽取、质量打分；
• 最后一环的 LLM 调用统一走 TaoToken。Base URL 填https://taotoken.net/api，一把YOUR_API_KEY打通 Claude Code、Codex 以及脚本里的 OpenAI 兼容调用。

这套分工的意义在哪？AnyDoc 把"读得快、读得干净"这件事做到极致，代价是它天生不碰像素——不认 OCR。Docling 把"读得懂、读得全"这件事做到极致，代价是慢，一份 20 页扫描件跑 OCR 是秒级到十几秒级。两者职责不重叠，串联起来刚好互补。

再往下走一步，Markdown 到手之后真正吃钱的是 LLM：给每个 chunk 打标签、抽实体、生成一句话摘要、对低置信度段落做二次校对。这一步如果 Key 分散在五六个地方，运维会非常痛苦。TaoToken 的价值就在这里——一个控制台、一个 Base URL、一个 Key，覆盖你手上所有需要调模型的脚本和 IDE 插件。官网入口放在这儿：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=pipeline-arch 。

2. AnyDoc 那一段：anydoc convert 从单文件到批量

2.1 它到底解决什么问题

一句话概括：把 14 种数字原生文档格式，用同一个入口转成规范的 Markdown。

做过 RAG 的人应该都有切身体会。用户扔一份.docx上来，python-docx读出来是一坨带命名空间的 XML；换成.xls得换xlrd；.pptx又要装python-pptx；最老的那种.doc二进制格式，Python 生态里基本没有能稳定吃下的库，最后只能靠服务器上挂一个 LibreOffice 慢慢转。每多支持一种格式就多一层依赖，每多一层依赖就多一类报错，最后花在"把文件读进来"这件事上的时间，比花在模型本身的时间还多。

AnyDoc 的接口设计非常克制：所有格式走同一个函数、同一条命令，不需要写格式分支，也不需要额外配置。另外一个容易被忽略的细节是它靠魔数识别文件真实类型，而不是看扩展名——用户把.xls改名成.docx再上传这种骚操作，做过上传功能的人都懂这有多常见。

2.2 安装与单文件转换

安装它不挑技术栈，Python、Node、Rust 三种方式任选：

# Python 用户 pip install anydoc # Node.js 用户 npm install -g anydoc # Rust 用户 cargo install anydoc

单文件转换最直白：

anydoc convert ./raw_office/2024Q4财报.docx -o ./md/2024Q4财报.md

如果只想看效果、不落盘，直接打印到标准输出也行：

anydoc convert ./raw_office/供应商协议.doc | head -n 60

2.3 批量转换：把整个目录洗成 Markdown

生产环境里不会一份一份转，下面这段脚本把raw_office/里所有数字原生文档一次性洗完，格式和源文件一一对应：

#!/usr/bin/env bash set -uo pipefail SRC_DIR="./raw_office" OUT_DIR="./md" mkdir -p "$OUT_DIR" find "$SRC_DIR" -type f \ \( -name '*.doc' -o -name '*.docx' -o -name '*.docm' \ -o -name '*.xls' -o -name '*.xlsx' -o -name '*.xlsm' -o -name '*.xlsb' \ -o -name '*.ppt' -o -name '*.pptx' \ -o -name '*.odt' -o -name '*.ods' -o -name '*.odp' \ -o -name '*.rtf' -o -name '*.epub' -o -name '*.csv' \) \ -print0 | while IFS= read -r -d '' f; do rel="${f#$SRC_DIR/}" out="$OUT_DIR/${rel%.*}.md" mkdir -p "$(dirname "$out")" if anydoc convert "$f" -o "$out" 2>/tmp/anydoc.err; then echo "[OK] $f -> $out" else echo "[FAIL] $f :: $(cat /tmp/anydoc.err)" >&2 fi done

两个细节值得注意：

• 用-print0+read -d ''而不是for f in $(find ...)，是为了扛住文件名里的空格和中文括号，这在中文企业文档里非常常见；
• 失败不要set -e直接退，而是记录到 err 文件里继续跑。批量场景下一份坏文件不应该拖垮整个管道。

2.4 输出质量的两个观察点

跑完一批之后，重点看三个东西：

1. 标题层级。Word里的 Heading 1/2/3 应该映射成#/##/###，如果全变成普通段落，后面对切块策略影响很大；
2. 表格是不是 GFM 表格。如果表格没转好，切块时一整张表会被拆散，检索直接废掉；
3. Excel 的数值列。整数是不是还保持整数、百分比是不是还带%，如果变成1.0000000000000002这类浮点垃圾，说明精度处理没走通。

这三条过一遍，基本就能判断这批文档能不能直接进向量库了。

3. Docling 那一段：扫描件 OCR 与版面还原

AnyDoc 明确不做 OCR，这不是 bug，是设计边界。凡是扫描件、传真件、拍照 PDF、PPT 截图这类"看起来是 PDF 其实是图片"的文件，全归 Docling。

3.1 最小可运行示例

from pathlib import Path from docling.document_converter import DocumentConverter, PdfFormatOption from docling.datamodel.base_models import InputFormat from docling.datamodel.pipeline_options import PdfPipelineOptions # 关键开关：OCR 打开、表格结构识别打开 pipeline_options = PdfPipelineOptions() pipeline_options.do_ocr = True pipeline_options.do_table_structure = True # 中文合同/制度类文档，必须把 ch_sim 加进语言列表 pipeline_options.ocr_options.lang = ["ch_sim", "en"] converter = DocumentConverter( format_options={ InputFormat.PDF: PdfFormatOption(pipeline_options=pipeline_options) } ) SCAN_DIR = Path("./raw_scan") OUT_DIR = Path("./md") OUT_DIR.mkdir(parents=True, exist_ok=True) for pdf in sorted(SCAN_DIR.glob("*.pdf")): result = converter.convert(str(pdf)) md = result.document.export_to_markdown() (OUT_DIR / f"{pdf.stem}.md").write_text(md, encoding="utf-8") print(f"[docling] {pdf.name} -> {len(md)} chars")

3.2 跑之前要知道的三件事

第一，模型权重要预热。第一次运行 Docling 会去拉 OCR 和版面模型的权重，如果容器网络受限，会卡在那儿不动。建议在构建镜像的时候就把缓存目录打进层里，用DOCLING_ARTIFACTS_PATH指向本地路径，运行时不再联网。

第二，OCR 是 CPU 密集型。一份 20 页的扫描合同跑完大概十几秒，几十份并排跑就要考虑开多进程或者扔到单独的队列里去，不能跟 API 服务抢同一个进程。

第三，扫描件质量决定上限。300dpi 的黑白扫描件，OCR 效果通常远好于 150dpi 的手机翻拍。这一条没法靠代码解决，遇到特别差的源文件，要么退回去要求业务方重新扫描，要么专门为这批文件降级到"只做关键词命中，不做语义检索"。

3.3 一条实验性的路由：先探文本层，再决定要不要 OCR

对于来源不明的一批 PDF，直接全部走 OCR 会很浪费。可以先试着抽文本层，抽出来的字符数太少再切换到 Docling：

from pathlib import Path from pypdf import PdfReader def looks_like_scan(pdf_path: str, min_chars_per_page: int = 30) -> bool: """如果每页平均可抽字符数低于阈值，就认为这是扫描件。""" try: reader = PdfReader(pdf_path) total = 0 for page in reader.pages: total += len((page.extract_text() or "").strip()) pages = max(len(reader.pages), 1) return (total / pages) < min_chars_per_page except Exception: # 抽不动就当扫描件处理，交给 Docling 兜底 return True for pdf in Path("./raw_pdf").glob("*.pdf"): if looks_like_scan(str(pdf)): print(f"[-> docling] {pdf.name}") else: print(f"[-> anydoc ] {pdf.name}")

这段是启发式的，不是百分之百准。但比起"所有 PDF 一律上 OCR"能省下大量算力，而且不会误伤那些本来就是电子版生成的报表和合同。

4. 合并调度：一个路由函数管两种文件

两条流水线各自跑通之后，下一步是把它们合到一个统一的入口里。核心逻辑其实就是一个suffix -> pipeline的函数：

# pipeline.py from pathlib import Path import subprocess import sys OFFICE_SUFFIX = { ".doc", ".docx", ".docm", ".xls", ".xlsx", ".xlsm", ".xlsb", ".ppt", ".pptx", ".odt", ".ods", ".odp", ".rtf", ".epub", ".csv", } SCAN_SUFFIX = {".pdf", ".png", ".jpg", ".jpeg", ".tif", ".tiff"} def _anydoc_convert(src: Path, dst: Path) -> None: subprocess.run( ["anydoc", "convert", str(src), "-o", str(dst)], check=True, timeout=60, ) def _docling_convert(src: Path, dst: Path) -> None: # docling 的导入放在函数内，避免没装它的时候连路由都跑不起来 from docling.document_converter import DocumentConverter, PdfFormatOption from docling.datamodel.base_models import InputFormat from docling.datamodel.pipeline_options import PdfPipelineOptions opts = PdfPipelineOptions() opts.do_ocr = True opts.do_table_structure = True opts.ocr_options.lang = ["ch_sim", "en"] conv = DocumentConverter( format_options={InputFormat.PDF: PdfFormatOption(pipeline_options=opts)} ) result = conv.convert(str(src)) dst.write_text(result.document.export_to_markdown(), encoding="utf-8") def dispatch(src: Path, out_dir: Path) -> str: out_dir.mkdir(parents=True, exist_ok=True) dst = out_dir / f"{src.stem}.md" suf = src.suffix.lower() if suf in OFFICE_SUFFIX: _anydoc_convert(src, dst) return "anydoc" if suf in SCAN_SUFFIX: _docling_convert(src, dst) return "docling" raise ValueError(f"unsupported suffix: {suf}") if __name__ == "__main__": root = Path(sys.argv[1] if len(sys.argv) > 1 else "./raw") out = Path("./md") for f in sorted(root.rglob("*")): if not f.is_file(): continue try: used = dispatch(f, out) print(f"[{used:>7}] {f}") except Exception as e: print(f"[ ERROR] {f} :: {e}", file=sys.stderr)

这个文件的作用不只是"能跑"，更重要的是把格式决策收敛到一处。以后要加.pages、.key、.msg这些格式，只改路由表；要换 OCR 引擎，只改_docling_convert。

5. TaoToken 发 Key，Base URL 与 LLM 质检调用

Markdown 到手之后，剩下的活基本都得调模型：

• 给每个 chunk 生成 1 句话摘要；
• 抽取实体（人名、公司名、金额、日期）；
• 判断这段内容是不是"目录页/页眉页脚"这类噪声，标出来准备丢弃；
• 对 Docling 出来的低置信度段落，做一次二次校对。

这些调用分散在不同脚本里，如果每个脚本都自己配 Key，运维会疯。我更推荐统一入口：在 TaoToken 官网拿一把 Key，Base URL 统一填https://taotoken.net/api。

5.1 拿 Key 的路径

1. 先到官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=get-key 注册并登录；
2. 进入控制台后打开 API Keys 页面：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=create-key ；
3. 新建一个 Key，粘贴到本地环境变量里，下文所有YOUR_API_KEY都是这一把。

5.2 Python 调用模板

import os from openai import OpenAI BASE_URL = "https://taotoken.net/api" client = OpenAI( api_key=os.environ.get("TAOTOKEN_API_KEY", "YOUR_API_KEY"), base_url=BASE_URL, ) def tag_chunk(chunk_md: str) -> str: resp = client.chat.completions.create( model="claude-sonnet-4-5", temperature=0, messages=[ { "role": "system", "content": ( "你是文档质检助手。给定一段 Markdown 片段，" "输出 JSON：{summary, keywords, is_noise}。" "只输出 JSON，不要解释。" ), }, {"role": "user", "content": chunk_md[:2000]}, ], ) return resp.choices[0].message.content

这里chunk_md[:2000]是刻意截断的。文档打标这种任务，绝大多数信息量集中在开头一段，全量丢进去不但烧 token，还容易被长尾内容带偏。

5.3 环境变量统一写入 shell profile

# ~/.bashrc 或 ~/.zshrc export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api"

设完之后source ~/.bashrc，所有脚本、所有 IDE 插件、所有 CLI 工具共用这一套值。

6. Claude Code / Codex / CC Switch 三件套配置

6.1 Claude Code：走 settings.json

Claude Code 读的是~/.claude/settings.json，在其中通过env字段注入环境变量：

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_MODEL": "claude-sonnet-4-5" } }

如果不想改文件，在 shell 里直接导出也行，效果一样：

export ANTHROPIC_BASE_URL="https://taotoken.net/api" export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY"

注意一个坑：如果你本地同时有多个 Claude Code 配置，ANTHROPIC_AUTH_TOKEN和ANTHROPIC_API_KEY两个变量名不要同时设成不同的值，Claude Code 的优先级取哪个取决于版本，很容易调半天调不对。推荐只留ANTHROPIC_AUTH_TOKEN。

6.2 Codex：走 config.toml

Codex 是完全独立的一套配置体系，走的是~/.codex/config.toml，千万不要把ANTHROPIC_*那一套变量套到 Codex 上，它是按 provider 定义的。

# ~/.codex/config.toml model = "gpt-5" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" wire_api = "chat"

对应的 Key 走环境变量：

export TAOTOKEN_API_KEY="YOUR_API_KEY"

配好之后重启终端，codex启动时就会从 TaoToken 拉取模型。

6.3 CC Switch 三件套：Base URL / API Key / 模型名

如果你在本地同时维护好几套 AI 编码配置（比如公司内网一套、TaoToken 一套、试验性的第三方一套），用 CC Switch 这类工具管理会比手改settings.json省事得多。它的核心就是"三件套"：

在 CC Switch 里新建一个叫TaoToken的 profile，把上面三项填进去。之后切换环境只要在 CC Switch 里点一下，不需要动~/.claude/settings.json，原来的配置也不会被覆盖。对经常在多个项目间切换的同学来说，这个操作能省下大量"我刚才到底改的是哪个文件"的困惑。

6.4 验证配置是否生效

不管走哪一套，最后用一条最小请求验证一下：

curl -sS https://taotoken.net/api/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer ${TAOTOKEN_API_KEY:-YOUR_API_KEY}" \ -d '{ "model": "claude-sonnet-4-5", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 16 }' | head -c 400

返回体里带choices就说明链路通了。返回 401 一般是 Key 没设对；返回 404 通常是 base URL 多写了或漏写了路径段。

7. 七个高频报错与排障清单

这一节全是踩过的坑，按报错原文对照着查。

1）anydoc: unsupported format

大概率是文件魔数和扩展名对不上。用file -b yourfile看一下真实类型，把后缀改成正确的再试。

2）Docling 第一次运行长时间无输出

它在拉 OCR / 版面模型权重。设置DOCLING_ARTIFACTS_PATH指向一个已预热的本地目录，或者提前在构建阶段拉好。

3）OCR 出来的中文全是乱码

检查ocr_options.lang是否包含ch_sim。只配en的话中文会变成一堆问号或方框。

4）Claude Code 报401 Unauthorized

先env | grep ANTHROPIC看看有没有旧值残留。shell profile 里改完记得重开终端，或者在当前会话里unset一下再source。

5）Codex 报404 Not Found

检查base_url后面有没有多写斜杠或路径段。config.toml里的值应该是精确的https://taotoken.net/api。

6）大文件在 Docling 阶段超时

AnyDoc 那边基本不会超时（毫秒级，几百页 Word 也是毫秒级那个量级），瓶颈一定在 OCR。把 Docling 单独拆成一个 worker 队列，设置合理的超时，超时的文件单独落到failed/目录里，人工复核，不要让它卡住主流程。

7）表格在 Markdown 里错位

检查pipeline_options.do_table_structure是不是True。另外，跨页的表格本身就有一定丢失风险，出这种问题的文件建议单独挑出来核对。

8. 什么时候不该用这套组合

不是所有场景都适合 AnyDoc + Docling。给几条反向建议：

• 图片里的图表。Excel 里嵌的柱状图、PPT 里的 SmartArt，AnyDoc 是不会把它还原成数据的，它只保证语义干净，不做视觉理解。这类需求得走多模态模型，不是文档转换能解决的；
• 扫描件的像素级还原。Markdown 本身没有版式概念，任何工具都做不到"跟原稿一模一样"。如果业务要求是"版面必须一样，否则法律上不认"，那就老老实实存 PDF，Markdown 只是辅助索引；
• 结构化字段抽取（发票、身份证、报关单）。这类任务的目标不是"转成 Markdown"，而是"按 schema 输出 JSON"。文档转换只是前处理，真正的活是 schema 抽取模型。别指望把发票.pdf转成 Markdown 之后就自动得到金额和税号；
• 一次性、量很少的转换。如果一个月只转两份文件，直接手动处理比搭流水线划算。

反过来，什么场景最该用？

• 企业知识库入库前的批量清洗（几百上千份制度、合同、报告）；
• AI Agent 的文件处理工具链（用户拖进来什么格式都能吃）；
• 老数据归档迁移（2009 年的.xls接进现代数据栈）；
• 内置到 SaaS 产品里的转换能力（零依赖 + 本地跑 + MIT 协议，商用无顾虑）。

9. 写在最后：从 Key 到流水线，一次跑通

把上面几段拼起来，整条链路其实不长：

1. 数字原生 Office 文档 →anydoc convert一条命令搞定；
2. 扫描件和图片 PDF → Docling 走 OCR 和版面分析；
3. 两份 Markdown 汇到同一个md/目录，统一进切块；
4. 切块后的质检、打标、摘要 → 用 TaoToken 发的 Key 调模型。

如果你还没配过 Key，最快的路径是这样：

1. 先去模型对话页面试试效果：https://taotoken.net/models/detail/chat?utm_source=taotoken_aicg_blog_end&utm_content=try-chat ，不用配环境，网页上直接就能看返回；
2. 如果想长期用，看下 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding-plan ；
3. 决定接入的话，去控制台创建 Key：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=create-key ；
4. Claude Code 用户的详细接入步骤在文档里：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=claude-code-doc 。

回看整条链路，AnyDoc 负责"快"和"干净"，Docling 负责"全"和"看得懂"，TaoToken 负责"把 Key 和 Base URL 统一到一处"。这三件事凑在一起，文档智能这条流水线基本就没有明显的短板了。

你在 RAG 里踩过哪些文档解析的坑？评论区聊聊，我看看能不能再补一篇排障续集。