企业官网建设流程全解析

先说个我自己的体会：ego-browser 这套ego_*工具，单个拆出来看都平平无奇——ego_fetch只是把网页抓下来，ego_summary只是把文本压缩成几句摘要，ego_search只是在本地库里翻东西。但我最开始逐一体验时，每条命令跑完都只有一种“就这？”的感觉。直到我把它们按数据流串起来——抓取、清洗、提取、摘要、入库、检索——才意识到ego_*的设计哲学完全是面向组合的：单看是零件，组合起来才是一台完整的个人知识整理引擎。这篇就聊聊ego_*工具怎么组合着用。

1. 为什么 ego_* 单独用没感觉，组合起来才是完全体

先说一个反直觉的地方：ego-browser虽然名字里带 browser，但它的定位并不是让你“浏览网页”，而是解决浏览之后那一大团信息怎么整理的问题。它把一个原本很重的“信息消化流程”拆成了一堆很轻的子命令。这种拆法的好处是每个命令都足够简单、容错可控，坏处也很明显——单独跑任何一个命令，产出的都只是半成品，你会觉得“然后呢？”

1.1 工具族的命名纪律：一个命令只解决一个问题

ego_*家族的命名非常有规律，前缀统一，后缀表达动作。常见的核心成员包括：

• ego_fetch：负责抓取远程内容，输入 URL，输出原始页面文件；
• ego_read：负责把 HTML 这类带标签的页面解析成正文文本；
• ego_clean：负责清洗正文中的广告、推荐位、多余空行等噪音；
• ego_extract：负责抽取结构化字段，比如标题、作者、发布时间；
• ego_summary：负责对干净文本生成摘要；
• ego_ingest：负责把处理好的文档写进本地知识库；
• ego_index：负责给知识库建立索引；
• ego_search：负责在索引里检索；
• ego_meta：负责读写状态信息，比如某个链接什么时候处理过。

这种“一个命令只解决一个问题”的纪律，来自经典的软件设计原则：单一职责。它的直接收益是，你几乎不需要记住复杂的参数组合，每个工具的参数面都很窄。它的隐藏收益是，任意两个工具之间都可以用“标准输入输出”对接，组合方式变得非常多。

1.2 单工具只能完成“一次转换”，组合才能闭环

单独使用ego_fetch，你得到的是一个 HTML 文件。单独使用ego_search，你只能在已有的索引里找东西，如果什么都没索引过，它什么都搜不出来。单工具完成一次转换不错，但价值密度很低。

真正让这套工具产生价值的，是把它们连成一条“信息流水线”。举个最简单闭环：

ego_fetch -u "$URL" | ego_read --strip-nav | ego_clean | ego_summary --length 3

这一条命令，把“一个 URL”变成了“一段摘要”。如果把这个结果再配合ego_extract提取标题日期、再用ego_ingest写进本地库、最后用ego_search查回来，你就拥有了一个完全由自己掌控的小型知识检索系统。

单工具做不到这种闭环，组合可以。这也是我整篇想强调的核心：组合不是把命令一条条排在一起，而是先把整条数据流设计出来，再让每个工具在数据流里占一个明确的位置。

2. ego_* 家族核心成员速览：每个工具的输入输出面

要把工具组合起来，第一步不是急着写命令，而是先搞清楚每个成员的“接口长相”——吃什么输入、吐什么输出、支不支持 stdin/stdout。我把常用的ego_*工具整理成了一张速查表，后面所有组合案例都基于这张表。

2.1 抓取与解析层：从 URL 到结构文本

这一层解决的是“原始内容怎么变成干净文本”。ego_fetch负责网络抓取，默认把页面保存成文件：

ego_fetch -u "https://example.com/post" -o raw.html --timeout 30 --retry 2

ego_read负责把标记语言里的正文抽出来：

ego_read raw.html --strip-nav -o article.md

ego_extract负责抽字段，注意它输出的是一段 JSON：

ego_extract article.md --title --author --date --json

输出示例：

{"title": "示例文章标题", "author": "某作者", "date": "2025-01-01"}

ego_clean负责清洗，把引用块、尾注、无意义副文本清掉：

ego_clean article.md -o clean.md

这一层的几个工具，输出都“面向文本”，方便人工随时打开看一眼。它们也是整条流水线的最前端，如果这里出问题，后面的摘要和检索都会跟着错。

2.2 加工与检索层：从文本到知识和可查对象

这一层解决的是“知识怎么沉淀下来”。ego_summary读干净文本，输出摘要：

ego_summary clean.md --length 3

ego_ingest将一个文档写进知识库：

ego_ingest clean.md --db knowledge.db --title "示例文章标题"

ego_index让知识库变得可检索：

ego_index knowledge.db --rebuild

ego_search执行查询：

ego_search "示例关键词" --limit 5 --json

ego_meta处理状态类信息，后面批量增量开发全靠它：

ego_meta set "done:https://example.com/post" "2025-01-01" ego_meta get "done:https://example.com/post"

2.3 为什么统一的输入输出面是组合的地基

组合能不能成立，取决于一个工具的输出能不能成为下一个工具的输入。ego_*这套工具设计得很“规矩”：凡是文本处理类的命令，默认都读 stdin 或文件参数；凡是结果不是给人看的，就输出 JSON；凡是需要断点重来的阶段，就落盘成文件。

这一点在组合时极其重要。如果你在中间插了一个工具，它输出的是人类阅读的排版文本，而下一个工具期望的是严格 JSON，这条链就断了。我自己的经验是：动手写组合脚本之前，先花十分钟单独跑一遍每个工具，确认输入输出格式和你的预期一致。这个习惯能省掉后面大量的排错时间。

3. 组合的三种模式：管道、文件接力、状态接力

聊完工具面，进入正题——组合模式。我把ego_*的常见组合方式归纳成三种：管道式、文件接力式、状态接力式。三种模式没有优劣之分，适用场景不同。你的数据流越复杂，越需要三种混合使用。

3.1 管道式组合：最轻量，拿来即用

管道式组合是用 shell 的管道把多个工具串成一条命令，适合“一次性处理、结果不必保留中间态”的场景。比如快速看一个页面的摘要：

ego_fetch -u "https://example.com/post" | ego_read --strip-nav | ego_clean | ego_summary --length 3

能这样跑的前提，是这些工具缺省情况下会把结果写到 stdout，而不是强制要求-o输出文件。我试过把ego_clean夹在中间，前一个输出干净的文本，后一个自动从 stdin 读入，非常顺滑。管道式的缺点是中途任何一个环节出错，你很难定位是谁的问题，而且中间结果丢弃后，想重跑某一段就得从头再来。所以管道适合链路短（不超过三四个工具）、不太需要调试的快速任务。

3.2 文件接力式组合：适合拆阶段调试和批量重试

文件接力式组合，是把数据流拆成几个阶段，每个阶段把结果写到独立文件里，后一阶段再读前一阶段的文件。它和管道式最大的区别是：每个阶段都可以单独验证、单独重跑，非常适合调试。

我常用的三段式：

# 阶段1：抓取原始页面 ego_fetch -u "$URL" -o raw.html --timeout 30 --retry 2 # 阶段2：解析成干净正文 ego_read raw.html --strip-nav -o article.md ego_clean article.md -o clean.md # 阶段3：抽取字段和生成摘要 ego_extract clean.md --title --author --date --json > meta.json ego_summary clean.md --length 3 -o summary.md

为什么要推荐文件接力而不是全用管道？因为我踩过坑：某个页面第一次抓取时网络波动，下载到的 HTML 是个错误页。如果用管道，中间过程一次性跑完，你看到的是一个匪夷所思的摘要，很难判断是抓取失败还是解析失败。文件接力把每一步都落盘，出问题时逐一检查raw.html、article.md、clean.md，几秒钟就能看出问题出在哪一层。

3.3 状态接力式组合：用 ego_meta 做增量与断点续跑

第三种模式是状态接力，核心工具是ego_meta。它解决的问题是：当你积累了上百个链接，不想每次全量重跑，只想处理新增内容时，怎么区分“处理过”和“没处理过”。

基本思路是在处理前先查一下状态：

if ego_meta get "done:$URL" > /dev/null 2>&1; then echo "已处理过，跳过 $URL" exit 0 fi # 正常处理流程... # 处理成功后记录状态 ego_meta set "done:$URL" "$(date +%F)"

状态接力的价值，不只是跳过重复。它让你可以放心中断：批量跑到一半网络断了，下次重跑时已处理的条目直接跳过，没处理的自动补上。配合compile出来的文件哈希，还能判断“同一链接内容是否更新过”：

# 用文件哈希判断内容是否改变 NEW_HASH=$(md5sum clean.md | awk '{print $1}') if [ "$NEW_HASH" = "$(ego_meta get "hash:$URL" 2>/dev/null)" ]; then echo "内容没变，跳过" exit 0 fi ego_meta set "hash:$URL" "$NEW_HASH"

三种模式不是互斥的。一套成熟的组合脚本，通常是管道嵌入文件接力、文件接力配合状态接力。下面我用一个完整案例把它串起来。

4. 实战：把“链接 → 知识卡片”串成一个可抄走的脚本

理论聊了不少，这章来真的。我设计一个最常见的个人知识管理场景：给定一个 URL，自动生成一张 Markdown 格式的知识卡片。这张卡片包含标题、作者、日期、摘要和原文链接。目标是一次命令跑完，整个流程可复现、可重跑。

4.1 先定义“知识卡片”的格式

组合的第一步不是写命令，而是确定输出长什么样。我定义的目标卡片格式如下，头部是 YAML 格式的元信息，正文是摘要：

--- title: "示例文章标题" author: "某作者" date: "2025-01-01" source: "https://example.com/post" --- 这是一段由 ego_summary 生成的摘要内容，展示这篇文章的核心观点…

为什么推荐 Markdown 而不是 JSON？因为知识卡片最终是给“人”看的，Markdown 可以直接放进笔记软件、渲染成网页、甚至被其他工具二次处理。元信息使用 YAML 格式，也方便后续被各种笔记工具解析。

4.2 组合脚本：抓取 → 解析 → 清洗 → 提取 → 摘要 → 写卡片

下面这个脚本，是我反复调整过的一个通用模板，你基本可以直接抄。它使用了第二、三章讲到的文件接力加状态接力组合：

#!/usr/bin/env bash set -euo pipefail URL="${1:?用法: $0 <url>}" OUT_DIR="${OUT_DIR:-$HOME/ego_cards}" mkdir -p "$OUT_DIR/_raw" "$OUT_DIR/_article" "$OUT_DIR/_cards" # 用 URL 哈希生成稳定文件名，避免特殊字符干扰文件系统 SLUG=$(printf "%s" "$URL" | md5sum | cut -c1-12) RAW="$OUT_DIR/_raw/$SLUG.html" ARTICLE="$OUT_DIR/_article/$SLUG.md" CARD="$OUT_DIR/_cards/$SLUG.md" # 状态检测：已经成功生成过卡片则跳过 if ego_meta get "done:$URL" > /dev/null 2>&1; then echo "已处理过: $URL" exit 0 fi echo "[1/5] 抓取 $URL" ego_fetch -u "$URL" -o "$RAW" --timeout 30 --retry 2 echo "[2/5] 解析正文" ego_read "$RAW" --strip-nav -o "$ARTICLE" echo "[3/5] 清洗内容" ego_clean "$ARTICLE" -o "$ARTICLE.clean" echo "[4/5] 提取元信息" TITLE=$(ego_extract "$ARTICLE.clean" --title) AUTHOR=$(ego_extract "$ARTICLE.clean" --author) DATE=$(ego_extract "$ARTICLE.clean" --date) echo "[5/5] 生成摘要并写卡片" SUMMARY=$(ego_summary "$ARTICLE.clean" --length 3) { printf -- "---\ntitle: \"%s\"\nauthor: \"%s\"\ndate: \"%s\"\nsource: \"%s\"\n---\n\n%s\n\n" \ "$TITLE" "$AUTHOR" "$DATE" "$URL" "$SUMMARY" } > "$CARD" ego_meta set "done:$URL" "$(date +%F)" echo "完成: $CARD"

有几个细节值得展开：

• set -euo pipefail保证某个命令失败时脚本立刻终止，不会拿着半成品继续往下跑；
• 用md5sum取 URL 哈希作为文件名，比直接用 URL 里的文本做文件名更安全，因为 URL 经常包含/、?、&等容易破坏路径的字符；
• 中间文件保留了_raw和_article两个目录，就是文件接力模式的断点，哪一步出问题了可以直接检查对应文件。

4.3 跑通后再加一层：入库、索引与检索

脚本跑通以后，知识卡片只是“生成”了，还不能检索。要继续组合ego_ingest、ego_index和ego_search，形成真正的闭环：

# 将卡片写入知识库 ego_ingest "$CARD" --db "$HOME/ego_cards/knowledge.db" # 重建索引 ego_index "$HOME/ego_cards/knowledge.db" --rebuild # 搜索 ego_search "示例关键词" --limit 5 --json

这一个组合的价值就完全不一样了。前面生成卡片是“把信息变成自己看得懂的东西”，入库检索则是“把信息变成随时能找回来的资产”。我自己的感觉是：做到这一步，ego_*才真正变成了一个知识管理系统，而不是一堆零散命令。

4.4 组合时最容易忽略的几个细节

在我实际跑这个流程的过程中，有几个细节反复踩坑，单独拎出来提醒一下：

• 超时和重试必须显式配置：网络请求不像本地文件操作那么可靠。--timeout 30 --retry 2这两个参数，在批量场景里几乎是必须的。没有它们，偶尔一个慢页面就能让你的脚本挂在那里好几分钟。
• 编码参数要留意：很多页面声明的编码和实际内容不一致。我发现ego_read在某些页面会输出乱码，后来显式加了--encoding utf-8才稳定。
• 字段可能为空：ego_extract抽不到字段时返回空串，直接拼进卡片会生成一个空标题。脚本里应该对空字段做兜底，比如TITLE="${TITLE:-未命名}"。
• 输出目录要隔离：把原始文件、中间文件、最终卡片分目录存放，以后清理时才知道哪些能删、哪些要留。

5. 批量组合与增量更新：从单篇跑到几百篇

单篇跑通只是开始。真正让这套工具工作效率翻倍的，是批量处理。我自己的场景是积累了大概几百个链接需要整理成卡片，下面是我用的批量组合策略。

5.1 用清单文件驱动批量加工

先把链接统一放进urls.txt，每行一个 URL，再用一个循环调用前面的build_card.sh：

while IFS= read -r url; do # 跳过空行和注释行 [[ -z "$url" || "$url" == \#* ]] && continue echo "处理: $url" if ./build_card.sh "$url"; then echo "成功: $url" else echo "$url" >> fail.log fi # 礼貌间隔，避免短时间内大量请求 sleep 1 done < urls.txt

fail.log很重要。批量跑一次几十个链接，总有一两个因为网络问题或页面结构特殊而失败。把失败的 URL 记录下来，等第一轮跑完，只针对fail.log里的链接重试，效率最高。

5.2 增量更新：状态文件让第二次跑得飞快

第一次全量跑完以后，如果第二天新增了十几个链接，不需要把全部几百个都重新抓一遍。前一章脚本里的ego_meta get "done:$URL"已经天然支持了这个能力，重跑时已处理的条目会直接跳过。这就是状态接力的核心收益：它让批量脚本有了“记忆”。

这个记忆非常重要。我见过很多人把批量脚本写好以后，跑了一次就再也不敢跑第二次，因为第二次全量重跑既慢又浪费请求资源。加一个状态判断，这个问题就从根上消失了。

5.3 批量场景的卡点清单

批量处理时的问题和单篇有很大区别，我在实践里整理了一张问题对照表，遇到症状可以直接查：

注意一个原则：在批量请求任何网站内容时，都要遵守目标网站的访问规则和版权约定。合理设置抓取频率、只整理自己有权访问的内容，这是这个工具链能长期用下去的基础。

6. 组合调试三板斧：幂等、断点、可观测

组合命令越多，出问题时越容易抓瞎。我总结了自己的三个调试原则：幂等性、断点、可观测性。这三件事做好，大部分组合故障都能快速定位。

6.1 一个典型故障的完整排查链路：中文页面全文乱码

我自己真实踩过的一个坑：某个中文页面跑完整条流水线后，生成的卡片标题正常，但摘要全是对这类乱码。如果是第一次遇到，很容易怀疑是ego_summary的问题。

排查过程我是这样走的：

1. 先检查article.md，发现正文正常，说明ego_fetch和ego_read没问题；
2. 再检查article.md.clean，发现它的乱码从第二步开始出现，说明问题出在ego_clean的编码推断上；
3. 给ego_clean显式指定--encoding utf-8，再跑一次，乱码消失。

这个排查链路的核心就是“断点文件”。如果没有中间文件，我只能看到最终卡片是乱的，根本无法判断是抓、读、清洗、摘要哪一步引入的问题。所以我的建议很直白：组合脚本里，一定要把中间产物落盘，至少保留到调试稳定为止。

6.2 给输出加断点与校验：防止静默失败

另一个常见问题是工具“没报错，但输出是空的”。比如ego_read遇到一个结构特殊的页面，可能生成一个几乎全是空白的文件，但退出码仍然是 0。如果你的脚本不检查中间文件是否有效，它会把空文档继续传给后面的ego_summary，最终生成一张没有内容的废卡片。

我习惯在每个关键阶段后加一个文件有效性检查：

if [[ ! -s "$ARTICLE" ]]; then echo "解析结果为空，终止处理 $URL" >&2 exit 4 fi if [[ ! -s "$ARTICLE.clean" ]]; then echo "清洗结果为空，终止处理 $URL" >&2 exit 5 fi

-s检查文件存在且非空。这个简单的校验，能把“静默失败”变成“显式的报错”，省下大量继续往下游排查的时间。

6.3 幂等性设计：同一输入跑两次结果必须一致

幂等性是批量脚本的另一个关键属性：同样输入，跑两次，产出完全一致。如果不一致，增量更新的跳过逻辑就会失效，因为你没法判断哪次结果是对的。

要保证幂等，需要注意几点：

• 文件名用 URL 的哈希生成，而不是用时间戳。时间戳会让同样内容每次生成不同文件，完全破坏幂等；
• 摘要长度参数固定，不要依赖随机变量；
• 入库时显式处理重复记录，比如用--replace或--skip-exists，避免一条内容重复插入；
• 卡片日期取原文发布时间，不要取“当前时间”。取当前时间，重跑一次日期就变一次，索引里会留下冲突。

做到同一输入跑两次结果一致之后，增量更新、断点续跑、批量重试才有意义。

这套组合方式，我现在已经稳定用于自己每天的文章整理流程。更新链接、批量归档、随时检索，整个过程下来基本不用再碰原始页面。说实话，ego_*工具本身并不复杂，复杂的是把每个工具的输入输出面摸清楚，然后设计一条适合自己的数据流。我的建议是：先照着第 4 章的脚本在三个链接上跑通，再逐步加入批量、增量、入库检索这些环节。先求稳，再求快。