企业官网建设流程全解析

1. 项目背景与核心价值

专利数据作为技术创新的风向标，在商业分析、科研立项和竞品监测中具有不可替代的价值。传统的人工检索方式效率低下，而市面上的商业数据库往往存在接口限制和高昂费用。这套基于Playwright与异步技术的爬虫系统，正是为解决以下痛点而生：

• 反爬对抗：专利局网站普遍采用动态渲染、验证码等防护手段，传统requests+BeautifulSoup方案难以应对
• 数据完整性：专利文献包含结构化数据（申请人、IPC分类等）和非结构化数据（说明书附图），需要完整抓取
• 规模化采集：全国专利数据量超亿级，需要高并发架构支持持续采集

我在实际项目中验证，这套方案单机每日可稳定采集20万+条专利数据，相比同步爬虫效率提升8-12倍。下面将详解技术实现的关键环节。

2. 技术选型解析

2.1 Playwright的优势

相比Selenium和Puppeteer，Playwright在爬虫场景具备三大优势：

1. 多浏览器支持：Chromium、Firefox、WebKit三引擎切换，有效规避指纹检测
2. 自动等待机制：智能等待元素加载/网络空闲，减少硬编码sleep时间
3. 设备模拟能力：通过context.emulateMedia()可模拟移动端访问

实测对比数据：

2.2 异步架构设计

采用Python 3.8+的async/await语法结合aiohttp实现三级并发：

async def crawl_task(semaphore, patent_id): async with semaphore: # 控制并发度 async with aiohttp.ClientSession() as session: await fetch_html(session, patent_id) await parse_data() await save_to_db()

关键参数配置经验：

• 并发连接数建议设为CPU核心数*5
• TCP连接池大小应大于并发数20%
• 超时设置遵循总超时 > 连接超时 > 读取超时原则

3. 核心实现细节

3.1 动态页面处理

专利局网站常见反爬措施及破解方案：

1. Canvas指纹验证

await page.add_init_script(""" Object.defineProperty(HTMLCanvasElement.prototype, 'getContext', {value: () => null}) """)

2. 请求频率限制

# 使用代理IP轮询 proxy_list = [ "http://ip1:port", "http://ip2:port" ] context = await browser.new_context(proxy=random.choice(proxy_list))

3. 行为验证码

# 轨迹模拟函数 async def human_like_mouse(page): await page.mouse.move(0, 0) await page.wait_for_timeout(200) await page.mouse.move(100, 100, steps=5)

3.2 数据抽取策略

专利页面通常包含三类数据，需不同处理方式：

1. 结构化数据（权利要求、申请人等）

claims = await page.query_selector_all("//div[@class='claim']")

2. 半结构化数据（法律状态变更记录）

status_changes = [] for tr in await page.query_selector_all("#legalStatus tr"): date = await tr.get_attribute("data-date") status_changes.append({"date": date})

3. 非结构化数据（PDF说明书）

pdf_url = await page.eval_on_selector( "#pdfLink", "el => el.href") async with session.get(pdf_url) as resp: with open(f"{patent_id}.pdf", "wb") as f: f.write(await resp.read())

4. 性能优化实战

4.1 内存管理技巧

长期运行爬虫常见内存泄漏问题解决方案：

1. 上下文隔离

async with async_playwright() as pw: browser = await pw.chromium.launch() context = await browser.new_context() # 每个任务独立context # ... await context.close() # 必须显式关闭

2. 定时重启机制

if len(patent_ids) % 1000 == 0: await browser.close() browser = await pw.chromium.launch()

4.2 断点续采设计

采用Redis实现采集进度管理：

# 任务分发 async def dispatch_tasks(): crawled = await redis.smembers("crawled_ids") todo_ids = set(all_ids) - set(crawled) # 任务完成 async def mark_done(patent_id): await redis.sadd("crawled_ids", patent_id)

5. 常见问题排查

5.1 典型报错处理

5.2 调试技巧

1. 请求拦截调试

page.on("request", lambda req: print(req.url)) page.on("response", lambda res: print(res.status))

2. 性能分析

# 生成HAR文件 har_path = f"debug_{patent_id}.har" await page.route_from_har(har_path)

这套系统在实际商业环境中已稳定运行14个月，累计采集专利数据2300余万条。关键经验是：对于动态渲染网站，Playwright的页面操作API需要配合足够的随机延迟；异步调度要注意协程间的资源竞争问题。后续计划加入强化学习模块，自动优化采集策略。