企业官网建设流程全解析

简介：本资源是一套面向金融数据分析初学者与Python爬虫实践者的实战工具包，聚焦于解决上市公司财务数据自动化采集难题，特别适配data2text任务中的结构化数据获取与预处理环节。方案基于Selenium实现浏览器级自动化控制，深度适配同花顺财报页面，集成Cookie动态更新、User-Agent与行为模式伪装等反爬策略，有效应对常见风控机制。压缩包共9个文件，含5个txt（如stocks.txt、failed_stocks.txt用于状态记录与结果存储）、1个py（main.py为核心爬取脚本）、1个md（README说明项目结构与运行逻辑）、1个png（data-example.png直观展示示例数据格式）、1个docx（附赠资源提供延伸分析参考），整体仅375KB，轻量易部署。已有57人学习下载，用户可直接复用完整可运行脚本、获得清晰的异常处理路径（如失败/已抓取股票清单）、掌握财务数据清洗与标准化预处理范式，快速构建金融文本生成所需的数据基础。

1. 同花顺财务报表爬虫为什么总在登录页卡死？——一个金融数据工程师的血泪复现笔记

你不是没试过：用 Selenium 打开同花顺官网（www.10jqka.com.cn），定位“上市公司”→“财务分析”→点进某只股票，F12 看 Network 里明明有finance/financialreport这类接口返回 JSON，但一写 requests 直接 403；换 Selenium 模拟点击，又卡在登录弹窗或验证码；好不容易绕过去，跑两分钟就断连、IP 被限、Cookie 失效、页面跳转成“请稍候”黑屏……这不是你代码写得差，是同花顺的反爬逻辑已经从「防脚本」升级到「防人机协同行为建模」——它不拦请求，它拦「不像真实交易员的操作链路」。

这篇笔记讲的，就是如何用 Selenium 构建一条可长期存活、支持 Cookie 动态续期、能通过同花顺前端行为验证、最终稳定产出结构化财务报表 CSV 的自动化采集链路。它不依赖第三方 API 或付费 SDK，不碰任何灰色协议，所有动作都基于浏览器真实渲染流程；目标明确：为 data2text 任务（比如生成财报摘要、AI 自动生成研报段落）提供干净、带时间戳、字段对齐的原始财务数据源。适合两类人：一是做量化投研/金融 NLP 的算法同学，需要高频更新的财报表；二是刚入行的数据工程师，想亲手打通「网页 → 结构化数据 → NLP 输入」的全链路。别再用 Excel 手动复制了——这张表你今天手动抄，明天就过期。

2. 为什么必须用 Selenium？requests + session 已经彻底失效

2.1 同花顺的三重反爬门禁：从 URL 到 DOM 行为的全链路校验

同花顺的财务报表页（如http://basic.10jqka.com.cn/600519/finance.html）表面看是静态 HTML，实则背后有三层动态校验：

• 第一层：Referer + User-Agent 绑定
  即使你伪造了完美 UA 和 Referer，如果上一个页面不是它认可的「合法导航路径」（比如直接 GET 这个 URL，而非从首页 → 股票列表 → 个股详情页 → 财务页），后端会返回空数据或跳转至登录页。requests 无法模拟这种「页面跳转上下文」。

• 第二层：DOM 渲染时序依赖
  财务数据由 JS 动态注入：先加载骨架 HTML，再通过window.__INITIAL_STATE__注入初始数据，最后调用fetch('/api/finance/report')补全明细。这个 fetch 请求携带的X-Requested-With: XMLHttpRequest头，以及其 body 中的加密参数（如sign=xxx&timestamp=yyy），全部来自前端 JS 运行时计算——requests 拿不到运行时变量。

• 第三层：行为指纹验证（关键！）
  2023 年起，同花顺在页面中嵌入了navigator.webdriver检测、鼠标移动轨迹采样、performance.now()时间戳扰动、Canvas 指纹生成等逻辑。你用无头 Chrome 启动，哪怕加了--disable-blink-features=AutomationControlled，只要navigator.webdriver === true，后端立刻返回{"code":403,"msg":"非法请求"}。这不是玄学，是它真在读你的浏览器环境变量。

提示：别再搜“同花顺 cookie 怎么抓”——它的 Cookie（尤其是v、u、cid）本身是短期有效的，且和设备指纹、登录态、访问路径强绑定。单独导出 Cookie 文件，在另一台机器或另一时段复用，99% 失败。

2.2 Selenium 是唯一能闭环的方案：控制权在你手里

Selenium 的价值，不在于“能点按钮”，而在于它让你全程掌控浏览器生命周期：

• 你可以用execute_cdp_cmd关闭navigator.webdriver标志；
• 可以用add_cookie()注入已登录态 Cookie，并在每次会话前刷新；
• 可以用execute_script()注入自定义 JS，覆盖 Canvas 指纹函数；
• 更重要的是：你能精确控制页面跳转路径——从首页搜索框输入股票代码 → 点击搜索结果 → 点击“财务分析”Tab → 等待 JS 加载完成 → 再提取数据。这条路径，和真实用户完全一致。

所以，这不是“Selenium 比 requests 好”，而是：当目标网站把反爬逻辑深度耦合进浏览器运行时环境时，只有 Selenium 能提供与之对等的控制粒度。其他方案（如 Playwright、Puppeteer）原理类似，但同花顺社区验证最充分、问题反馈最多的是 Selenium + ChromeDriver 组合。

2.3 版本选型：Chrome 115+ + Selenium 4.11+ 是当前唯一稳态组合

我们实测过多个版本组合，结论很明确：

注意：Chrome 115 是最后一个支持--disable-blink-features=AutomationControlled且不强制启用navigator.webdriver的稳定版。Chrome 116+ 已移除该 flag，需改用 CDP 方式注入，复杂度陡增。所以，不要盲目升级浏览器——稳定压倒一切。

安装命令（Linux/macOS）：

# 下载 Chrome 115.0.5790.170（Linux x64） wget https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/115.0.5790.170/linux64/chrome-linux64.zip unzip chrome-linux64.zip sudo mv chrome-linux64 /opt/chrome-115 # 安装对应 chromedriver（注意版本严格匹配） wget https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/115.0.5790.170/linux64/chromedriver-linux64.zip unzip chromedriver-linux64.zip sudo mv chromedriver /usr/local/bin/chromedriver-115

Python 环境：

pip install selenium==4.11.2 beautifulsoup4 pandas lxml

3. 从零搭建可续期的同花顺财务报表爬虫：5 步落地

3.1 第一步：初始化抗检测浏览器实例（含 4 项关键 CDP 设置）

核心不是“启动浏览器”，而是让浏览器在启动瞬间就通过同花顺的环境检测。以下代码必须在webdriver.Chrome()实例化时执行，顺序不能错：

from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service def create_anti_detect_driver(): options = Options() # 必须关闭自动化标志 options.add_argument("--disable-blink-features=AutomationControlled") options.add_argument("--no-sandbox") options.add_argument("--disable-dev-shm-usage") options.add_argument("--disable-gpu") options.add_argument("--window-size=1920,1080") # 关键：使用 Chrome 115 专用 driver service = Service("/usr/local/bin/chromedriver-115") driver = webdriver.Chrome(service=service, options=options) # 【CDP 四步曲】必须在 get() 之前执行 # 1. 移除 navigator.webdriver 属性 driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) ''' }) # 2. 覆盖 window.chrome（防 Chrome 检测） driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' window.chrome = { runtime: {} }; ''' }) # 3. 防 Canvas 指纹（注入随机噪声） driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', { 'source': ''' const originalToDataURL = HTMLCanvasElement.prototype.toDataURL; HTMLCanvasElement.prototype.toDataURL = function() { return originalToDataURL.apply(this, ['image/png', 0.1]); }; ''' }) # 4. 防 WebRTC IP 泄露（可选但推荐） driver.execute_cdp_cmd('Network.setExtraHTTPHeaders', { 'headers': {'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8'} }) return driver # 使用 driver = create_anti_detect_driver()

逻辑说明：

• addScriptToEvaluateOnNewDocument是 Chrome DevTools Protocol（CDP）提供的能力，确保 JS 在每个新页面加载前注入，比execute_script()更早、更彻底；
• 四步缺一不可：第一步解决navigator.webdriver，第二步骗过window.chrome检测（同花顺会读取window.chrome.runtime是否存在），第三步让 Canvas 指纹每次生成不同值（避免被记录为“固定指纹”），第四步补全语言头，降低 UA 异常概率；
• 参数说明：0.1是 PNG 压缩质量，故意引入微小失真，既不影响页面显示，又破坏指纹一致性。

3.2 第二步：Cookie 注入与自动续期机制（支持多账号轮换）

同花顺的 Cookie 有效期约 2 小时，且v（登录凭证）、u（用户 ID）、cid（客户端 ID）三者必须匹配。硬编码 Cookie 文件会很快失效。正确做法是：建立本地 Cookie 缓存池，每次启动时检查有效期，过期则触发人工登录流程，成功后自动更新缓存。

我们设计了一个轻量级CookieManager类：

import json import time from pathlib import Path class CookieManager: def __init__(self, cache_path: str = "cookies.json"): self.cache_path = Path(cache_path) self.cookies = self._load_cookies() def _load_cookies(self) -> dict: if not self.cache_path.exists(): return {} try: with open(self.cache_path, "r", encoding="utf-8") as f: data = json.load(f) # 检查是否过期（同花顺 Cookie 一般 2h 有效） if time.time() - data.get("updated_at", 0) > 7200: return {} return data.get("cookies", {}) except Exception: return {} def save_cookies(self, cookies: list): data = { "cookies": cookies, "updated_at": time.time(), "note": "auto-saved by selenium crawler" } with open(self.cache_path, "w", encoding="utf-8") as f: json.dump(data, f, ensure_ascii=False, indent=2) def inject_to_driver(self, driver, domain="10jqka.com.cn"): if not self.cookies: raise RuntimeError("No valid cookies found. Please login manually first.") for cookie in self.cookies: # 同花顺要求 domain 必须精确匹配（不能是 .10jqka.com.cn） if cookie.get("domain") == f".{domain}" or cookie.get("domain") == domain: # 修正 domain 字段，否则 add_cookie 失败 cookie["domain"] = domain try: driver.add_cookie(cookie) except Exception as e: print(f"Failed to add cookie {cookie.get('name')}: {e}") continue # 使用示例 cookie_mgr = CookieManager() driver = create_anti_detect_driver() cookie_mgr.inject_to_driver(driver) driver.get("http://www.10jqka.com.cn/") # 此时已带登录态

参数说明：

• cache_path：本地存储路径，建议用绝对路径；
• updated_at时间戳用于判断 Cookie 新鲜度，7200 秒（2 小时）是经验值，实测同花顺v字段超时即失效；
• domain修正逻辑：Selenium 要求add_cookie()的 domain 必须与当前页面 domain 完全一致（不能带前导点），而浏览器导出的 Cookie 常为.10jqka.com.cn，需手动截掉.；
• 错误处理：个别 Cookie（如Hm_lpvt_xxx）可能因 domain 不匹配失败，continue跳过即可，不影响主流程。

提示：首次运行时，cookies.json为空，你需要手动在浏览器中登录同花顺（用同一台机器、同一 Chrome 版本），然后执行driver.get_cookies()导出并保存。这是唯一一次人工介入。

3.3 第三步：精准定位财务报表页并等待 JS 渲染完成

同花顺财务页 URL 规律为：http://basic.10jqka.com.cn/{stock_code}/finance.html，其中stock_code是 6 位数字（如 600519）。但直接get()该 URL 会触发反爬。必须走「首页 → 搜索 → 跳转」路径：

def navigate_to_finance_page(driver, stock_code: str): # 1. 访问首页 driver.get("http://www.10jqka.com.cn/") # 2. 等待搜索框出现（防白屏） from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC search_input = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "search_input")) ) # 3. 输入股票代码并搜索 search_input.clear() search_input.send_keys(stock_code) driver.find_element(By.ID, "search_btn").click() # 4. 等待搜索结果列表加载（关键！） WebDriverWait(driver, 15).until( EC.presence_of_element_located((By.CSS_SELECTOR, ".search_list li a")) ) # 5. 点击第一个结果（通常是该公司主页） first_result = driver.find_element(By.CSS_SELECTOR, ".search_list li a") first_result.click() # 6. 切换到新窗口（搜索结果在新 tab 打开） WebDriverWait(driver, 10).until(lambda d: len(d.window_handles) > 1) driver.switch_to.window(driver.window_handles[-1]) # 7. 等待“财务分析”Tab 出现并点击 finance_tab = WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.XPATH, "//a[contains(text(), '财务分析')]")) ) finance_tab.click() # 8. 等待财务数据区域加载完成（核心！） # 同花顺用 <div id="finance_data"> 包裹所有财务表格 WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, "finance_data")) ) # 9. 确保 JS 数据已注入（检查 window.__INITIAL_STATE__ 是否存在） try: initial_state = driver.execute_script("return window.__INITIAL_STATE__") if not initial_state or not isinstance(initial_state, dict): raise TimeoutError("Financial data JS not loaded") except Exception: raise TimeoutError("Failed to detect financial data JS injection") # 使用 navigate_to_finance_page(driver, "600519")

逻辑说明：

• WebDriverWait是 Selenium 的显式等待，比time.sleep()可靠百倍；
• 第 6 步切换窗口是关键：同花顺搜索默认在新 Tab 打开，不切换则后续操作全在首页；
• 第 8 步等待#finance_data是硬性要求——这是财务表格的父容器，它的存在代表 DOM 已就绪；
• 第 9 步执行 JS 检查__INITIAL_STATE__，是验证 JS 数据是否真正注入的黄金标准。很多教程漏掉这步，导致后续find_element找不到数据。

3.4 第四步：解析财务报表 HTML 并结构化为 DataFrame

同花顺财务页包含三大表：资产负债表、利润表、现金流量表。它们都以<table>形式存在，但结构高度统一：第一列为项目名称（如“货币资金”、“营业收入”），后续列为年份（如“2023-12-31”、“2022-12-31”），单元格为数值（含单位、千分位符）。

我们用pandas.read_html()配合 BeautifulSoup 清洗：

import pandas as pd from bs4 import BeautifulSoup def parse_financial_tables(driver) -> dict: html = driver.page_source soup = BeautifulSoup(html, "lxml") # 定位三个财务表的容器 tables = soup.select("#finance_data table") if len(tables) < 3: raise ValueError(f"Expected 3 financial tables, got {len(tables)}") result = {} table_names = ["balance_sheet", "income_statement", "cash_flow"] for i, (table, name) in enumerate(zip(tables, table_names)): # 提取表头（年份列） headers = [] thead = table.find("thead") if thead: header_row = thead.find("tr") if header_row: headers = [th.get_text(strip=True) for th in header_row.find_all(["th", "td"])] # 提取数据行 rows = [] tbody = table.find("tbody") if tbody: for tr in tbody.find_all("tr"): cells = tr.find_all(["td", "th"]) row = [cell.get_text(strip=True) for cell in cells] if len(row) > 1: # 过滤空行 rows.append(row) # 构建 DataFrame if not rows: continue # 对齐列数：以最长行为基准，短行补 NaN max_cols = max(len(r) for r in rows) aligned_rows = [r + [""] * (max_cols - len(r)) for r in rows] df = pd.DataFrame(aligned_rows) # 第一列设为 index（项目名称） if not df.empty and len(df.columns) > 0: df = df.set_index(0) df.columns = headers[1:] if len(headers) > 1 else [f"col_{i}" for i in range(1, len(df.columns)+1)] # 清洗数值：去除单位、千分位、空格 def clean_value(x): if not isinstance(x, str): return x # 去除 “万元”、“亿元”、“元” x = x.replace("万元", "").replace("亿元", "").replace("元", "") # 去除千分位逗号 x = x.replace(",", "") # 转为 float，失败则留空 try: return float(x) except ValueError: return None # 对所有数值列应用清洗 numeric_cols = df.select_dtypes(include=['object']).columns for col in numeric_cols: df[col] = df[col].apply(clean_value) result[name] = df return result # 使用 tables = parse_financial_tables(driver) print(tables["income_statement"].head())

参数说明：

• BeautifulSoup解析比 Selenium 原生find_element更稳定，尤其对动态渲染表格；
• headers[1:]是因为第一列是项目名，不作为数据列；
• clean_value函数处理同花顺特有的格式：“1,234.56万元” →1234.56；
• df.select_dtypes(include=['object'])自动识别字符串列，避免对索引列误操作。

3.5 第五步：导出为 CSV 并打上时间戳（data2text 任务友好格式）

data2text 任务需要明确的时间维度和字段语义。我们导出为三个 CSV 文件，命名规则：{stock_code}_{table_name}_{date}.csv，其中date是采集当天日期（非财报日期），便于追踪数据新鲜度：

import os from datetime import datetime def export_tables(tables: dict, stock_code: str, output_dir: str = "financial_data"): os.makedirs(output_dir, exist_ok=True) date_str = datetime.now().strftime("%Y%m%d_%H%M%S") for table_name, df in tables.items(): if df.empty: continue filename = f"{stock_code}_{table_name}_{date_str}.csv" filepath = os.path.join(output_dir, filename) df.to_csv(filepath, encoding="utf-8-sig", index_label="item") print(f"✅ Exported {filepath} ({len(df)} rows)") # 使用 export_tables(tables, "600519")

注意：encoding="utf-8-sig"是为了兼容 Excel 打开中文 CSV 不乱码；index_label="item"将索引列（项目名称）写入 CSV 第一列，字段名为item，方便后续 NLP 模型按列名读取。

4. 避坑指南：同花顺爬虫的 5 个真实翻车现场与解法

4.1 现象：driver.get("http://basic.10jqka.com.cn/600519/finance.html")后页面空白，Network 显示 302 跳转到登录页

原因：未走合法导航路径，Referer 为空或非法，触发同花顺的 Referer 白名单校验。它只允许从www.10jqka.com.cn或basic.10jqka.com.cn的特定路径跳转。
解决：必须用navigate_to_finance_page()函数，从首页搜索进入，严禁直连财务页 URL。

4.2 现象：driver.find_element(By.ID, "finance_data")报TimeoutException，但肉眼可见表格已显示

原因：DOM 节点已存在，但window.__INITIAL_STATE__尚未注入，JS 数据未就绪。Selenium 等待的是 HTML，不是 JS 运行时状态。
解决：必须增加第 9 步 JS 注入检查，driver.execute_script("return window.__INITIAL_STATE__")返回非空 dict 才算真正就绪。

4.3 现象：add_cookie()后仍跳登录页，driver.get_cookies()显示 Cookie 已存在

原因：Cookie 的domain字段错误。浏览器导出的 Cookie domain 是.10jqka.com.cn，但 Selenium 要求add_cookie()时 domain 必须为10jqka.com.cn（无前导点），且必须在driver.get("http://www.10jqka.com.cn/")之后调用add_cookie()，否则 domain 不匹配。
解决：用CookieManager.inject_to_driver()中的 domain 修正逻辑，并确保add_cookie()在get()首页之后、get()财务页之前执行。

4.4 现象：程序运行 10 分钟后突然报403 Forbidden，driver.page_source返回登录页 HTML

原因：Cookie 过期（v字段失效），且未配置自动续期。同花顺不会返回 401，而是静默跳转登录页，导致后续所有find_element失败。
解决：在每次navigate_to_finance_page()前，检查CookieManager._load_cookies()是否过期；过期则抛出异常，提示人工登录并更新cookies.json。

4.5 现象：pandas.read_html()解析出空 DataFrame，或列数错乱

原因：同花顺财务表 HTML 结构在不同股票间有微小差异（如有的表有合并单元格rowspan，有的没有），read_html()默认解析器无法处理。
解决：放弃read_html()，改用 BeautifulSoup 手动解析（如 3.4 节代码），逐行提取tr，用max_cols对齐，鲁棒性提升 10 倍。

5. 进阶技巧：如何让爬虫扛住 7×24 小时运行？一个真实运维习惯

你不可能每天早上 9 点手动点开浏览器登录。真正的生产级部署，需要一套「无人值守 + 自愈 + 监控」机制。我在线上跑了 11 个月的同花顺财报爬虫，总结出三个必做动作：

5.1 用atexit注册退出钩子，自动保存最新 Cookie

即使程序异常退出（如内存溢出、网络中断），也要确保最后一次有效的 Cookie 被持久化，避免第二天重启时重新登录：

import atexit def save_on_exit(cookie_mgr, driver): try: # 尝试从当前页面获取最新 cookies current_cookies = driver.get_cookies() cookie_mgr.save_cookies(current_cookies) print("✅ Cookies auto-saved on exit") except Exception as e: print(f"⚠️ Failed to save cookies on exit: {e}") # 在 driver 创建后立即注册 atexit.register(save_on_exit, cookie_mgr, driver)

这招救了我三次：某次服务器断电，重启后爬虫直接带着 2 小时前的 Cookie 继续跑，无缝衔接。

5.2 用logging替代print，并按股票代码切分日志文件

print日志无法追溯问题源头。必须为每只股票生成独立日志，方便排查：

import logging def setup_stock_logger(stock_code: str): logger = logging.getLogger(f"crawler.{stock_code}") logger.setLevel(logging.INFO) # 每只股票一个日志文件 handler = logging.FileHandler(f"logs/{stock_code}.log", encoding="utf-8") formatter = logging.Formatter( "%(asctime)s - %(name)s - %(levelname)s - %(message)s" ) handler.setFormatter(formatter) logger.addHandler(handler) return logger # 使用 logger = setup_stock_logger("600519") logger.info("Start crawling balance sheet")

日志内容示例：

2024-06-15 09:30:22,123 - crawler.600519 - INFO - Start crawling balance sheet 2024-06-15 09:30:25,456 - crawler.600519 - INFO - Found 12 columns in balance sheet 2024-06-15 09:30:26,789 - crawler.600519 - ERROR - Failed to parse cash flow: ValueError: Expected 3 tables

5.3 用schedule+subprocess实现进程级隔离与重启

不要用单进程循环爬 100 只股票。一旦某只股票触发反爬（如验证码），整个进程挂起。正确做法：每只股票一个独立子进程，失败则重启该进程，不影响其他股票：

import schedule import subprocess import time def run_stock_crawler(stock_code: str): """启动一个独立进程爬单只股票""" cmd = [ "python", "single_crawler.py", "--stock", stock_code, "--output", "financial_data" ] subprocess.run(cmd, capture_output=True, text=True) # 每天 9:30 爬一次全部股票（示例） stock_list = ["600519", "000001", "601318"] for code in stock_list: schedule.every().day.at("09:30").do(run_stock_crawler, code) # 主循环 while True: schedule.run_pending() time.sleep(60) # 每分钟检查一次

single_crawler.py是精简版爬虫，只做一件事：初始化 driver → 爬一只股票 → 导出 CSV → 退出。进程天然隔离，一个挂了，其他照常。

我坚持这个方案跑了 372 天，覆盖 A 股全部 5023 家上市公司，财报数据更新延迟从未超过 2 小时。它不炫技，不堆库，就靠 Selenium 的底层控制力 + 对同花顺反爬逻辑的逐层拆解。你不需要懂所有原理，只要把create_anti_detect_driver()、CookieManager、navigate_to_finance_page()这三段代码抄进项目，就能跑通第一条数据链路。剩下的，是时间换来的稳定。

希望帮到你。

本文还有配套的精品资源，点击获取