企业官网建设流程全解析

1. 项目概述：当爬虫遇上“铜墙铁壁”

干爬虫这行久了，你就会发现，现在的互联网环境跟几年前完全是两个世界。以前可能一个简单的requests.get()加上User-Agent就能畅通无阻，现在呢？你精心构造的请求发出去，换来的常常是403 Forbidden、429 Too Many Requests，或者更让人头疼的unexpected status 502 bad gateway。这背后，是网站防御系统的一次全面升级，它们不再仅仅看你“是谁”（IP），更开始审视你“像不像一个真人”。这就是我们今天要深入探讨的核心：HTTP请求伪装。这不仅仅是为了绕过小红书、抖音这类内容平台的反爬机制，更是现代数据采集工程师必须掌握的核心生存技能。从最基本的请求头伪装，到复杂的浏览器指纹模拟，每一步都是在与风控系统进行一场精密的“猫鼠游戏”。这篇文章，我将结合我这些年踩过的坑和实战经验，为你拆解从入门到进阶的完整伪装链条，让你手里的爬虫不再是那个一眼就被识破的“机器人”。

2. 核心对抗思路：从请求头到浏览器指纹的全面伪装

想要成功获取数据，你得先理解对方是怎么发现你的。现代反爬策略是一个立体的防御体系，我们的伪装也必须是多维度的。

2.1 反爬机制的演进与我们的应对策略

早期的反爬相对简单，主要依赖频率限制和IP封禁。你的爬虫如果请求太快，或者用一个IP发起大量连接，很快就会被关进“小黑屋”。所以，初代的对抗方案集中在代理IP池和请求延迟上。但这只是第一层。

随着技术发展，风控系统开始检查你的HTTP请求头。一个使用默认Pythonrequests库User-Agent的请求，就像举着“我是机器人”的牌子在门口晃悠。于是，我们学会了伪造完整的请求头，包括Accept、Accept-Language、Referer、Connection等，让请求看起来像是来自一个真实的浏览器。

但这还不够。近年来，以小红书、抖音为代表的平台，以及众多金融、电商网站，已经将防御重点转向了浏览器指纹。什么是浏览器指纹？你可以把它理解为你浏览器设备的“数字身份证”。它通过收集浏览器暴露的众多信息来生成一个近乎唯一的标识符，这些信息包括：

• Canvas指纹：浏览器绘制Canvas图像时，因硬件、驱动、操作系统的细微差异，会产生不同的像素点。
• WebGL指纹：与显卡和驱动相关的3D渲染信息。
• 字体列表：你系统里安装的字体种类和顺序。
• 屏幕分辨率与色彩深度。
• 时区与语言。
• 插件列表（虽然现代浏览器已限制获取）。
• HTTP协议特征，如Accept-Encoding头部的顺序。

如果你的爬虫脚本发出的请求，其指纹特征与一个真实的Chrome浏览器不符，或者成千上万个请求都来自同一个“指纹”，那么无论你换多少IP，都会被立刻识别并拦截。这就是为什么你会遇到那些看似莫名其妙的502错误或者404——你的请求在到达应用服务器之前，可能就已经在网关层被风控系统基于指纹特征给干掉了。

注意：对抗的底线是法律与合规。本文讨论的技术仅用于学习、测试自家产品或在明确允许的范围内进行数据采集。切勿用于干扰目标网站正常运行、侵犯个人隐私或获取受法律保护的敏感数据。

2.2 伪装体系的分层构建

因此，一个健壮的爬虫伪装体系应该像洋葱一样层层递进：

1. 网络层伪装：解决IP问题。使用高质量代理IP（住宅代理、移动代理优于数据中心代理），并合理设置切换策略。
2. 协议层伪装：解决HTTP/S请求特征问题。完美模拟浏览器的请求头、TLS指纹（JA3指纹）、TCP连接行为等。
3. 浏览器环境伪装：解决JavaScript执行与指纹问题。使用无头浏览器（如Playwright、Selenium）或携带完整浏览器环境的工具，来生成真实的浏览器指纹。
4. 行为层伪装：解决“像不像人”的问题。模拟人类的点击间隔、鼠标移动轨迹、滚动行为等。

本指南将聚焦于第2层和第3层，即HTTP请求伪装与浏览器指纹模拟的核心实战。

3. 基础实战：打造一个“以假乱真”的HTTP请求

让我们从最基础的开始。一个真实的浏览器请求包含数十个头部字段，而Python的requests库默认只携带极少数。第一步就是补全它们。

3.1 请求头（Headers）的精细化伪造

不要随便从网上复制一个User-Agent就了事。一个真实的请求头是自洽的。例如，如果你的User-Agent声明是 Chrome 120 on Windows，那么你的Accept-Language就应该是类似zh-CN,zh;q=0.9,en;q=0.8这样的值，Sec-CH-UA（用户代理客户端提示）字段也需要对应更新。

这里是一个模拟最新版Chrome浏览器的请求头字典示例，它比常见的那些更“新鲜”，也更不容易被标记：

import requests headers = { # 用户代理，核心字段 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", # 客户端提示，现代浏览器必带 "Sec-CH-UA": '"Not_A Brand";v="8", "Chromium";v="120", "Google Chrome";v="120"', "Sec-CH-UA-Mobile": "?0", "Sec-CH-UA-Platform": '"Windows"', # 接受的内容类型 "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7", "Accept-Encoding": "gzip, deflate, br", # 注意顺序，gzip通常在前 "Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7", # 连接管理 "Connection": "keep-alive", # 来源页，对于链式请求非常重要 "Referer": "https://www.google.com/", # 根据实际情况修改 # 缓存控制 "Cache-Control": "max-age=0", # 升级不安全请求（HTTPS站点） "Upgrade-Insecure-Requests": "1", # 优先级提示 "Sec-Fetch-Dest": "document", "Sec-Fetch-Mode": "navigate", "Sec-Fetch-Site": "cross-site", "Sec-Fetch-User": "?1", } session = requests.Session() session.headers.update(headers) # 使用这个session发起请求 response = session.get('https://www.xiaohongshu.com/explore')

实操心得：

• User-Agent需要定期更新。可以维护一个列表，随机选取，避免所有请求都用同一个。
• Referer字段非常关键。对于需要登录或具有严格来源检查的页面（如小红书详情页），必须正确设置上一个页面的URL。有时甚至需要模拟完整的浏览路径来设置一系列Referer。
• Accept-Encoding字段决定了服务器返回数据的压缩格式。requests库会自动处理gzip和deflate，但如果服务器返回了br(Brotli) 压缩，而你的请求头里没声明支持它，可能就是一个异常点。不过requests默认不支持br，这是一个小破绽，在极高安全级别下需要考虑。

3.2 会话（Session）管理与Cookie处理

使用requests.Session()是必须的。它能自动处理Cookie，保持连接池，让你的多次请求看起来更像同一个浏览器会话内的连续操作。对于需要登录的网站，先用Session对象模拟登录，获取并保存Cookie，后续的请求就会自动携带。

# 模拟登录（示例，实际参数需分析目标网站） login_data = { 'username': 'your_username', 'password': 'your_password', # 通常还会有csrf token等隐藏字段 } login_response = session.post('https://www.xiaohongshu.com/api/sns/v1/user/login', data=login_data) # 登录后，session会自动管理cookies # 访问需要登录态的页面 profile_response = session.get('https://www.xiaohongshu.com/user/profile')

常见问题：遇到登录失败，除了检查账号密码，更要检查登录请求是否包含了所有必要的隐藏字段（如_csrf_token,captcha等），这些字段往往需要先从登录页面解析出来。

4. 进阶对抗：使用Playwright应对动态渲染与基础指纹

当目标网站大量使用JavaScript渲染内容，或者简单的请求头伪装已经失效时，我们就需要请出无头浏览器了。Playwright和Selenium是两大主流选择，我个人更倾向于Playwright，因为它由微软开发，API更现代，速度更快，并且内置了对抗常见检测的机制。

4.1 Playwright基础设置与隐身模式

Playwright可以启动真实的Chromium、Firefox或WebKit浏览器内核。关键是要以“隐身”或“非自动化”模式启动，以规避一些简单的navigator.webdriver检测。

from playwright.sync_api import sync_playwright def crawl_with_playwright(url): with sync_playwright() as p: # 启动浏览器，args参数可以传递各种启动选项来修改指纹 browser = p.chromium.launch( headless=False, # 调试时可设为False看浏览器操作 args=[ '--disable-blink-features=AutomationControlled', # 禁用自动化控制特征 '--disable-dev-shm-usage', '--no-sandbox', ] ) # 创建上下文，类似一个独立的浏览器会话 context = browser.new_context( viewport={'width': 1920, 'height': 1080}, user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...', # 覆盖UA locale='zh-CN', timezone_id='Asia/Shanghai', ) # 在上下文中创建页面 page = context.new_page() # 注入JS，进一步覆盖webdriver属性（Playwright默认已做，但双重保险） page.add_init_script(""" Object.defineProperty(navigator, 'webdriver', { get: () => undefined }); window.chrome = { runtime: {} }; // 模拟chrome对象 """) page.goto(url) # 等待页面加载或特定元素出现 page.wait_for_load_state('networkidle') # 获取页面内容 content = page.content() # 或者执行JS获取数据 # data = page.evaluate('window.__INITIAL_STATE__') browser.close() return content

注意事项：

• headless: True是无头模式，节省资源但更容易被一些高级检测识别。对于强反爬网站，可以考虑使用headless: False配合stealth模式（需额外包），或者直接使用playwright-stealth这样的插件。
• new_context非常重要。每个Context拥有独立的Cookie、缓存和指纹环境。通过创建多个Context来模拟多个不同的浏览器会话，比创建多个浏览器实例更高效。

4.2 绕过常见的自动化检测

即使使用了无头浏览器，你的脚本依然可能被检测到，因为浏览器环境会暴露出一些自动化特征。除了上面代码中提到的--disable-blink-features=AutomationControlled和覆盖navigator.webdriver，还需要注意：

1. 插件列表：真实浏览器的navigator.plugins长度不为0，而无头浏览器通常为0。可以通过注入JS来伪造。
2. 语言与语言偏好：通过context设置locale和accept-language。
3. 屏幕分辨率：通过viewport设置，并确保与window.screen在JS中的值一致。
4. 时区：通过timezone_id设置。

一个更全面的环境设置示例：

context = browser.new_context( viewport={'width': 1366, 'height': 768}, user_agent=random_user_agent, # 从列表随机选 locale='zh-CN', timezone_id='Asia/Shanghai', permissions=['geolocation'], # 授予地理位置权限（模拟） geolocation={'latitude': 39.9042, 'longitude': 116.4074}, # 北京坐标 color_scheme='light', reduced_motion='reduce', # 偏好设置 # 覆盖权限，模拟用户已授权通知等 extra_http_headers={ 'Accept-Language': 'zh-CN,zh;q=0.9', } )

5. 高阶指纹模拟与专用工具解析

当面对小红书、TikTok、Facebook等顶级风控时，上述手段可能依然不够。它们会检测更底层的指纹，如Canvas、WebGL、AudioContext、字体哈希等。这时，我们需要更专业的工具和策略。

5.1 Canvas与WebGL指纹的原理与对抗

Canvas指纹的原理是：让浏览器用HTML5 Canvas API绘制同样的图形（如一段文字、一个渐变）。由于操作系统、图形硬件、显卡驱动、字体渲染引擎的细微差异，最终生成的图像在像素级别会有极小的不同。将这个图像进行哈希运算，就得到了一个唯一性很高的指纹。

对抗方法不是去完全模拟某个特定值（这几乎不可能），而是“覆盖”或“稳定化”这个值，使其在不同运行中保持一致，避免被识别为不断变化的自动化脚本。

• 使用playwright-stealth插件：这个Python包封装了许多反检测技巧，包括覆盖Canvas指纹。它会注入JS代码，钩住（hook）Canvas的toDataURL和getImageData等方法，返回一个确定性的、符合常见浏览器特征的值。

  pip install playwright-stealth

  from playwright.sync_api import sync_playwright from playwright_stealth import stealth_sync with sync_playwright() as p: browser = p.chromium.launch(headless=True) context = browser.new_context() page = context.new_page() # 应用stealth模式 stealth_sync(page) page.goto('https://bot.sannysoft.com/') # 这是一个检测浏览器自动化特征的测试网站 # 截图或检查结果 page.screenshot(path='stealth_test.png') browser.close()

• 手动注入指纹库：有些开源项目（如fingerprintjs）提供了生成虚拟指纹的库。你可以预先生成一套完整的指纹数据（Canvas哈希、WebGL渲染器、字体列表等），然后通过page.add_init_script在页面加载前注入，覆盖浏览器原生的API返回值。这种方法更灵活，但实现复杂度高。

5.2 字体指纹与媒体设备枚举

浏览器能获取到系统安装的字体列表。这个列表很长且具有唯一性。对抗字体指纹同样需要覆盖navigator.fontsAPI。

此外，navigator.mediaDevices.enumerateDevices()可以枚举麦克风、摄像头等媒体设备。自动化环境通常返回空数组或固定设备。通过注入JS，可以返回一个模拟的、合理的设备列表。

实操心得：字体和媒体设备指纹的覆盖，通常也集成在playwright-stealth或类似的商业反检测浏览器方案中。对于绝大多数项目，不建议从零开始自己实现，成本太高且容易出错。

5.3 专业指纹浏览器的选择与应用

这就是热词中提到的“指纹浏览器”。它们不是普通的浏览器，而是专门为多账号管理、爬虫、自动化测试设计的浏览器环境，核心功能就是为每个浏览器配置文件提供独立、稳定、可定制的指纹。

主流工具：

• Multilogin、AdsPower、Dolphin Anty：这些都是商业指纹浏览器。你可以创建无数个浏览器“配置文件”，每个配置文件都有独立的Cookie、本地存储、指纹（Canvas, WebGL, 字体， 时区， 语言， 屏幕分辨率等）。它们通常通过修改浏览器底层代码或驱动来实现完美的指纹隔离和模拟。
• 浏览器指纹在线生成教程：网上有很多教程教你如何用这些工具生成一个“完美”的指纹。核心步骤通常是：创建配置文件 -> 在指纹设置中，选择“模拟真实浏览器”或手动设置各项参数（建议选择“随机”或“跟随系统”）-> 启动浏览器环境 -> 在这个环境中进行你的自动化操作（可以通过Selenium或Playwright连接这些浏览器的调试端口进行控制）。

如何使用Playwright连接指纹浏览器： 以AdsPower为例，启动一个配置文件后，它会开放一个本地调试端口（如127.0.0.1:50325）。你可以用Playwright连接到这个已经存在的浏览器实例，而不是自己启动一个新的。

from playwright.sync_api import sync_playwright def connect_to_fingerprint_browser(debug_port=50325): with sync_playwright() as p: # 连接到已存在的浏览器实例 browser = p.chromium.connect_over_cdp(f'http://127.0.0.1:{debug_port}') # 获取第一个上下文（通常指纹浏览器一个配置只有一个上下文） default_context = browser.contexts[0] page = default_context.pages[0] if default_context.pages else default_context.new_page() page.goto('https://www.xiaohongshu.com') # ... 你的操作 # 注意：不要调用 browser.close()，否则会关闭指纹浏览器窗口

优势与代价：

• 优势：指纹隔离彻底，能有效对抗高级风控；多账号管理方便；通常集成代理IP设置。
• 代价：商业软件需要付费；资源占用较高（每个配置文件相当于一个独立的浏览器进程）；速度可能比纯代码方案慢。

6. 实战案例：构建一个抗封禁的小红书爬虫框架

结合以上所有技术，我们来设计一个针对小红书（一个反爬非常严格的平台）的爬虫框架思路。请注意，这只是一个技术框架演示，请严格遵守robots.txt和使用条款。

6.1 架构设计

我们的爬虫需要具备以下模块：

1. 资源池管理模块：管理代理IP、User-Agent列表、Cookie池（如果需要多账号）。
2. 请求引擎模块：根据目标页面的反爬强度，智能选择请求方式（轻量级requests-> 中级playwright-> 高级指纹浏览器+playwright）。
3. 指纹管理模块：如果使用指纹浏览器，负责管理不同配置文件的启动、连接和轮换。
4. 行为模拟模块：在页面内模拟人类浏览行为（随机滚动、随机停留、随机点击非关键元素）。
5. 异常处理与降级模块：遇到429、502、验证码时，自动重试、切换资源或触发更高级的伪装策略。

6.2 核心代码逻辑示例

import random import time from typing import Optional import requests from playwright.sync_api import BrowserContext, Page, sync_playwright class XHSAntiBlockSpider: def __init__(self, proxy_pool: list, user_agent_pool: list, use_fingerprint_browser=False): self.proxy_pool = proxy_pool self.user_agent_pool = user_agent_pool self.use_fingerprint_browser = use_fingerprint_browser self.playwright = None self.browser = None self.current_context: Optional[BrowserContext] = None def __enter__(self): if self.use_fingerprint_browser: # 方案A：连接指纹浏览器（需提前手动或通过API启动一个配置文件） self.playwright = sync_playwright().start() # 假设指纹浏览器调试端口在50325 self.browser = self.playwright.chromium.connect_over_cdp('http://127.0.0.1:50325') self.current_context = self.browser.contexts[0] else: # 方案B：启动原生Playwright，应用stealth插件 self.playwright = sync_playwright().start() self.browser = self.playwright.chromium.launch(headless=True, args=['--disable-blink-features=AutomationControlled']) self.current_context = self.browser.new_context( viewport={'width': 1366, 'height': 768}, user_agent=random.choice(self.user_agent_pool), locale='zh-CN', # 可以设置代理 # proxy={'server': random.choice(self.proxy_pool)} if self.proxy_pool else None ) from playwright_stealth import stealth_sync page = self.current_context.new_page() stealth_sync(page) # 对第一个页面应用stealth，其效果会延续到该context下的其他页面 page.close() # 关闭这个用于初始化的页面 return self def __exit__(self, exc_type, exc_val, exc_tb): if self.browser and not self.use_fingerprint_browser: self.browser.close() if self.playwright: self.playwright.stop() def fetch_with_retry(self, url, max_retries=3): """智能获取页面，优先尝试轻量级请求，失败则升级策略""" for retry in range(max_retries): try: if retry == 0: # 第一层尝试：轻量级requests + 伪装头 return self._fetch_via_requests(url) elif retry == 1: # 第二层尝试：Playwright基础模式 print(f"请求失败，第{retry+1}次重试：使用Playwright") return self._fetch_via_playwright(url, use_stealth=True) else: # 第三层尝试：更复杂的行为模拟（在当前context内） print(f"请求失败，第{retry+1}次重试：加强行为模拟") return self._fetch_via_playwright_with_behavior(url) except Exception as e: print(f"第{retry+1}次尝试失败: {e}") time.sleep(2 ** retry) # 指数退避 # 可以在这里切换代理IP或User-Agent raise Exception(f"所有重试均失败，URL: {url}") def _fetch_via_requests(self, url): """使用requests库获取，适用于简单页面或API""" session = requests.Session() headers = { 'User-Agent': random.choice(self.user_agent_pool), 'Accept-Language': 'zh-CN,zh;q=0.9', 'Referer': 'https://www.xiaohongshu.com/', } proxy = random.choice(self.proxy_pool) if self.proxy_pool else None proxies = {'http': proxy, 'https': proxy} if proxy else None resp = session.get(url, headers=headers, proxies=proxies, timeout=10) resp.raise_for_status() # 检查返回内容是否包含反爬提示（如跳转到验证页） if "验证" in resp.text or "security" in resp.url: raise Exception("触发验证，需要升级策略") return resp.text def _fetch_via_playwright(self, url, use_stealth=False): """使用Playwright获取页面""" if not self.current_context: raise RuntimeError("Playwright上下文未初始化") page = self.current_context.new_page() try: if use_stealth: from playwright_stealth import stealth_sync stealth_sync(page) # 模拟人类行为：随机延迟后跳转 time.sleep(random.uniform(1, 3)) page.goto(url, wait_until='networkidle', timeout=30000) # 再次随机滚动和停留 self._simulate_human_behavior(page) content = page.content() # 检查页面是否正常加载，而非验证码页 if page.title().lower().find('verify') != -1: raise Exception("Playwright请求被重定向至验证页面") return content finally: page.close() def _fetch_via_playwright_with_behavior(self, url): """加强版Playwright，增加更复杂的行为模拟""" page = self.current_context.new_page() try: from playwright_stealth import stealth_sync stealth_sync(page) # 更长的随机延迟 time.sleep(random.uniform(3, 7)) # 使用 `goto` 但监听请求，可以随机取消一些非必要请求（如图片）来更像人类 page.goto(url, wait_until='domcontentloaded', timeout=40000) # 复杂行为模拟 self._simulate_human_behavior(page, intensive=True) # 等待可能由JS触发的内容加载 page.wait_for_timeout(random.uniform(2000, 5000)) content = page.content() return content finally: page.close() def _simulate_human_behavior(self, page: Page, intensive=False): """在页面上模拟人类浏览行为""" # 随机滚动 scroll_times = random.randint(3, 7) if intensive else random.randint(1, 3) for _ in range(scroll_times): # 随机滚动距离 scroll_height = random.randint(200, 800) page.evaluate(f"window.scrollBy(0, {scroll_height})") time.sleep(random.uniform(0.5, 2.0)) # 随机停留 # 偶尔随机移动鼠标到某个元素上（但不点击） if intensive and random.random() > 0.5: all_links = page.locator('a').all() if all_links: random_link = random.choice(all_links) random_link.hover() time.sleep(random.uniform(0.3, 1.2)) # 使用示例 if __name__ == '__main__': proxy_list = ['http://user:pass@ip:port', ...] # 你的代理列表 ua_list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...', ...] # 你的UA列表 # 方案1：使用原生Playwright + stealth (应对中等反爬) with XHSAntiBlockSpider(proxy_list, ua_list, use_fingerprint_browser=False) as spider: html = spider.fetch_with_retry('https://www.xiaohongshu.com/explore') print(len(html)) # 解析html... # 方案2：使用指纹浏览器 (应对高级反爬，需额外配置) # with XHSAntiBlockSpider([], ua_list, use_fingerprint_browser=True) as spider: # html = spider.fetch_with_retry('https://www.xiaohongshu.com/user/profile/xxx') # print(len(html))

这个框架提供了一个弹性策略。对于小红书首页探索页这类反爬相对宽松的页面，可能第一层requests就能成功。对于用户详情页、搜索列表页这些重灾区，则会自动降级到使用Playwright甚至更复杂的行为模拟。

7. 常见问题排查与调试技巧

在实际操作中，你会遇到各种各样的问题。下面是一些常见错误和排查思路。

7.1 高频错误码解析与应对

7.2 调试与检测工具推荐

1. 浏览器开发者工具 (F12)：最基础也是最重要的工具。查看Network面板中每个请求的Headers（特别是Request Headers）、Cookies、Preview/Response。使用Copy as cURL功能可以快速复现浏览器发出的原始请求。
2. 指纹检测网站：
   • https://bot.sannysoft.com/：检测无头浏览器和自动化特征。
   • https://antoinevastel.com/bots/：检测更高级的浏览器指纹和自动化工具。
   • https://pixelscan.net/：专注于Canvas和WebGL指纹检测。
   • 在你自己编写的爬虫中访问这些网站，查看检测结果，针对性改进。
3. Playwright/Chromium 开发者工具：在启动Playwright时设置devtools=True，可以打开浏览器开发者工具，实时查看Console日志和Network请求，对于调试页面内的JS错误和请求拦截非常有用。
4. Wireshark / Fiddler：网络抓包工具，可以分析最底层的TCP/TLS握手信息，对于调试罕见的网络层问题有帮助。

7.3 关于“unexpected status 502 bad gateway”的深度排查

这个错误在爬虫中极其常见，尤其是在使用云服务器或代理时。除了上述指纹问题，还需排查：

• 代理IP质量：你使用的代理IP可能已被目标网站拉黑，或者本身就不稳定。尝试更换为住宅ISP代理或4G/5G移动代理，它们的IP段更接近真实用户。
• TLS指纹（JA3）：你的爬虫程序（如Python的requests、aiohttp）在建立TLS连接时，其加密套件、扩展列表的顺序与真实浏览器不同，会生成独特的JA3指纹。风控系统可以据此识别。解决方案是使用能修改TLS指纹的库，如curl_cffi（模拟真实浏览器TLS指纹的Python库）或直接使用无头浏览器（其TLS指纹与真实浏览器一致）。
• TCP连接特征：如TCP窗口大小、TTL等。这部分较难修改，但使用真实浏览器内核（Playwright）通常能解决。

一个简单的JA3指纹测试：你可以用curl命令和curl_cffi分别请求https://tls.browserleaks.com/json，对比返回的ja3_hash字段。如果不同，说明你的Python默认HTTP库指纹暴露了。

踩坑这么多年，我的体会是，爬虫与反爬的对抗没有一劳永逸的银弹。它是一个持续迭代的过程。今天有效的指纹，明天可能就被加入特征库。最稳妥的策略是“模拟真实用户”和“分散风险”。用真实浏览器环境、注入人类行为、使用高质量且分散的代理IP、严格控制访问频率，并将这些策略组合成一个有弹性的系统，才能在数据采集的路上走得更远。最后，再分享一个小技巧：对于非常重要的目标，不妨准备几套完全不同的技术方案（如纯请求、Playwright、指纹浏览器），并设置一个熔断机制，当一种方案失败率过高时自动切换，这能极大提高系统的鲁棒性。