Python爬虫之Spider类用法简单介绍
2026/10/15 11:04:09
1. 从一个“老古董”框架说起：为什么今天还要聊TensorFlow
先坦白一件事：我最初接触深度学习框架的时候，TensorFlow 1.x 那套Session、placeholder、Graph的写法，确实把我劝退过一阵子。那时候写一个最简单的全连接网络，代码量比现在多出两三倍，调试起来还得靠tf.Print这种“土办法”。但有意思的是，这几年我陆续在几个实际项目里重新用回了 TensorFlow，尤其是 2.x 版本出来之后，我的态度发生了明显转变。
TensorFlow 到底是什么？简单说，它是一个端到端的开源机器学习平台。注意我用的是“平台”而不是“框架”，因为它的野心从来不只是让你搭个神经网络那么简单。从数据预处理（tf.data）、模型构建（Keras API）、训练加速（分布式策略）、到部署上线（TensorFlow Serving、TensorFlow Lite、TensorFlow.js），它想覆盖的是机器学习从实验到生产的全链路。
那它解决了什么问题？我自己的体会是：当你从“跑个Demo”阶段进入“要上线、要维护、要跨端”阶段时，TensorFlow 的工程化能力会变得非常有吸引力。比如你训练好一个模型，想同时部署到服务器、安卓手机和浏览器里，用 TensorFlow 的生态可以共用一套模型格式（SavedModel），不用为每个端重新折腾一遍。
这篇文章适合谁看？如果你是有一定 Python 基础、想系统了解 TensorFlow 能做什么、怎么做、坑在哪里的开发者，那接下来的内容应该对你有用。我不会只讲 API 怎么调，更想聊的是：为什么这么设计、实际项目里怎么选、踩过哪些坑。这些经验，很多是文档里不会写的。
2. TensorFlow 的整体设计思路：为什么它长成现在这样
2.1 从静态图到动态图的转变逻辑
TensorFlow 1.x 最被人诟病的就是静态计算图。你得先定义一整张图，再开一个Session去跑。这种设计的好处是：图一旦定义好，就可以做全局优化，部署时也能脱离 Python 环境。但坏处也很明显——调试极其痛苦，你没法像写普通 Python 那样print中间结果，因为那些张量在图里只是“符号”，还没有真实的值。
TensorFlow 2.x 做了一个非常关键的决定：默认开启 Eager Execution（动态图模式）。这意味着你写c = tf.add(a, b)的时候，它立刻就算出来了，跟 NumPy 的体验几乎一样。这个转变背后的逻辑是：研究阶段需要灵活性和可调试性，生产阶段才需要图优化。所以 2.x 的策略是“先动态执行，需要导出时再用tf.function把 Python 代码转成图”。
我实测下来的感受是：这个设计确实让入门门槛降了一大截。你可以用纯 Python 的思维去写模型，调试的时候直接print张量值，不用再开 Session。而当你需要性能优化或者部署时，加一个@tf.function装饰器，它就会自动帮你把函数编译成图，兼顾了灵活和效率。
2.2 Keras 成为官方高阶 API 的考量
TensorFlow 2.x 另一个大动作是把Keras 收编为官方推荐的高阶 API。以前大家用tf.layers、tf.nn、slim等各种包，风格不统一，学习成本高。现在官方明确告诉你：日常建模就用tf.keras，需要底层控制时再往下钻到tf.nn或自定义层。
这个决策我觉得非常务实。Keras 的Sequential、Functional API、Model Subclassing三种建模方式，分别对应了从简单到复杂的场景。新手可以用Sequential三行代码搭一个网络；需要多输入多输出的时候用 Functional API；要做动态控制流或者自定义训练循环的时候，用 Subclassing。这种分层设计让不同水平的开发者都能找到合适的入口。
2.3 生态布局：为什么它不只是一个训练框架
TensorFlow 真正区别于其他框架的地方，在于它的全链路生态。我列几个实际项目中会用到的组件：
- tf.data：构建高效的数据输入管道，支持从内存、文件、TFRecord 等多种来源读取，还能做并行预处理。
- TensorFlow Serving：专门用于生产环境部署模型，支持模型版本管理、热更新、gRPC/REST 接口。
- TensorFlow Lite：面向移动端和嵌入式设备的轻量级推理引擎，支持量化压缩。
- TensorFlow.js：让模型直接在浏览器或 Node.js 里跑。
- TensorBoard：可视化训练过程、计算图、嵌入向量等。
这套组合拳的意义在于：你不需要在训练用一套工具、部署又换另一套。模型从实验到上线，格式和流程是打通的。当然，这种“大而全”也有代价，后面我会讲到。
3. 核心实操：从零搭建一个可用的训练流程
3.1 环境准备与版本选择
先说环境。TensorFlow 的版本兼容性是个老生常谈的坑。我的建议是：
- Python 版本：目前 2.13 以上的 TensorFlow 建议 Python 3.9 到 3.11。太新的 Python 版本可能还没出对应的 wheel 包。
- GPU 支持：如果你用 NVIDIA 显卡，需要装 CUDA 和 cuDNN。这里有个关键点：TensorFlow 对 CUDA 版本的要求非常严格，不是越新越好。比如 TensorFlow 2.10 是最后一个原生支持 Windows GPU 的版本，之后的版本在 Windows 上只能用 WSL2。
- 安装方式：我个人推荐用 conda 创建独立环境，避免和系统 Python 冲突。
conda create -n tf_env python=3.10 conda activate tf_env pip install tensorflow[and-cuda]装完之后一定要验证：
import tensorflow as tf print(tf.__version__) print(tf.config.list_physical_devices('GPU'))如果 GPU 列表是空的，但你有显卡，那大概率是 CUDA 版本对不上。这时候别急着重装，先查一下 TensorFlow 官方文档里对应版本的 CUDA 要求，再核对nvcc --version和nvidia-smi的输出。
3.2 数据管道的构建要点
很多人把精力全放在模型结构上，却忽略了数据输入才是训练效率的瓶颈。tf.data的核心价值在于它能构建一个异步、并行、预取的管道，让 GPU 不用等数据。
一个典型的高效管道长这样：
dataset = tf.data.Dataset.from_tensor_slices((images, labels)) dataset = dataset.shuffle(buffer_size=10000) dataset = dataset.map(preprocess_fn, num_parallel_calls=tf.data.AUTOTUNE) dataset = dataset.batch(64) dataset = dataset.prefetch(tf.data.AUTOTUNE)这里有几个参数值得解释：
buffer_size： shuffle 的缓冲区大小。太小了打乱效果不好，太大了占内存。一般设成数据集大小的十分之一到一半。num_parallel_calls：并行预处理的数量。设成AUTOTUNE让 TensorFlow 自己决定，通常比手动设固定值好。prefetch：预取下一批数据。这个操作能让 CPU 预处理和 GPU 计算重叠起来，实测能提升 20% 到 30% 的吞吐。
注意：
map里的函数尽量用 TensorFlow 原生操作，少用 Python 原生函数。因为 Python 函数会拖慢图执行的速度，尤其是在tf.function里。
3.3 模型构建的三种方式与选择依据
前面提到 Keras 有三种建模方式，我结合实际经验说说怎么选。
Sequential 适合场景：层与层之间是简单的线性堆叠，没有分支、没有多输入多输出。比如一个普通的图像分类 CNN。
model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, 3, activation='relu', input_shape=(28, 28, 1)), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10, activation='softmax') ])Functional API 适合场景：需要多输入、多输出、共享层、残差连接等复杂拓扑。比如一个同时输入图像和文本的多模态模型。
img_input = tf.keras.Input(shape=(224, 224, 3)) txt_input = tf.keras.Input(shape=(100,)) img_feat = tf.keras.layers.Conv2D(64, 3, activation='relu')(img_input) img_feat = tf.keras.layers.GlobalAveragePooling2D()(img_feat) txt_feat = tf.keras.layers.Embedding(10000, 64)(txt_input) txt_feat = tf.keras.layers.GlobalAveragePooling1D()(txt_feat) merged = tf.keras.layers.Concatenate()([img_feat, txt_feat]) output = tf.keras.layers.Dense(1, activation='sigmoid')(merged) model = tf.keras.Model(inputs=[img_input, txt_input], outputs=output)Model Subclassing 适合场景：需要自定义训练循环、动态控制流、或者研究性质的模型。这种方式最灵活，但也最容易出错，因为很多检查（比如输入形状推断）需要你自己做。
我的建议是：能用 Functional API 解决的就别用 Subclassing。Subclassing 的调试成本高，而且保存和加载模型时容易出问题。
3.4 训练循环与回调机制
Keras 的model.fit()封装了大部分训练逻辑，配合回调（Callbacks）可以实现很多功能：
callbacks = [ tf.keras.callbacks.ModelCheckpoint('best_model.h5', save_best_only=True), tf.keras.callbacks.EarlyStopping(patience=5, restore_best_weights=True), tf.keras.callbacks.ReduceLROnPlateau(factor=0.5, patience=3), tf.keras.callbacks.TensorBoard(log_dir='./logs') ] model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.fit(train_ds, validation_data=val_ds, epochs=50, callbacks=callbacks)这几个回调是我几乎每个项目都会用的：
- ModelCheckpoint：保存验证集上表现最好的模型，避免训练后期过拟合导致模型变差。
- EarlyStopping：验证集损失不再下降时提前停止，省时间。
- ReduceLROnPlateau：损失停滞时降低学习率，帮助模型跳出局部最优。
- TensorBoard：记录训练曲线，方便对比不同实验。
实操心得：
EarlyStopping的patience不要设太小。我试过设 3，结果模型在震荡期被误判为收敛，提前停了。一般设 5 到 10 比较稳妥。
4. 性能优化与部署：从实验室到生产环境
4.1 混合精度训练的实际收益
混合精度训练是这几年的一个热门话题。核心思路是：前向传播和反向传播用 float16 加速计算，参数更新用 float32 保证精度。在支持 Tensor Core 的 GPU 上，这能带来接近两倍的速度提升。
开启方式很简单：
policy = tf.keras.mixed_precision.Policy('mixed_float16') tf.keras.mixed_precision.set_global_policy(policy)但有几个坑要注意：
- 损失缩放：float16 的表示范围比 float32 小很多，梯度容易下溢变成 0。Keras 会自动帮你加损失缩放，但如果你写自定义训练循环，需要手动处理。
- 某些层不支持：比如
BatchNormalization在 float16 下可能不稳定，Keras 会自动把它转成 float32 计算。 - 不是所有 GPU 都支持：只有计算能力 7.0 以上的 NVIDIA GPU 才有 Tensor Core。
我实测下来，在 V100 上训练 ResNet-50，混合精度能带来大约 1.8 倍的速度提升，精度损失在 0.1% 以内，非常划算。
4.2 分布式训练策略选择
当模型变大或者数据变多，单卡训练就不够了。TensorFlow 提供了tf.distribute.Strategy来简化分布式训练：
| 策略 | 适用场景 | 特点 |
|---|---|---|
| MirroredStrategy | 单机多卡 | 同步训练，每张卡持有完整模型副本 |
| MultiWorkerMirroredStrategy | 多机多卡 | 需要配置 TF_CONFIG 环境变量 |
| TPUStrategy | TPU 集群 | 需要 Google Cloud TPU 环境 |
| ParameterServerStrategy | 异步训练 | 适合超大规模稀疏模型 |
对于大多数团队来说，MirroredStrategy 是最常用的。用法也很简单：
strategy = tf.distribute.MirroredStrategy() with strategy.scope(): model = build_model() model.compile(...)注意：模型构建和编译必须在strategy.scope()里面，否则变量不会正确分配到各张卡上。这个坑我踩过，当时模型能跑但只用了一张卡，查了半天才发现是 scope 位置不对。
4.3 模型导出与多端部署
训练完之后，导出模型是部署的第一步。TensorFlow 推荐用SavedModel格式：
model.save('saved_model/my_model')SavedModel 的好处是平台无关，包含了计算图和权重，可以在 Python、C++、Java 等多种环境中加载。
如果要部署到移动端，用 TensorFlow Lite 转换：
converter = tf.lite.TFLiteConverter.from_saved_model('saved_model/my_model') converter.optimizations = [tf.lite.Optimize.DEFAULT] tflite_model = converter.convert()Optimize.DEFAULT会启用量化，模型大小能压缩到原来的四分之一左右，推理速度也有提升。但要注意：量化会带来精度损失，如果对精度要求极高，可以用Optimize.NONE或者只做动态范围量化。
部署到服务器的话，TensorFlow Serving 是官方方案。它支持模型热更新、版本管理、批量推理，适合生产环境。不过它的配置相对复杂，需要写一个models.config文件，还要用 Docker 启动。如果只是小规模使用，用 Flask 包一层 REST API 也够用。
5. 常见问题与排查技巧实录
5.1 显存不足的排查思路
“OOM（Out of Memory）”是训练时最常见的问题。排查顺序我一般是这样的：
- 先看 batch size 是不是太大。这是最直接的原因，试着减半看看能不能跑。
- 检查是否有内存泄漏。如果你在循环里反复创建模型或者张量，可能会导致显存不释放。用
nvidia-smi观察显存变化。 - 用
tf.config.experimental.set_memory_growth。默认情况下 TensorFlow 会一次性占满所有显存，开启按需增长可以缓解：
gpus = tf.config.experimental.list_physical_devices('GPU') for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True)- 混合精度。前面提到过，float16 占用的显存是 float32 的一半，能有效降低显存压力。
- 梯度累积。如果 batch size 不能再减，可以用梯度累积模拟大 batch：
@tf.function def train_step(x, y, accum_steps): with tf.GradientTape() as tape: logits = model(x, training=True) loss = loss_fn(y, logits) loss = loss / accum_steps grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables))5.2 训练不收敛的常见原因
模型 loss 不下降或者震荡，原因可能有很多。我整理了一个速查表：
| 现象 | 可能原因 | 排查方法 |
|---|---|---|
| loss 一直是 nan | 学习率太大、数据有 nan、损失函数数值不稳定 | 降低学习率、检查数据、加 epsilon |
| loss 下降很慢 | 学习率太小、初始化不好、数据未归一化 | 调大学习率、换初始化、做归一化 |
| 训练 loss 降但验证 loss 升 | 过拟合 | 加正则化、Dropout、数据增强 |
| loss 剧烈震荡 | batch size 太小、学习率太大 | 增大 batch、用学习率预热 |
| 准确率卡在随机水平 | 标签错误、模型结构问题、梯度消失 | 检查标签、换激活函数、加残差连接 |
实操心得：遇到不收敛，先用一个极小的数据集（比如 10 个样本）去过拟合。如果模型连 10 个样本都拟合不了，那肯定是代码有 bug，而不是超参数问题。这个方法帮我省了无数时间。
5.3 模型保存与加载的坑
TensorFlow 的模型保存有几个容易混淆的点：
- H5 格式 vs SavedModel 格式：H5 是 Keras 的老格式，只保存结构和权重，不保存自定义对象。SavedModel 是 TensorFlow 的标准格式，更完整。
- 自定义层/损失函数：如果模型里用了自定义组件，加载时需要传
custom_objects参数，否则会报错。 - Subclassing 模型的保存：Subclassing 模型不能直接保存为 H5，必须用 SavedModel 格式，而且需要定义
get_config和from_config方法。
我个人的习惯是：一律用 SavedModel 格式保存，省心。只有在需要和其他框架交互时才考虑 H5 或 ONNX。
5.4 数据管道性能瓶颈定位
如果训练时 GPU 利用率忽高忽低，大概率是数据管道拖了后腿。排查方法：
- 用
tf.data的benchmark工具测一下数据加载速度。 - 检查
map函数里有没有 Python 原生操作，尽量替换成 TensorFlow 操作。 - 增大
prefetch的 buffer size。 - 如果数据在硬盘上，考虑转成 TFRecord 格式，读取效率比零散图片高很多。
# 测试数据管道速度 import time start = time.time() for _ in dataset.take(100): pass print(f"100 batches took {time.time() - start:.2f}s")如果这个时间明显大于模型前向传播的时间，那就说明数据管道是瓶颈。
6. 一些个人体会与后续扩展方向
TensorFlow 这个生态，说实话，学习曲线不算平缓。但它的工程化能力确实是目前几个主流框架里最完整的。我自己的经验是：如果你只是做研究、跑实验，可能 PyTorch 更顺手；但如果你要把模型真正推到生产环境、要跨端部署、要长期维护，TensorFlow 的这套体系会省很多事。
后续如果想深入，我建议几个方向：
- TFX（TensorFlow Extended）：完整的机器学习流水线工具，涵盖数据验证、模型分析、服务部署等环节。
- TensorFlow Probability：做贝叶斯推断和概率建模。
- TensorFlow Agents：强化学习框架。
- 自定义算子：用 C++ 写自定义 Op，提升特定场景的性能。
最后分享一个小技巧：TensorFlow 的官方文档更新很快，但网上很多教程是 1.x 时代的，直接抄会踩坑。遇到问题优先查官方文档和 GitHub Issues，比搜索引擎靠谱得多。另外，tf.function的input_signature参数能帮你提前发现形状不匹配的问题，建议在导出模型前加上。