企业官网建设流程全解析

从零开始：用Scipy的Dendrogram揭示数据层次结构的完整指南

当你面对一堆看似杂乱无章的数据时，是否曾想过这些数据内部可能隐藏着某种层次结构？层次聚类算法正是解决这一问题的利器，而Scipy库中的dendrogram（树状图）则是展示这种层次结构的绝佳工具。本文将带你从基础概念出发，通过一个完整的案例，掌握如何使用Scipy的linkage和dendrogram函数来构建和解读层次聚类树状图。

1. 层次聚类基础与核心概念

层次聚类是一种无需预先指定聚类数量的无监督学习方法，它通过计算数据点之间的相似度（距离）来构建树形结构。与K-means等划分式聚类不同，层次聚类能够展示数据在不同粒度下的分组情况。

核心概念解析：

• 凝聚式（Agglomerative）：自底向上方法，每个数据点初始为一个簇，逐步合并最相似的簇
• 分裂式（Divisive）：自顶向下方法，所有数据点初始为一个簇，逐步分裂为更小的簇
• 连接准则（Linkage Criterion）：决定如何计算簇间距离的方法，常见有：
  • 单连接（single）：两个簇中最近点之间的距离
  • 全连接（complete）：两个簇中最远点之间的距离
  • 平均连接（average）：两个簇所有点对距离的平均值
  • Ward方法：最小化合并后的簇内方差增量

from scipy.cluster.hierarchy import linkage, dendrogram from matplotlib import pyplot as plt import numpy as np # 生成示例数据 np.random.seed(42) data = np.concatenate([ np.random.normal(loc=[0,0], scale=1, size=(50,2)), np.random.normal(loc=[5,5], scale=1, size=(50,2)) ]) # 计算连接矩阵 Z = linkage(data, method='ward')

2. 数据准备与预处理实战

在应用层次聚类前，数据准备是至关重要的一步。不合适的预处理可能导致聚类结果失真。

关键预处理步骤：

1. 数据清洗：

   • 处理缺失值（删除或填充）
   • 去除异常值（使用IQR或Z-score方法）

2. 特征标准化：

   • 当特征量纲不同时，必须进行标准化
   • 常用方法：Z-score标准化、Min-Max归一化

3. 距离度量选择：

   • 欧氏距离：适用于连续变量
   • 余弦相似度：适用于文本或高维稀疏数据
   • 马氏距离：考虑特征间相关性

from sklearn.preprocessing import StandardScaler # 标准化数据 scaler = StandardScaler() data_scaled = scaler.fit_transform(data) # 不同距离度量的效果对比 methods = ['euclidean', 'cityblock', 'cosine'] fig, axes = plt.subplots(1, 3, figsize=(18, 5)) for ax, metric in zip(axes, methods): Z = linkage(data_scaled, method='complete', metric=metric) dendrogram(Z, ax=ax) ax.set_title(f'Metric: {metric}') plt.tight_layout()

3. 构建与解读树状图

树状图是层次聚类的可视化呈现，正确解读它需要理解几个关键元素：

树状图组成要素：

• 叶子节点：代表原始数据点
• 连接高度：表示两个簇合并时的距离
• 颜色阈值：用于区分不同簇的视觉辅助

解读技巧：

1. 观察连接高度的突变点，这通常表示自然的聚类分割
2. 水平切割树状图可以得到不同数量的簇
3. 簇内连接高度差异小表示簇内一致性高

plt.figure(figsize=(12, 6)) dendrogram(Z, truncate_mode='lastp', # 显示最后p个合并的簇 p=12, # 显示12个叶节点 show_leaf_counts=True, # 显示叶节点数量 leaf_rotation=90., # 旋转叶标签 leaf_font_size=12., # 叶标签字体大小 show_contracted=True) # 显示收缩的叶节点 plt.title('层次聚类树状图') plt.xlabel('样本索引或(簇大小)') plt.ylabel('距离') plt.axhline(y=5, c='k', linestyle='--') # 添加水平切割线 plt.show()

4. 参数调优与高级技巧

Scipy的dendrogram函数提供了丰富的参数来控制树状图的显示效果和聚类行为。

关键参数详解：

高级技巧：

1. 动态颜色阈值：根据数据特性自动设置颜色阈值
2. 自定义叶标签：使用leaf_label_func参数添加丰富信息
3. 交互式可视化：结合plotly实现可交互树状图

# 自定义颜色阈值和标签 color_threshold = 0.7 * max(Z[:,2]) plt.figure(figsize=(15, 8)) dendrogram(Z, color_threshold=color_threshold, labels=[f'样本_{i}' for i in range(len(data))], leaf_label_func=lambda x: f'ID:{x}', above_threshold_color='grey') # 高于阈值的连接颜色 plt.title('带自定义颜色和标签的树状图') plt.show()

5. 实战案例：鸢尾花数据集分析

让我们通过经典的鸢尾花数据集来展示层次聚类的完整流程。

from sklearn.datasets import load_iris # 加载数据 iris = load_iris() X = iris.data y = iris.target # 标准化并计算连接矩阵 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) Z = linkage(X_scaled, method='ward') # 绘制树状图 plt.figure(figsize=(12, 6)) dendrogram(Z, labels=y, orientation='right') plt.title('鸢尾花数据集层次聚类') plt.xlabel('距离') plt.ylabel('鸢尾花种类') plt.show() # 提取聚类结果 from scipy.cluster.hierarchy import fcluster clusters = fcluster(Z, t=3, criterion='maxclust') # 评估聚类效果 from sklearn.metrics import adjusted_rand_score print(f"调整兰德指数: {adjusted_rand_score(y, clusters):.3f}")

结果分析：

• 树状图清晰显示了三个主要簇，与鸢尾花的三个种类基本吻合
• 调整兰德指数接近1表明聚类结果与真实分类高度一致
• 可以观察到setosa种类与其他两种区分明显，versicolor和virginica有部分重叠

6. 常见问题与解决方案

在实际应用中，你可能会遇到以下典型问题：

问题1：大数据集导致树状图难以阅读

• 解决方案：使用truncate_mode参数简化显示

dendrogram(Z, truncate_mode='level', p=5)

问题2：如何确定最佳聚类数量

• 解决方案：结合轮廓系数和树状图高度变化

from sklearn.metrics import silhouette_score # 尝试不同聚类数量 range_n_clusters = range(2, 10) silhouette_scores = [] for n_clusters in range_n_clusters: clusters = fcluster(Z, n_clusters, criterion='maxclust') silhouette_scores.append(silhouette_score(X_scaled, clusters)) plt.plot(range_n_clusters, silhouette_scores) plt.xlabel('聚类数量') plt.ylabel('轮廓系数') plt.show()

问题3：处理高维数据

• 解决方案：先降维再聚类

from sklearn.decomposition import PCA pca = PCA(n_components=2) X_pca = pca.fit_transform(X_scaled) Z_pca = linkage(X_pca, method='ward')

7. 与其他聚类方法的对比

层次聚类并非适用于所有场景，了解其优缺点有助于做出正确选择：

对比表格：

选择建议：

• 当数据量<1000且需要可视化解释时，优先考虑层次聚类
• 对于文本数据，可尝试结合TF-IDF和余弦相似度
• 在生物信息学等领域，层次聚类仍是首选方法

# 对比K-means和层次聚类 from sklearn.cluster import KMeans kmeans = KMeans(n_clusters=3) kmeans_labels = kmeans.fit_predict(X_scaled) hierarchical_labels = fcluster(Z, 3, criterion='maxclust') fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(15, 6)) ax1.scatter(X[:,0], X[:,1], c=kmeans_labels) ax1.set_title('K-means聚类') ax2.scatter(X[:,0], X[:,1], c=hierarchical_labels) ax2.set_title('层次聚类') plt.show()

在实际项目中，我经常发现层次聚类在探索性分析阶段特别有价值。它提供的树状图不仅能展示最终聚类结果，还能揭示数据在不同尺度下的组织结构，这是其他聚类方法难以替代的。当处理基因表达数据时，通过调整颜色阈值和切割高度，往往能发现意想不到的生物标记物组合。