本文目录导读：
文本聚类是一种无监督学习方法,旨在将大量文本自动分组，使得同一组内的文本内容相似，不同组之间的差异明显，以下是几种常见且有效的文本聚类方法，按照技术路线分类整理：
基于传统词袋模型的方法
这类方法将文本转换为向量,然后使用经典聚类算法。
- 向量化表示：
- TF-IDF：最经典的文本向量化方法，通过词频和逆文档频率衡量词语重要性。
- 词袋模型：简单统计词频，但忽略了词语顺序和语义。
- 聚类算法：
- K-Means：最常用的方法，速度快，适合大规模数据，需要预先指定聚类数量K，且对初始质心敏感。
- 层次聚类：生成树状结构的聚类结果，无需预先指定K值，适合探索性分析，计算复杂度较高。
- DBSCAN：基于密度的聚类，能自动发现任意形状的簇，并识别噪声点，适合处理形状复杂或存在离群点的数据。
- Mini-Batch K-Means：K-Means的变体，使用小批量数据加速训练，适合超大规模文本聚类。
基于主题模型的方法
这类方法认为每篇文本由多个主题混合而成,通过概率模型发现主题分布。
- LDA：最经典的主题模型，它将每篇文本表示为“主题分布”，每个主题表示为“词分布”，聚类结果由主题分布直接决定，可解释性强。
- NMF：非负矩阵分解，将文本-词矩阵分解为两个低秩矩阵，可解释性较好，对短文本有一定优势。
基于词嵌入与神经网络的方法
利用预训练语言模型捕捉语义相似性,是目前的主流方向。
- 向量化表示：
- Word2Vec / GloVe：将词映射为稠密向量，然后通过平均或加权池化得到文本向量。
- BERT / Sentence-BERT：直接生成上下文相关的句子向量，语义表达更为精准。
- 聚类算法：
- K-Means / 层次聚类：在语义向量上同样适用。
- 谱聚类：利用文本向量的相似度矩阵进行降维后聚类，适合非凸形状的簇。
- HDBSCAN：DBSCAN的层次化改进版本，无需预设epsilon参数，效果稳定。
基于深度学习端到端的方法
将特征提取与聚类过程融合到一个神经网络中。
- DEC：先使用自编码器学习特征，再通过KL散度优化聚类中心。
- IDEC：在DEC基础上保留自编码器的重构损失，缓解特征退化问题。
- VaDE：基于变分自编码器，将高斯混合模型嵌入隐空间。
针对短文本的专用方法
- 词向量 + 聚类：如使用GoogleNews的预训练Word2Vec向量对微博、评论等短文本进行K-Means聚类。
- 预训练模型 + 聚类：如用Sentence-BERT生成短文本向量后聚类。
- 主题模型变体：如BTM或GPU-DMM，专门解决短文本词共现稀疏的问题。
如何选择合适的方法？
| 数据规模 | 推荐方法 | 理由 |
|---|---|---|
| 小规模 | 层次聚类 + TF-IDF | 可解释性强，无需预设K值 |
| 大规模 | Mini-Batch K-Means + BERT向量 | 速度快，语义效果好 |
| 短文本 | Sentence-BERT + HDBSCAN | 能解决稀疏性问题 |
| 需要可解释性 | LDA | 直接输出主题关键词 |
| 有噪声 | DBSCAN / HDBSCAN | 自动识别离群点 |
实践经验建议
- 预处理很重要：通常需要去除停用词、标点，并根据场景决定是否分词（中文需要分词器如jieba）或抽取关键词。
- 计算相似度：对于K-Means这类基于距离的算法，通常使用余弦距离比欧氏距离更适用于文本向量。
- 评估指标：如果数据集有标签，可以使用NMI或ARI评估；无标签时可使用轮廓系数或困惑度（针对主题模型）。
- 注意维度灾难：TF-IDF产生的向量可能非常稀疏且高维，可以考虑用SVD/PCA降维后再聚类。
如果你有具体的数据类型（如新闻、论文、客服对话）或计算资源限制，可以进一步告诉我，我可以推荐更具体的实施方案。