词向量如何训练？从原理到实战的完整指南
目录导读
- 什么是词向量？ – 理解词向量的核心意义与数学基础
- 主流训练方法对比 – CBOW、Skip-gram、GloVe、FastText 的工作原理与优劣
- 训练流程详解 – 从数据预处理到模型收敛的完整步骤
- 实战案例：使用Python训练自己的词向量 – 代码+参数调优建议
- 常见问题与解答 – 词向量维度选择、过拟合、评估指标等
什么是词向量？
词向量（Word Embedding）是一种将自然语言中的单词映射为低维、稠密实数向量的技术，它的目标是让语义相近的词在向量空间中距离更近。“国王-男人+女人”的向量运算结果应接近“女王”。
传统方法如One-Hot编码会导致词向量维度极高且稀疏（例如语料库有10万词，向量就是10万维），词向量通过分布式表示（Distributed Representation），将每个词压缩到几十到几百维,大幅提升计算效率。
核心思想：
“一个词的含义由其上下文决定”（You shall know a word by the company it keeps）,词向量训练的本质就是挖掘词与上下文的共现规律。
主流训练方法对比
1 CBOW（Continuous Bag-of-Words）
- 原理： 根据上下文词预测当前中心词，例如对于句子“我_吃苹果”，用“我”和“苹果”预测中间词“吃”。
- 优点： 训练速度快，对小规模语料友好,对高频词效果好。
- 缺点： 对低频词和罕见组合的建模能力较弱。
2 Skip-gram
- 原理： 根据当前中心词预测其上下文词，例如给定“吃”，预测“我”和“苹果”。
- 优点： 能更好地捕捉低频词和主题词,适合大规模语料。
- 缺点： 训练速度比CBOW慢,且需要更多数据。
3 GloVe（Global Vectors for Word Representation）
- 原理： 基于全局词-词共现矩阵的统计信息,通过矩阵分解学习词向量。
- 优点： 融合了局部上下文窗口和全局统计信息,语义表现稳定。
- 缺点： 训练需要预先构建全局共现矩阵,内存消耗较大。
4 FastText
- 原理： 在Skip-gram基础上引入子词信息（n-gram）,将一个词分解为字符级别的子串。
- 优点： 能处理未登录词（OOV）和形态丰富的语言（如德语、中文）。
- 缺点： 模型尺寸较大,训练时间略长。
问答专栏
问：为什么Skip-gram对低频词表现更好？
答：Skip-gram在每次训练时，每个中心词只产生少量上下文对，低频词每次出现都会产生多个训练样本，从而迫使模型反复调整该词对应的向量，相比之下，CBOW将多个上下文词平均后预测中心词,低频词的影响被稀释。
训练流程详解（以Skip-gram为例）
步骤1：数据预处理
- 清理文本： 去除HTML标签、特殊符号、多余空格，中文需进行分词（推荐jieba或HanLP）。
- 构建词汇表： 统计每个词的出现频率，去掉低频词（例如出现次数<5的词），常用词汇表大小设为5万~20万。
- 创建映射表： 建立词到索引的映射（word2id）和索引到词的映射（id2word）。
步骤2：生成训练样本
- 定义上下文窗口（Context Window）： 通常设为5~10个词，窗口大小影响模型对“范围”的感知。
- 负采样（Negative Sampling）： 替代传统的Softmax优化方法，每次训练只随机采样5~20个“负样本”（非上下文词）,显著降低计算量。
步骤3：模型构建
- 初始化嵌入矩阵： 将每个词映射为300维向量（初始值随机正态分布）。
- 训练网络： 输入中心词的one-hot向量 → 嵌入层 → 点积计算相似度 → 输出上下文词的概率。
步骤4：损失函数与优化
- 使用二分类交叉熵损失： 最大化正样本概率,最小化负样本概率。
- 学习率： 通常在0.001~0.01之间,采用学习率衰减策略。
步骤5：迭代与收敛
- 周期数（Epoch）： 小语料（<1亿词）建议5~15轮，大语料（>10亿词）1~3轮即可。
- 验证方法： 使用WordSim-353或SimLex-999等基准数据集,测试词相似度任务的表现。
问答专栏
问：词向量维度如何选择？
答：经验法则为300维左右，维度越低，信息压缩越严重，可能丢失语义细节；维度越高，表达能力增强但容易过拟合，在通用语料上，300维是经过验证的平衡点，特殊领域（如医疗、法律）可能需要500维以上。
实战案例：使用Gensim训练中文词向量
from gensim.models import Word2Vec
import jieba
# 1. 读取并分词
with open('news.txt', 'r', encoding='utf-8') as f:
sentences = [jieba.lcut(line.strip()) for line in f if line.strip()]
# 2. 训练模型
model = Word2Vec(
sentences=sentences,
vector_size=300, # 词向量维度
window=10, # 上下文窗口大小
min_count=5, # 忽略出现次数低于5的词
workers=4, # 并行计算线程数
sg=1, # 使用Skip-gram (0=CBOW, 1=Skip-gram)
negative=15, # 负采样样本数
epochs=10 # 训练轮数
)
# 3. 保存模型
model.save('word2vec.model')
# 4. 测试相似词
print(model.wv.most_similar('人工智能', topn=10))
调优建议：
- 窗口大小： 如果任务是词义消歧（如“苹果”作为水果或公司），建议窗口缩小到2~3；如果任务更关注主题相关（如“篮球”与“得分”），窗口可扩大到10~15。
- 负采样： 对于小语料（<1万句），负采样数设为5即可；大语料可增加到15~20。
- 语料规范： 中文建议全部转为简体，并统一词性（如“B2B”保留原样而非分词为“B 2 B”）。
常见问题与解答
Q1：词向量训练需要GPU吗？
A：传统Word2Vec、GloVe在CPU上训练百万级语料只需几小时，无需GPU，但大规模模型（如BERT的Token Embedding）建议使用GPU。
Q2：如何处理未登录词（OOV）？
A：Word2Vec无法处理OOV，解决方案包括：使用FastText引入子词信息；或在模型保存时加入 <UNK> 标记,将OOV映射到该标记。
Q3：词向量是否有偏见？
A：是的，词向量会学习训练数据中的社会偏见（护士”接近“女性”，“程序员”接近“男性”），可通过后处理数据或使用去偏算法（如Hard Debias）缓解。
Q4：如何评估词向量质量？
A：常用指标包括：
- 类比推理： “国王-男人+女人”是否接近“女王”
- 词相似度： 与人工标注的相似度列表计算Spearman相关系数
- 下游任务： 将词向量输入具体NLP任务（情感分析、命名实体识别）,查看性能提升。
词向量的训练并不神秘，核心在于“通过上下文捕获语义”，从One-Hot到BERT的Embedding，方法在变，但底层逻辑一致：用分布式的稠密向量表示词，无论你选择CBOW、Skip-gram还是GloVe，理解数据、调整超参数、验证质量才是关键。
延伸资源： 官方gensim文档、论文《Efficient Estimation of Word Representations in Vector Space》、Google预训练词向量（如GoogleNews-vectors-negative300.bin）。
标签： 词向量训练