Berkeley AI Research 提出 word2vec 学习机制的定量理论

Berkeley AI Research 证明 word2vec 在特定条件下等价于对目标矩阵 $M^{\star}$ 执行 PCA，其学习过程表现为离散的秩增量步骤。该理论揭示了嵌入向量如何逐步展开为可解释的线性子空间，并给出了基于语料统计量的闭式解特征计算方法。