189 8069 5689
1、整理完，大概1g语料，训练的话，CBOW算法训练了半个小时不到。训练后的模型大概是2g左右，加载起来也是比较慢，不过还能接受。
创新互联建站服务项目包括华州网站建设、华州网站制作、华州网页制作以及华州网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，华州网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到华州省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
2、用wiki英文语料训练的用时较长，约7小时。
3、之前我们使用 Word2Vec 将每个词映射到了一个向量空间，因此，我们可以利用这个向量表示的空间，对这些词进行聚类分析。
1、词向量一般不是模型训练的任务，而是为完成任务顺带得到的附属品。
2、在梯度反向传播过程中，这些初始化的向量也会得到调整。
3、Encoder输入的是单词的向量，这里对其进行随机初始化，但设为Trainable，在训练过程中不断对词向量的值进行改进，即End2End训练方式。
4、在预先训练的词集中不存在的词将被随机初始化。论文用模型的几个变体进行了实验 CNN-rand：基线模型，其中所有单词都随机初始化，然后在训练期间修改。CNN-static：一个带有fromword2vec预训练向量的模型。
5、推荐的方式是 non-static 中的 fine-tunning方式，它是以预训练（pre-train）的word2vec向量初始化词向量，训练过程中调整词向量，能加速收敛，当然如果有充足的训练数据和资源，直接随机初始化词向量效果也是可以的。
6、后来出现了神经网络语言模型，该模型训练出语言模型的同时可以输出词向量。
1、第一层为词向量层，每个词都查表替换为词向量作为输入，第二层是一个tanh层（隐藏层），与第一层相连，第三层是一个softmax输出层，与第一层和第二层都相连。
2、GloVe：Global Vectors for Word Representation，它是一个基于 全局词频统计 的词表征工具。通过GloVe计算出的词向量捕捉到了词之间一些语义特性，比如相似性(similarity)、类比性(analogy)等。
3、理论概述：词向量是什么？自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化。