|
从基本的HMM算法实现到LSTM实现，在NLP任务中有很多方法来处理读取，QA或存储器功能。此外，Facebook已经提供了20个NLP任务，并且还有一些公认的测试数据集。目前，许多网络改进和优化以及每个LSTM变体的目标是完成这20个任务。 目前阅读报纸的做法是： 1、基于门功能控制的LSTM处理，属于网络变体， 2、分析序列化后读取的每个单词的答案，最后得到答案得分较高。根据单词顺序，读取每个单词，并且结合问题顺序分析答案。 3、使用外部存储器模块，根据测试结果对存储器模块进行分割和分级，记忆效果更好，可以有效加速查询。 4、使用RNN + DNN联合网络的一些方法可以取得更好的结果。 5、与其他变体相比，我觉得GRU更好，或者他将门控功能结合起来以控制信息记忆和遗忘。这种机制更好。 6、在一些方法中，知识图被引入作为预处理信息。但是，在实际应用中，如何解决知识地图的自动构建和更新问题以及知识冲突的回避原则，目前尚无解决方案。 7、还有一些程序特定的自定义规则，可以在简单的句子问题中提取几种类型的问题。他们分为几类。但是，面对多层次问题，规则根本没有作用，或者需要完整的规则，而这几乎是不可能实现的。 8、将焦点模型引入网络时，可以根据输入序列使与问题相关的部分序列更加突出，这与关键点的意义相同。 9、有的引入了大规模的记忆模型，而是认为该模型应该具有网络可以直接引用的短期记忆，并且还应该具有大规模的长期记忆。 10、在由Facebook团队设计的端到端内存网络模型中，构造了答案字典，并且可以使用阈值来定义完全匹配标准。 11、新的有效模型是循环聚焦模型，RNN +注意机制， 12、一些使用POS（词性）语义分析输入语句。这是非常困难的，但就具体影响或长期发展而言很难说。目前，已经有平台或API来实现更精确的语义解构。
|
