2021
07-04
07-04
beam search及pytorch的实现方式
主要记录两种不同的beamsearch版本版本一使用类似层次遍历的方式进行搜索,用队列进行维护,每次循环对当前层的所有节点进行搜索,这些节点每个分别对应topk个节点作为下一层候选节点,取所有候选节点的前tok个作为下一层节点加入队列bfswithwidthconstraint.启发式搜索的一种.属于贪心算法.如果k->inf,那么等价于bfs.从根节点开始(),选取所有可能(大概几万个)里面概率最大的k个,拓展为下一层节点.然后在这k个节点...
继续阅读 >