超级会员免费看
LSTM在文本生成中的应用与优化
1. LSTM与GRU对比
在当前研究中，LSTM和GRU在性能上没有绝对的优劣之分，其表现很大程度上取决于具体的任务。
2. 利用束搜索优化LSTM
2.1 束搜索原理
束搜索是一种贪心搜索算法，它会向前预测若干步（束长），并计算每个束（二元组序列）的联合概率，选择联合概率最高的束。联合概率通过将束中每个预测二元组的预测概率相乘得到。不过，这种搜索方法并不能保证找到全局最优束。
2.2 束搜索的实现步骤
- 定义参数 ：
beam_length = 5
beam_neighbors = 5
- 定义占位符 ：
sample_beam_inputs = [tf.placeholder(tf.float32, shape=[1, vocabulary_size]) for _ in range(beam_neighbors)]
best_beam_index = tf.placeholder(shape=None, dtype=tf.int32)
best_neighbor_beam_indices = tf.placeholder(shape=[beam_neighbors], dtype=tf.int32)
订阅专栏 解锁全文
扫一扫
1952
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
