大佬教程收集整理的这篇文章主要介绍了如何使用 Glove 嵌入层在 PyTorch 中处理可变长度的句子?,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在 PyTorch 中使用 RNN 构建文本分类器。我使用的嵌入是 glove。但是,我正在向模型中提供可变长度索引引用。这将导致可变长度嵌入,我认为这是行不通的。我如何解决这个问题并使所有句子的嵌入输出长度相同?
def forWARD(self,sentencE):
embeds = self.embedding(sentencE)
hIDden = self.__init__hIDden(sizE)
output,hIDden = self.rnn(embeds,hIDden)
out = self.hIDden2out(output)
另外,如果有人能告诉我如何选择隐藏层的大小那就太好了。
在这种情况下,您的数据可以在 pytorch 中表示为具有以下形状:[seq_len,batch,vocab_size]。当您以这种方式为模型创建张量时,批量大小由您决定,序列长度是可变的。
当您使用嵌入(例如 GloVe 或 word2vec)时,您所做的是压缩词汇量(从数千到
在不知道您的嵌入层的情况下,我只需要假设它在正确的维度上运行。如果不是,则需要执行一些转置操作以确保其有效。
获得有关隐藏层大小(我假设您不在谈论您的 RNN 中的 h_0
输入)和隐藏层数量的直觉的唯一方法是不幸的是尝试一下。我什至不能给你一个猜测,因为我不知道你正在使用什么数据集或者你想要解决什么问题。机器学习中没有一刀切的政策!
以上是大佬教程为你收集整理的如何使用 Glove 嵌入层在 PyTorch 中处理可变长度的句子?全部内容,希望文章能够帮你解决如何使用 Glove 嵌入层在 PyTorch 中处理可变长度的句子?所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。