大佬教程收集整理的这篇文章主要介绍了将经过训练的 Tensorflow 模型的参数加载到架构略有不同的模型中,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我想知道是否有一种简单/标准的方法来“调整”经过训练的 Tensorflow 模型的大小。
请注意,我不是在询问调整输入大小或调整张量大小作为 Tensorflow 计算图中的一个步骤,而是询问关于从另一个预训练模型保存的参数更改 Tensorflow 图本身.
也就是说,如果我有(例如)一个现有的、训练有素的神经网络,它有 3 个隐藏层,有没有办法重新使用权重来初始化一个插入额外层的神经网络(所以 4 个隐藏层代替)?或者,如果我想调整中间步骤的大小,而不是让隐藏层输出 32 个中间特征,我可以将其扩展到 64 个特征。
我意识到最简单的方法是简单地丢弃现有的权重并从头开始重新训练新架构。但是,如果我已经投入大量计算来训练 32 宽的模型,那么将所有这些都扔掉来检查 64 宽的模型似乎很浪费。
我也意识到这样的过程不会完全自动化(因为在如何进行转换方面需要某些选择),并且某些转换将是困难的或不可能的。但据我所知,我猜测其他转换(例如增加隐藏层的输出大小)应该通过“清零”与新自由度相关的权重来实现相对简单。
是否有一种普遍接受的方式来进行这样的架构重排?
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)
以上是大佬教程为你收集整理的将经过训练的 Tensorflow 模型的参数加载到架构略有不同的模型中全部内容,希望文章能够帮你解决将经过训练的 Tensorflow 模型的参数加载到架构略有不同的模型中所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。