Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

这要训练多少轮效果才好，感觉损失都好高，效果很差 #16

Open
ZephyrChenzf opened this issue Jul 28, 2020 · 8 comments
Open

这要训练多少轮效果才好，感觉损失都好高，效果很差 #16

ZephyrChenzf opened this issue Jul 28, 2020 · 8 comments

Comments

@ZephyrChenzf
Copy link

这要训练多少轮效果才好，感觉损失都好高，效果很差
@PeiyanFlying
Copy link

这要训练多少轮效果才好，感觉损失都好高，效果很差

您好，我最近也在全力复现结果。会不会是提特征提的有问题呢？

@PeiyanFlying
Copy link

这要训练多少轮效果才好，感觉损失都好高，效果很差

您好，我最近也在全力复现结果。会不会是提特征提的有问题呢？

我这边的结果是loss一直维持在15%～20，没有下降的趋势。Validation开始的CER在35%。最后能到98%。所以，感觉状态越来越差。

@PeiyanFlying
Copy link

当然，我只是在train RNNT，没有进行pretrain +LM。

@ZephyrChenzf
Copy link
Author

已经没用这个了，感觉效果不行

@PeiyanFlying
Copy link

已经没用这个了，感觉效果不行

谢谢前辈。
请问您有什么公开的code或指导么？能否也推荐给我。

十分感谢。

@tongjinle123
Copy link

transducer 我记得需要先训练ctc 差不多了再加上后面的语言模型

@ZephyrChenzf
Copy link
Author

已经没用这个了，感觉效果不行

谢谢前辈。
请问您有什么公开的code或指导么？能否也推荐给我。

十分感谢。
我自己重写了一个transformer-transducer版本，不过不方便上传，你看看能不能复现吧

@ZephyrChenzf
Copy link
Author

transducer 我记得需要先训练ctc 差不多了再加上后面的语言模型

那个预训练太耗时了，准备直接自己训

li563042811 pushed a commit to li563042811/rnn-transducer that referenced this issue Jan 20, 2022
@glynpu
[doc] fix typos (ZhengkunTian#16)
482ad1c
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@ZephyrChenzf @tongjinle123 @PeiyanFlying