about train GCNV #60
Comments
|
@Linsongrong 您好，GCN-V的目标是让每个vertex只输出一个confidence，用来表示其属于特别类别的置信度，故而nclass设置为1 |
|
@yl-1993 @Linsongrong 你好，检测了下GCN-V输入的是feature_dim=256,但我们提取的特征集都是512，而看你们都是提取512维特征，这个是不是相互矛盾呢？向各位求解 |
|
提的是256维啊
获取 Outlook for Android<https://aka.ms/ghei36>
…________________________________
From: cvlmm <[email protected]>
Sent: Tuesday, September 15, 2020 11:36:50 AM
To: yl-1993/learn-to-cluster <[email protected]>
Cc: Linsongrong <[email protected]>; Mention <[email protected]>
Subject: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@yl-1993<https://github.com/yl-1993> @Linsongrong<https://github.com/Linsongrong> 你好，检测了下GCN-V输入的是feature_dim=256,但我们提取的特征集都是512，而看你们都是提取512维特征，这个是不是相互矛盾呢？向各位求解
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIE43MJFDQSVCXYUZMDSF3ONFANCNFSM4PKGIX5Q>.
|
|
@yl-1993 @Linsongrong ，再次请教你们 |
|
你好，不知道你的config.py是怎么配置，无法判断你的错误，正常来说只需要改model的 feature_dim就可以了。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
…________________________________
发件人: cvlmm <[email protected]>
发送时间: Thursday, September 17, 2020 5:40:49 PM
收件人: yl-1993/learn-to-cluster <[email protected]>
抄送: Linsongrong <[email protected]>; Mention <[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@yl-1993<https://github.com/yl-1993> @Linsongrong<https://github.com/Linsongrong> ，再次请教你们
目前想训练基于512特征的GCN_V和GCN_E模型，使用的也是face_emore 5.8M的训练集，目前参考cfg_train_gcnv_ms1m来布置训练，但得到的损失一直为 losss: nan ，
@yl-1993<https://github.com/yl-1993> 请问作者和大家，我该如何配置参数训练，已得到好的结果呢
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIC36GQVX6VJMCH56NLSGHKSDANCNFSM4PKGIX5Q>.
|
|
另外检查你的学习率。太大会导致模型不收敛。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
…________________________________
发件人: cvlmm <[email protected]>
发送时间: Thursday, September 17, 2020 5:40:49 PM
收件人: yl-1993/learn-to-cluster <[email protected]>
抄送: Linsongrong <[email protected]>; Mention <[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@yl-1993<https://github.com/yl-1993> @Linsongrong<https://github.com/Linsongrong> ，再次请教你们
目前想训练基于512特征的GCN_V和GCN_E模型，使用的也是face_emore 5.8M的训练集，目前参考cfg_train_gcnv_ms1m来布置训练，但得到的损失一直为 losss: nan ，
@yl-1993<https://github.com/yl-1993> 请问作者和大家，我该如何配置参数训练，已得到好的结果呢
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIC36GQVX6VJMCH56NLSGHKSDANCNFSM4PKGIX5Q>.
|
|
@Linsongrong |
|
我不知道怎么回答你，我认为这和数据集大小关系不大。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
…________________________________
发件人: cvlmm <[email protected]>
发送时间: Friday, September 18, 2020 3:48:46 PM
收件人: yl-1993/learn-to-cluster <[email protected]>
抄送: Linsongrong <[email protected]>; Mention <[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@Linsongrong<https://github.com/Linsongrong>
嗯，感谢你的回复！ 其他参数没动，改了feature_dim=512,lr=0.05，会有损失值，若默认为 lr=0.1则出现损失 loss = nan
尝试训练5.8M的数据集，以提高模型泛化能力，但完全走不动，请问你是怎么制定数据集大小的呢？，可以根据什么准确计算得到数据集限制大小呢
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIHPUFPM77GOQC22AX3SGMGF5ANCNFSM4PKGIX5Q>.
|
|
或许可以考虑学习率的衰减步长，把他改小一点
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: cvlmm<mailto:[email protected]>
发送时间: 2020年9月18日 15:48
收件人: yl-1993/learn-to-cluster<mailto:[email protected]>
抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@Linsongrong<https://github.com/Linsongrong>
嗯，感谢你的回复！ 其他参数没动，改了feature_dim=512,lr=0.05，会有损失值，若默认为 lr=0.1则出现损失 loss = nan
尝试训练5.8M的数据集，以提高模型泛化能力，但完全走不动，请问你是怎么制定数据集大小的呢？，可以根据什么准确计算得到数据集限制大小呢
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIHPUFPM77GOQC22AX3SGMGF5ANCNFSM4PKGIX5Q>.
|
|
@Linsongrong 嗯，正在尝试。你目前对于512GCNV网络训练取得的成绩怎样呢，引用做参考 |
|
1.数据集大小是有限制的，如果用gpu来训练的话，这取决与你的显存，由于是对整图进行训练，占用内存会非常大。
2.我没有对gcnv进行重新训练。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: cvlmm<mailto:[email protected]>
发送时间: 2020年9月18日 16:11
收件人: yl-1993/learn-to-cluster<mailto:[email protected]>
抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@Linsongrong<https://github.com/Linsongrong> 嗯，正在尝试。你目前对于512GCNV网络训练取得的成绩怎样呢，引用做参考
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQICS3XBNMAGNM3ATZZTSGMI25ANCNFSM4PKGIX5Q>.
|
|
@Linsongrong @yl-1993 |
|
@XHQC 你好， 你是对的，你对GCNV重新进行512维训练出结果了吗？效果如何？相比256维，时间花费大概增长了多少？ |
|
@Linsongrong 256的模型我没有，故没有测试，512的模型我测试的结果是15~20分钟 50W数据，基于GCN-V，由于配置原因不稳定， |
|
精度变化大吗？
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: BOD<mailto:[email protected]>
发送时间: 2020年9月29日 11:04
收件人: yl-1993/learn-to-cluster<mailto:[email protected]>
抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@Linsongrong<https://github.com/Linsongrong> 256的模型我没有，故没有测试，512的模型我测试的结果是15~20分钟 50W数据，基于GCN-V，由于配置原因不稳定，
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIG5ODKLOWO7QRMN7LTSIFFC3ANCNFSM4PKGIX5Q>.
|
|
@Linsongrong 精度应该是有优势的比256模型，我的测试结果显示。 我想做5000W数据的聚类，你有没有进行过分批聚类呢，通过怎样的方式进行？ |
|
有的，我尝试过两种方法，一种是把数据分成几部分，对每一部分数据进行全量聚类，然后再对它们的结果聚一次；第二种是先聚第一部分的结果，然后把第一部分的结果和第二部分进行聚类。在我的尝试中，第二种比第一种表现会好些，当然你可以去尝试比较两种方法，或者有更好的方法也可以分享，一起讨论。另外结果表现好坏与数据划分成反比。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: BOD<mailto:[email protected]>
发送时间: 2020年9月29日 11:09
收件人: yl-1993/learn-to-cluster<mailto:[email protected]>
抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@Linsongrong<https://github.com/Linsongrong> 精度应该是有优势的比256模型，我的测试结果显示。 我想做5000W数据的聚类，你有没有进行过分批聚类呢，通过怎样的方式进行？
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIGFN6TLWHFJ3CP37B3SIFFX7ANCNFSM4PKGIX5Q>.
|
|
@Linsongrong 对于分批聚类再聚类你是怎样选择再聚类数据呢，是通过选择最大置信度顶点再聚类嘛，或者是？ |
|
我选择的是类中心，当然你也可以选择置信度最大的一个或几个，我没有做过比较。或许你可以尝试一下。
发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: BOD<mailto:[email protected]>
发送时间: 2020年9月29日 11:27
收件人: yl-1993/learn-to-cluster<mailto:[email protected]>
抄送: Linsongrong<mailto:[email protected]>; Mention<mailto:[email protected]>
主题: Re: [yl-1993/learn-to-cluster] about train GCNV (#60)
@Linsongrong<https://github.com/Linsongrong> 对于分批聚类再聚类你是怎样选择再聚类数据呢，是通过选择最大置信度顶点再聚类嘛，或者是？
―
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub<#60 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHFLQIBZZQJZL3OWAXEYSJ3SIFH3XANCNFSM4PKGIX5Q>.
|
|
@Linsongrong 类中心的计算方式，你是通过类均值中心值或者最近的点来选取的吧？ 而置信度顶点是模型推导出的点，可以试试是否可以获取更好的类中心，最优类中心的定义我认为是正脸清晰的照片，通过计算方法得来的类中心可能会造成偏离最优类中心，这个问题貌似不好避免，由类内数据分布不均造成 |
|
@yl-1993 @Linsongrong @XHQC 感谢大家的真知灼见。我在使用自有数据集微调训练gcn-v的过程中发现train loss忽上忽下（可能跟我选用adam优化器有关），基本最后都会过拟合（train loss较低，但test loss超级高），而且test loss最小的模型，评估出来的指标很低啊，感觉loss失去了指导模型训练的作用。那么该怎么选择模型呢？难道每次迭代的模型都保存评估一遍？我试了下，发现在测试集指标FP能达到87%，但是其loss不是最低也不是最高，看不出规律。 |
|
@XHQC 你好，方便给个邮箱地址吗，我训练上有些问题想向你请教一下。 |
有512的模型么，可否共享一下，我用来测试一下聚类效果，我的特征是512维 |
and others
@yl-1993 作者您好，我在想训练一个接受512维输入的GCN-V网络，但在配置参数时，我有些疑惑。
其中原始的nclass=1，我对这个参数配置感到疑惑，我不明白为什么是一，这不是要分类的个数吗？请您解答我的疑惑。期望您的早日答复。
The text was updated successfully, but these errors were encountered: