-
Notifications
You must be signed in to change notification settings - Fork 94
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
DETR模型fp16精度正常,量化精度几乎为0 #176
Comments
有没有跑模型精度分析接口看一下逐层相似度? |
模拟器上看过,逐层相似度几乎没有损失 |
这么神奇的事情? 那怀疑过后处理吗? |
你好,请问你的rknn-toolkit2用的什么版本?另外onnx的opset是什么版本的? |
版本是2.0.0b0+9bab5682,opset是12,但是高版本的也试了,没用 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
最近在量化DETR模型,在模拟器上fp16精度的推理在coco数据集上的map正常,但是int8推理mAP为0,请问有人知道为什么吗,这个bug折磨了我两礼拜了。
虽然mAP是0,但是推理的bbox和logits不为0
我的理解是int8和fp16推理用的是同一套前后处理代码,所以前后处理肯定没有问题,唯一存在的问题可能rknn config里面,但是里面能改同的只有mean和std,但是mean和std不管改成[0,0,0],[1,1,1]或者[0,0,0],[255,255,255]结果都是0。
但是我在tensorrt上做量化mAP也是趋近于0,这是因为transformer类模型难以做量化吗?但是难以量化也不至于精度为0?
我的onnx模型文件:https://drive.google.com/file/d/1citGq4HegghVSniAC6nMpZtMFKrUScaC/view?usp=sharing
rknntoolkit版本是2.0。
代码如下:
The text was updated successfully, but these errors were encountered: