iOS 18 Target Regression

[NoahBPeterson]

🐞Describing the bug

• My model works as expected when converting to coremltools.target.iOS17, but only outputs nan when targeting coremltools.target.iOS18

To Reproduce

• Clone this repository: https://github.com/NoahBPeterson/mxbai-embed-large-v1-CoreML (commit 4121f6d5ab6506ba7c5a18cac320ab92f9b6541f)
• Run convert_pytorch_coreml.py.
• Test the output using run_coreml.py
• It should output an array of floats.
• Change line 40 in convert_pytorch_coreml.py to minimum_deployment_target=ct.target.iOS18,
• Convert the model again
• Run: the model only outputs nan

System environment (please complete the following information):

• coremltools version: 8.0
• OS (e.g. MacOS version or Linux type): macOS 15.0
• Any other relevant version information (e.g. PyTorch or TensorFlow version): torch 2.4.0, Python 3.11

[junpeiz]

Hey @NoahBPeterson
Thank you for reporting this. I tried your script and even for minimum_deployment_target=ct.target.iOS17 it produced nan.

Could you confirm on your side that minimum_deployment_target=ct.target.iOS17 works well? Thanks!

[NoahBPeterson]

Yes, I can confirm that it does work with ct.target.iOS17.

 ~/Documents/books/coreml-conversion  python3.11 run_coreml.py
CLS Token Embedding: [ 2.39501953e-01 -5.38574219e-01  3.90930176e-02  2.28149414e-01
 -2.43652344e-01 -9.51538086e-02  2.86376953e-01 -3.62304688e-01
  4.11132812e-01  6.15722656e-01  3.78906250e-01  2.64648438e-01
 -6.11305237e-04 -6.48925781e-01 -2.91748047e-01 -1.96411133e-01
 -3.57421875e-01 -7.26928711e-02 -8.73046875e-01 -2.16430664e-01
  2.01293945e-01  1.80419922e-01 -1.35644531e+00 -1.87988281e-01
 -3.80371094e-01  9.71191406e-01  5.93261719e-01 -1.61010742e-01
  7.89550781e-01  6.19628906e-01 -2.29614258e-01  2.67822266e-01
  3.09814453e-01 -4.89746094e-01 -6.42089844e-01 -4.79492188e-01
  8.33007812e-01 -7.53417969e-01 -1.92016602e-01 -6.23046875e-01
  3.21289062e-01 -6.57714844e-01  9.12597656e-01 -9.61914062e-01
 -1.58496094e+00 -4.77294922e-01  6.93359375e-01 -4.13818359e-01
 -3.82324219e-01 -1.45385742e-01  1.73095703e-01  6.13098145e-02
  4.75585938e-01  1.70410156e-01  5.82031250e-01 -8.15917969e-01
  1.36718750e-01  1.04858398e-01 -1.41699219e+00  9.95605469e-01
  7.91503906e-01  5.28320312e-01 -2.26684570e-01 -1.41992188e+00
  1.81518555e-01 -6.42700195e-02 -1.77856445e-01  1.84204102e-01
 -9.88769531e-03 -6.55761719e-01 -6.89453125e-01  6.34155273e-02
 -2.64404297e-01 -7.98828125e-01 -4.59228516e-01  7.22656250e-02
  2.41699219e-01 -1.68212891e-01 -3.04687500e-01  1.10644531e+00
  5.54504395e-02  6.30859375e-01  1.11621094e+00 -2.92724609e-01
 -6.36230469e-01 -3.23974609e-01  8.75488281e-01  4.60693359e-01
 -7.72094727e-02 -4.99511719e-01 -4.21386719e-01  8.23730469e-01
 -5.12207031e-01  9.16992188e-01 -1.92749023e-01  6.75292969e-01
  9.97924805e-02  1.22314453e-01 -2.73193359e-01  5.46264648e-02
  6.58203125e-01  9.96582031e-01 -3.52539062e-01  7.69042969e-01
 -8.81347656e-01  2.76855469e-01 -2.92968750e-01 -1.89575195e-01
 -4.95910645e-02 -1.81274414e-01 -5.07812500e-01  1.70288086e-01
  2.39257812e-01 -2.30590820e-01 -6.60156250e-01  2.84179688e-01
 -8.98742676e-03 -7.15332031e-02 -3.61083984e-01  2.06787109e-01
  3.88183594e-01 -1.27685547e-01  7.67211914e-02 -6.58691406e-01
 -1.06262207e-01 -4.70214844e-01 -2.14233398e-02  1.22460938e+00
 -1.13378906e+00 -2.04345703e-01  4.19189453e-01 -1.25122070e-01
  5.97167969e-01  8.50830078e-02  2.42187500e-01  9.02099609e-02
  2.33398438e-01  3.10058594e-01  6.48437500e-01 -5.86425781e-01
  2.80273438e-01  1.27197266e-01 -3.73291016e-01  1.37109375e+00
  7.92968750e-01 -1.23840332e-01 -3.11035156e-01 -7.54394531e-01
 -6.88476562e-01  6.33789062e-01 -4.15283203e-01 -2.25830078e-01
  5.93750000e-01  6.88476562e-01 -3.93066406e-01 -1.87988281e-01
 -1.42578125e-01  4.25720215e-02 -6.69921875e-01 -1.39892578e-01
 -1.40136719e-01  3.32763672e-01 -9.07714844e-01  5.31738281e-01
 -5.62011719e-01  4.32128906e-01 -7.12402344e-01 -1.37176514e-02
 -9.90722656e-01 -6.34277344e-01  3.21533203e-01  5.41503906e-01
 -4.02832031e-01  7.00683594e-01  6.25610352e-02  9.27734375e-01
  6.66503906e-01  4.29992676e-02  3.18359375e-01 -2.32543945e-01
 -6.62597656e-01  1.19567871e-01  6.10839844e-01  4.92187500e-01
  2.56652832e-02  8.61206055e-02 -3.87878418e-02  6.26220703e-02
 -5.04882812e-01  3.28125000e-01  3.52050781e-01  6.67968750e-01
 -4.48974609e-01  5.81542969e-01 -4.16992188e-01  2.49633789e-01
 -1.03710938e+00  2.68310547e-01 -1.53320312e-01 -1.20019531e+00
 -6.19628906e-01  1.54541016e-01 -2.99072266e-01 -4.77294922e-01
 -2.90771484e-01 -2.04711914e-01 -1.25854492e-01  4.47509766e-01
 -4.00390625e-01  1.39404297e-01  6.01562500e-01  3.05664062e-01
 -6.34277344e-01 -3.80615234e-01  4.18457031e-01 -3.73840332e-02
 -1.07812500e+00  4.36035156e-01  8.85620117e-02  2.20092773e-01
  5.80139160e-02 -4.72106934e-02  5.16601562e-01  2.34130859e-01
  2.51953125e-01 -7.36328125e-01  6.83784485e-04  1.18847656e+00
  7.44628906e-02  3.82324219e-01  8.48144531e-01  2.30560303e-02
 -4.05517578e-01  1.14550781e+00  5.63964844e-01  9.75585938e-01
  1.54101562e+00  8.34960938e-01  2.72460938e-01  1.80786133e-01
  2.99072266e-01  4.64355469e-01  1.00781250e+00  6.56250000e-01
  2.99804688e-01  3.79638672e-01  7.39135742e-02  9.99145508e-02
  3.61572266e-01 -1.58813477e-01  2.14965820e-01  2.75634766e-01
  6.28417969e-01  3.74511719e-01 -5.54687500e-01  4.44335938e-01
  3.69384766e-01  5.06835938e-01 -7.71972656e-01 -9.79492188e-01
  8.77075195e-02  4.69970703e-01  2.68066406e-01 -3.81103516e-01
 -1.22680664e-01  2.64404297e-01  3.99780273e-02 -1.52587891e-01
 -4.42871094e-01 -5.70312500e-01 -3.05938721e-03 -4.70458984e-01
 -1.50390625e+00  1.05468750e-01 -4.99023438e-01  5.54199219e-01
  5.18066406e-01 -1.02636719e+00 -5.51223755e-03 -6.62597656e-01
  5.17272949e-02  3.49426270e-02 -3.43322754e-02  6.65039062e-01
  3.18359375e-01  1.01318359e-01 -6.68457031e-01  8.16406250e-01
 -4.96582031e-01  8.44238281e-01 -1.65039062e-01 -1.56982422e-01
  4.36523438e-01 -6.83105469e-01 -6.84204102e-02 -8.40454102e-02
 -4.25537109e-01  1.12670898e-01 -6.40625000e-01 -6.76269531e-01
  2.87353516e-01 -1.35864258e-01 -6.54296875e-02 -8.25500488e-03
 -8.87695312e-01  6.92382812e-01  2.85888672e-01  2.35839844e-01
  7.38769531e-01  4.47998047e-01 -8.97460938e-01  7.52441406e-01
  1.72363281e-01 -1.83715820e-01 -5.83007812e-01  8.91113281e-01
  1.13476562e+00 -5.26123047e-02 -3.84765625e-01 -2.96875000e-01
 -4.03808594e-01 -2.21923828e-01  1.40869141e-01 -3.00537109e-01
  1.59667969e-01  7.21679688e-01 -1.40258789e-01 -1.06054688e+00
 -1.46606445e-01 -2.82958984e-01 -9.16992188e-01 -2.44873047e-01
 -3.19480896e-03  7.96875000e-01  4.62646484e-01  4.17236328e-01
 -7.28027344e-01 -2.75878906e-01  2.86621094e-01  9.90722656e-01
  8.94531250e-01 -6.43310547e-02 -1.51489258e-01  6.66503906e-01
 -3.40332031e-01  1.08154297e-01  1.35986328e-01 -3.75488281e-01
 -3.32275391e-01  1.00021362e-02  9.03930664e-02  4.10156250e-01
  2.90771484e-01  4.45556641e-01 -7.48291016e-02  3.09326172e-01
 -3.50585938e-01  1.30981445e-01  5.66894531e-01 -2.57568359e-01
  1.34399414e-01  1.24218750e+00  2.36358643e-02  7.24487305e-02
  6.76879883e-02 -2.62207031e-01 -2.90771484e-01 -4.42810059e-02
  1.26098633e-01 -1.42480469e+00  9.46044922e-02 -7.42675781e-01
 -1.51000977e-01  7.71484375e-02 -4.70886230e-02 -1.97949219e+00
  8.92089844e-01  3.21777344e-01  1.00097656e+00 -4.87548828e-01
  2.88330078e-01  4.91027832e-02  4.14794922e-01  9.23828125e-01
  6.38671875e-01 -2.85644531e-01 -4.51416016e-01 -5.56640625e-01
 -6.42089844e-01  2.47558594e-01 -5.45349121e-02  5.15136719e-01
 -2.41577148e-01  3.96240234e-01 -9.08203125e-01 -8.34960938e-01
  6.29882812e-01  8.63769531e-01  8.46191406e-01  1.06689453e-01
  2.32177734e-01 -3.45458984e-01  1.30371094e-01  3.29345703e-01
  1.09313965e-01  1.74682617e-01 -8.67675781e-01  3.55712891e-01
 -1.56616211e-01  2.38525391e-01 -7.98828125e-01  6.58203125e-01
 -1.70532227e-01  6.88476562e-01 -3.54736328e-01  3.19213867e-02
 -8.76464844e-01  1.08947754e-01  4.28955078e-01  1.00683594e+00
 -5.44433594e-01  1.09191895e-01  5.31921387e-02  2.76367188e-01
  5.47363281e-01 -2.10327148e-01 -3.50830078e-01 -4.75341797e-01
  7.90405273e-02  3.81103516e-01 -5.53222656e-01 -7.96386719e-01
 -4.05273438e-01 -3.06640625e-01 -9.11621094e-01  2.98095703e-01
  2.58300781e-01 -4.45556641e-01  4.60205078e-02 -5.83007812e-01
 -9.97314453e-02 -2.48046875e-01  3.44726562e-01 -2.40966797e-01
  4.15527344e-01 -6.60400391e-02  2.78564453e-01  3.66210938e-01
 -6.18164062e-01 -9.50195312e-01 -4.78515625e-01 -1.05273438e+00
  5.81542969e-01 -8.37402344e-01  5.66894531e-01 -1.15844727e-01
 -1.38549805e-01  1.38671875e-01  3.90380859e-01 -1.84936523e-01
  2.39990234e-01  2.50244141e-01  7.62695312e-01 -1.37451172e-01
 -4.07958984e-01 -2.83813477e-02  5.98144531e-02 -4.41650391e-01
  8.37402344e-01  1.12304688e-01 -8.52050781e-02  3.11035156e-01
  3.35693359e-01 -4.95605469e-01  1.22680664e-01  1.89453125e-01
  2.13378906e-01 -2.79541016e-01 -3.39599609e-01 -1.03988647e-02
 -3.99902344e-01  7.19238281e-01 -1.66137695e-01 -5.61523438e-01
 -5.11718750e-01 -9.53613281e-01 -4.44824219e-01 -2.66357422e-01
  3.81591797e-01  2.97607422e-01  7.45117188e-01  2.95166016e-01
  2.06054688e-01 -4.20654297e-01 -8.13964844e-01 -7.83691406e-01
 -2.44995117e-01 -9.44824219e-01  2.54394531e-01  3.89404297e-01
  9.46289062e-01 -3.80371094e-01 -7.86132812e-01  2.66113281e-01
 -1.03149414e-02 -2.36572266e-01 -5.38024902e-02  6.34765625e-01
  7.35839844e-01 -6.46591187e-03 -7.28759766e-02 -9.39941406e-02
  5.93566895e-02 -2.70996094e-01  5.04882812e-01 -2.83203125e-01
 -8.69628906e-01 -1.40991211e-01 -3.40332031e-01  9.56054688e-01
  4.22363281e-01 -6.24023438e-01 -5.94238281e-01  4.72656250e-01
  1.99340820e-01  6.45507812e-01  5.52246094e-01 -1.94824219e-01
 -9.61425781e-01 -9.53613281e-01 -2.71301270e-02 -2.78076172e-01
 -5.39550781e-01 -1.26367188e+00 -6.43066406e-01  3.18847656e-01
  1.03454590e-01  4.67529297e-01 -8.36425781e-01 -1.30653381e-03
 -5.80078125e-01  2.87109375e-01 -9.65332031e-01  2.78320312e-02
 -8.92578125e-01  6.27441406e-01 -4.44824219e-01  6.05957031e-01
 -2.60498047e-01  2.63671875e-01 -3.83544922e-01 -5.07812500e-02
  9.63867188e-01  8.77929688e-01 -6.52832031e-01 -4.58984375e-01
 -4.16259766e-01 -6.59179688e-01  2.46582031e-01  3.29833984e-01
 -9.89990234e-02  6.15722656e-01 -4.37500000e-01 -5.87402344e-01
 -9.58496094e-01 -3.46435547e-01 -1.20703125e+00  1.43188477e-01
  8.20800781e-01 -4.77294922e-01  4.85351562e-01 -5.76660156e-01
  1.42968750e+00 -4.63256836e-02  5.04150391e-02 -1.23046875e+00
 -1.20544434e-01 -6.52832031e-01 -4.51660156e-01  4.79492188e-01
 -4.39697266e-01  1.07788086e-01 -3.84277344e-01 -1.52465820e-01
  3.90136719e-01 -4.41650391e-01  2.65380859e-01  1.93652344e+00
 -1.63085938e-01  1.64306641e-01 -1.19140625e+00  5.29785156e-01
  1.03210449e-01 -7.11914062e-01 -4.25781250e-01 -3.48388672e-01
 -8.36425781e-01 -6.09863281e-01 -6.11816406e-01 -1.17871094e+00
 -7.58300781e-01  1.01867676e-01  1.46386719e+00 -2.99316406e-01
  4.30908203e-01  4.46777344e-01 -2.55859375e-01 -5.28320312e-01
  5.99609375e-01  5.09277344e-01  2.55859375e-01  1.12988281e+00
  3.19091797e-01  2.88574219e-01  7.98339844e-02 -1.70166016e-01
 -4.84375000e-01 -5.58105469e-01  4.32617188e-01  4.02343750e-01
  3.77502441e-02  7.89550781e-01  9.17480469e-01 -1.08984375e+00
 -1.10156250e+00 -2.07885742e-01 -3.16894531e-01 -1.07617188e+00
 -7.23632812e-01 -4.01367188e-01 -1.24389648e-01 -7.90527344e-01
  3.66020203e-03 -2.46826172e-01 -7.63671875e-01 -3.45947266e-01
 -1.92382812e-01 -4.93408203e-01 -5.52246094e-01 -1.07727051e-01
  1.00390625e+00 -5.34179688e-01  5.41015625e-01 -6.17675781e-01
 -8.60595703e-02  2.44384766e-01  7.81738281e-01  6.01562500e-01
  1.73217773e-01 -1.34643555e-01  6.65039062e-01 -1.04827881e-02
  1.56835938e+00 -5.44921875e-01  3.34228516e-01  3.26660156e-01
 -4.08203125e-01 -1.00976562e+00 -3.84277344e-01  4.38720703e-01
  6.56250000e-01  4.33105469e-01 -8.51562500e-01  4.35058594e-01
  1.12402344e+00 -3.14025879e-02  5.09765625e-01 -7.06787109e-02
  1.36108398e-01 -8.81835938e-01 -5.35156250e-01 -4.03442383e-02
  5.75561523e-02 -6.67968750e-01  1.10229492e-01  3.24707031e-01
 -2.02514648e-01 -4.78271484e-01  1.19628906e+00 -5.52734375e-01
  3.49609375e-01 -2.06420898e-01  3.73291016e-01 -5.61523438e-01
 -8.83300781e-01  1.18103027e-01 -4.65087891e-01  1.20056152e-01
  7.65136719e-01 -7.58300781e-01  1.31591797e-01 -1.14074707e-01
  3.93066406e-01 -1.30493164e-01 -1.72119141e-01 -1.86645508e-01
 -1.94580078e-01  1.94702148e-01 -5.44921875e-01  2.30102539e-01
  3.74145508e-02  4.27246094e-02  5.99060059e-02 -5.54199219e-01
  2.78808594e-01  1.67724609e-01 -6.48437500e-01  5.34973145e-02
  8.44726562e-01 -4.16015625e-01  9.81933594e-01 -5.62500000e-01
  3.18115234e-01 -8.56445312e-01 -2.73925781e-01 -1.82495117e-01
  5.23376465e-02  6.00585938e-01  3.49609375e-01  7.43652344e-01
  8.49121094e-01  2.78564453e-01 -1.09436035e-01 -9.95605469e-01
  7.97363281e-01  3.38623047e-01 -4.36523438e-01  5.47790527e-02
 -1.56860352e-02 -9.14306641e-02 -3.27392578e-01 -2.67089844e-01
  5.98632812e-01 -4.67041016e-01 -3.96728516e-01 -7.72460938e-01
 -2.75634766e-01 -1.37573242e-01  1.11022949e-01  1.48559570e-01
  1.01074219e+00  7.42675781e-01 -3.65722656e-01  5.73730469e-01
  2.46826172e-01 -4.40429688e-01 -1.61743164e-01 -2.52441406e-01
 -4.37744141e-01 -1.72576904e-02 -4.20837402e-02  3.32031250e-01
  1.61254883e-01 -4.09423828e-01 -2.12768555e-01  1.38183594e+00
  2.13623047e-01  5.21972656e-01  4.08935547e-01 -1.74926758e-01
 -4.71801758e-02 -7.13867188e-01 -1.10546875e+00 -1.19506836e-01
  2.12768555e-01 -1.20605469e+00 -4.16503906e-01 -7.73315430e-02
  3.41552734e-01  4.79736328e-01  1.31591797e-01 -1.64306641e-01
  1.63696289e-01 -4.71191406e-01 -9.08203125e-02 -1.55883789e-01
  4.80957031e-01 -3.38134766e-01 -6.14643097e-04 -9.38720703e-02
  4.82421875e-01  5.60607910e-02 -1.90917969e-01  7.43652344e-01
 -4.44335938e-01  1.08276367e-01  5.55664062e-01 -4.36096191e-02
 -5.97656250e-01  3.62060547e-01  2.71728516e-01  7.26318359e-02
  2.75878906e-01 -5.89355469e-01 -6.35253906e-01  7.46093750e-01
  4.07714844e-02  1.59057617e-01 -2.08129883e-01  4.06494141e-01
  3.10302734e-01 -5.74218750e-01 -7.29003906e-01  1.30957031e+00
  1.40380859e-01  6.92871094e-01 -3.46679688e-01 -7.82714844e-01
  5.16891479e-03 -3.85131836e-02 -6.72363281e-01 -2.33917236e-02
 -6.32324219e-01 -5.02441406e-01 -4.35302734e-01 -8.43750000e-01
  8.97460938e-01 -2.97393799e-02 -1.12890625e+00 -2.96875000e-01
  2.30468750e-01  4.41894531e-01  8.05664062e-01  1.13952637e-01
  2.58300781e-01  6.19140625e-01  4.11865234e-01  1.35644531e+00
  5.02929688e-01  8.83789062e-02 -1.46728516e-01 -2.34130859e-01
 -3.60107422e-02  3.25965881e-03  2.95166016e-01 -1.09375000e-01
 -1.10449219e+00 -1.15039062e+00  8.56445312e-01  4.50927734e-01
 -4.69970703e-01  5.89843750e-01  2.13623047e-01 -4.07226562e-01
 -4.88525391e-01  1.07360840e-01 -3.73291016e-01  3.32763672e-01
  4.99023438e-01 -5.78613281e-01 -1.08886719e-01  1.12890625e+00
  9.50683594e-01  7.62695312e-01 -2.62298584e-02  5.00000000e-01
  3.42529297e-01  9.34082031e-01  5.92285156e-01 -4.55078125e-01
  2.94921875e-01  4.72412109e-01 -6.04003906e-01 -1.28295898e-01
 -6.06689453e-02 -4.29931641e-01  5.71289062e-01  3.03710938e-01
 -8.76953125e-01  2.75634766e-01  3.39843750e-01 -4.76318359e-01
 -1.02441406e+00  3.16894531e-01  3.48876953e-01 -2.79052734e-01
  4.20166016e-01  2.29858398e-01  5.11230469e-01  5.15625000e-01
 -6.28417969e-01 -1.58325195e-01 -3.96728516e-01  2.98095703e-01
 -4.94140625e-01  7.72460938e-01 -5.46386719e-01 -5.27343750e-01
 -1.55883789e-01 -2.46337891e-01 -3.13232422e-01 -2.67333984e-01
  2.95166016e-01 -5.69824219e-01  3.78417969e-01  3.08349609e-01
  1.03808594e+00  1.04492188e-01 -1.28906250e+00 -7.38769531e-01
  7.26074219e-01  6.74804688e-01 -4.55566406e-01  1.59082031e+00
  8.20312500e-01 -2.86132812e-01 -5.48828125e-01 -2.70996094e-01
  9.29687500e-01  2.39501953e-01 -4.44091797e-01 -1.08215332e-01
  5.36621094e-01 -3.38134766e-01 -8.79882812e-01  2.96875000e-01
  8.08593750e-01  2.43652344e-01 -2.89001465e-02 -1.07617188e+00
  6.22558594e-03 -8.42773438e-01 -2.13012695e-01 -9.38476562e-01
  8.45703125e-01 -1.71508789e-02 -6.12792969e-01 -3.74267578e-01
 -1.09667969e+00  3.92382812e+00  3.29101562e-01  6.52343750e-01
  2.74414062e-01  9.66186523e-02  7.30957031e-01  6.69433594e-01
  6.64672852e-02  7.37792969e-01 -3.27148438e-01  4.52392578e-01
 -7.29980469e-02 -2.18750000e-01  3.76464844e-01 -4.50927734e-01
  2.75878906e-01 -1.65429688e+00  2.92480469e-01 -5.35156250e-01
 -2.72460938e-01 -4.23583984e-01  2.91015625e-01  1.58813477e-01
  7.56347656e-01  4.62890625e-01 -3.78417969e-02  3.96728516e-01
  1.94213867e-01  1.84082031e-01 -4.47753906e-01 -1.07299805e-01
 -2.60253906e-01  2.59765625e-01  1.62353516e-01  2.38776207e-04
  4.67773438e-01  6.00891113e-02 -2.04345703e-01 -1.17736816e-01
  6.42700195e-02 -5.55664062e-01 -3.88427734e-01  5.96679688e-01
 -2.00561523e-01 -8.94531250e-01  7.86132812e-01 -3.51562500e-01
  5.88867188e-01  3.39843750e-01 -1.60156250e-01  9.19921875e-01
 -5.16967773e-02  6.63085938e-01 -9.54589844e-01 -9.83886719e-01
 -1.36840820e-01 -2.67578125e-01 -7.40722656e-01 -2.66113281e-01
  1.35864258e-01 -2.94921875e-01  1.43585205e-02  4.83642578e-01
  4.07470703e-01 -2.73681641e-01  8.77929688e-01  2.17529297e-01
  2.92724609e-01 -6.12792969e-01 -9.41894531e-01  5.51452637e-02
  5.96191406e-01 -1.49291992e-01 -4.56787109e-01  2.30834961e-01
 -1.09863281e-02 -4.44824219e-01  3.50097656e-01  2.14355469e-01
 -1.78222656e-01  1.56005859e-01 -3.05908203e-01  1.58691406e-01
 -2.41699219e-01  1.46484375e-01  1.02734375e+00 -3.49853516e-01
  4.23828125e-01 -3.39599609e-01  5.82031250e-01 -8.81347656e-02
  3.48632812e-01  2.23999023e-01 -7.30590820e-02  2.32910156e-01] 1024
 ~/Documents/books/coreml-conversion  python3.11 convert_pytorch_coreml.py
/opt/homebrew/lib/python3.11/site-packages/transformers/modeling_utils.py:4713: FutureWarning: `_is_quantized_training_enabled` is going to be deprecated in transformers 4.39.0. Please use `model.hf_quantizer.is_trainable` instead
  warnings.warn(
Converting PyTorch Frontend ==> MIL Ops:   0%|                                                                                                    | 0/989 [00:00<?, ? ops/s]huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...
To disable this warning, you can either:
        - Avoid using `tokenizers` before the fork if possible
        - Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true | false)
Core ML embedding (gather) layer does not support any inputs besides the weights and indices. Those given will be ignored.
Converting PyTorch Frontend ==> MIL Ops: 100%|███████████████████████████████████████████████████████████████████████████████████████▉| 988/989 [00:00<00:00, 2179.49 ops/s]
Running MIL frontend_pytorch pipeline: 100%|█████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 29.39 passes/s]
Running MIL default pipeline:  64%|███████████████████████████████████████████████████████████████▋                                    | 56/88 [00:02<00:02, 14.83 passes/s]/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/ops/defs/iOS15/elementwise_unary.py:894: RuntimeWarning: overflow encountered in cast
  return input_var.val.astype(dtype=string_to_nptype(dtype_val))
Running MIL default pipeline:  69%|█████████████████████████████████████████████████████████████████████▎                              | 61/88 [00:09<00:14,  1.91 passes/s]/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/defs/optimize_repeat_ops.py:433: RuntimeWarning: overflow encountered in cast
  max(cur_range.low, tmp_range.low), min(cur_range.high, tmp_range.high)
Running MIL default pipeline: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████| 88/88 [00:12<00:00,  7.27 passes/s]
Running MIL backend_mlprogram pipeline: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 12/12 [00:00<00:00, 44.40 passes/s]
 ~/Documents/books/coreml-conversion  python3.11 run_coreml.py
CLS Token Embedding: [nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan] 1024

[NoahBPeterson]

Here's a list of everything I have installed in pip:

Package                 Version     Editable project location
----------------------- ----------- -------------------------------------------
absl-py                 2.1.0
annotated-types         0.7.0
anyio                   4.6.0
attrs                   24.2.0
blobfile                3.0.0
cattrs                  24.1.2
certifi                 2024.8.30
charset-normalizer      3.3.2
click                   8.1.7
coremltools             8.0
Cython                  3.0.11
exporters               0.0.1       /Users/noahpeterson/Documents/exporters/src
filelock                3.16.1
fire                    0.6.0
fsspec                  2024.9.0
grpcio                  1.66.2
h11                     0.14.0
httpcore                1.0.5
httpx                   0.27.2
huggingface-hub         0.24.0
idna                    3.10
InstructorEmbedding     1.0.1
Jinja2                  3.1.4
joblib                  1.4.2
llama_models            0.0.35
llama_stack             0.0.35
llvmlite                0.43.0
lxml                    5.3.0
Markdown                3.7
markdown-it-py          3.0.0
MarkupSafe              2.1.5
mdurl                   0.1.2
mpmath                  1.3.0
networkx                3.3
nltk                    3.9.1
numpy                   2.1.1
onnx                    1.16.2
onnx-coreml             1.3
packaging               24.1
pillow                  10.4.0
pip                     24.2
prompt_toolkit          3.0.48
protobuf                5.28.2
pyaml                   24.9.0
pybind11                2.13.5
pycryptodomex           3.20.0
pydantic                2.9.2
pydantic_core           2.23.4
Pygments                2.18.0
python-dateutil         2.9.0.post0
python-dotenv           1.0.1
PyYAML                  6.0.2
regex                   2024.9.11
requests                2.32.3
rich                    13.8.1
ruamel.yaml             0.18.6
ruamel.yaml.clib        0.2.8
safetensors             0.4.5
scikit-learn            1.5.2
scipy                   1.14.1
sentence-transformers   3.1.1
sentencepiece           0.2.0
setuptools              74.1.2
six                     1.16.0
sniffio                 1.3.1
sympy                   1.13.3
tensorboard             2.18.0
tensorboard-data-server 0.7.2
termcolor               2.4.0
text-unidecode          1.3
threadpoolctl           3.5.0
tiktoken                0.7.0
tokenizers              0.19.1
torch                   2.4.0
tqdm                    4.66.5
transformers            4.44.2
typing                  3.7.4.3
typing_extensions       4.12.2
urllib3                 2.2.3
wcwidth                 0.2.13
Werkzeug                3.0.4
wget                    3.2
wheel                   0.44.0
wrapt                   1.16.0

[NoahBPeterson]

I just created a new virtual environment and installed numpy, torch, transformers, and coremltools, and the issue still exists.

Package            Version
------------------ ---------
attrs              24.2.0
cattrs             24.1.2
certifi            2024.8.30
charset-normalizer 3.3.2
coremltools        8.0
filelock           3.16.1
fsspec             2024.9.0
huggingface-hub    0.25.1
idna               3.10
Jinja2             3.1.4
MarkupSafe         2.1.5
mpmath             1.3.0
networkx           3.3
numpy              2.1.1
packaging          24.1
pip                24.2
protobuf           5.28.2
pyaml              24.9.0
PyYAML             6.0.2
regex              2024.9.11
requests           2.32.3
safetensors        0.4.5
setuptools         74.1.2
sympy              1.13.3
tokenizers         0.20.0
torch              2.4.1
tqdm               4.66.5
transformers       4.45.1
typing_extensions  4.12.2
urllib3            2.2.3

python3.11 --version
Python 3.11.10

xcodebuild -version 
Xcode 16.0
Build version 16A242d

[junpeiz]

If I set compute_precision=ct.precision.FLOAT32 in ct.convert, both iOS17 and iOS18 works well. It's due to fp16 numerical issue.

[junpeiz]

Here are my experiments:

• coremltools==8.0 + ct.precision.FLOAT32 + iOS17: works well
• coremltools==8.0 + ct.precision.FLOAT32 + iOS18: works well
• coremltools==8.0 + ct.precision.FLOAT16 + iOS17: works well
• coremltools==8.0 + ct.precision.FLOAT16 + iOS18: nan
• coremltools==8.0b2 + ct.precision.FLOAT16 + iOS17: works well
• coremltools==8.0b2 + ct.precision.FLOAT16 + iOS18: nan

It's indeed an iOS18 fp16 op regression.

[junpeiz]

There are a lot of floating pieces. For example, I happened to find that transformers==4.38.2 will lead to nan even for iOS17, and updating to transformers==4.45.1 will solve the nan issue for iOS17.

I added this bug into our TODO list.
Hey @NoahBPeterson, if it's urgent on your side, I would suggest to bi-sect the model to figure out which layer introduces this nan. Thanks!

[NoahBPeterson]

Unfortunately, bisecting the model fails with both the iOS17 and iOS18 version.

With this script:

import coremltools as ct

model_path = "mxbai-embed-large-v1-iOS18.mlpackage"
output_dir = "./output/"

ct.models.utils.bisect_model(
    model_path,
    output_dir,
    check_output_correctness=True
)

Both the mxbai-embed-large-v1-iOS17.mlpackage and mxbai-embed-large-v1-iOS18.mlpackage models produce this same error:

ERROR - 'common::topological_reorder' graph pass produces the following error:


Running MIL default pipeline:  98%|█████████▊| 84/86 [00:02<00:00, 28.06 passes/s]
Traceback (most recent call last):
  File "/Users/noahpeterson/Documents/books/coreml-conversion/coreml_bisect.py", line 9, in <module>
    ct.models.utils.bisect_model(
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/models/utils.py", line 1983, in bisect_model
    model_chunk2 = _mil_convert(
                   ^^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/converter.py", line 188, in mil_convert
    return _mil_convert(model, convert_from, convert_to, ConverterRegistry, MLModel, compute_units, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/converter.py", line 212, in _mil_convert
    proto, mil_program = mil_convert_to_proto(
                         ^^^^^^^^^^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/converter.py", line 291, in mil_convert_to_proto
    PassPipelineManager.apply_pipeline(prog, main_pipeline)
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/pass_pipeline.py", line 493, in apply_pipeline
    raise e  # re-raise exception
    ^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/pass_pipeline.py", line 488, in apply_pipeline
    graph_pass(prog)
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/graph_pass.py", line 56, in __call__
    self.apply(prog)
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/defs/cleanup/topological_reorder.py", line 72, in apply
    self._move_operations_to_the_end_block(f, ["cast", "transpose"])
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/helper.py", line 64, in wrapper
    return _func(*args)
           ^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/passes/defs/cleanup/topological_reorder.py", line 112, in _move_operations_to_the_end_block
    new_var = getattr(mb, op.op_type)(**op.inputs, before_op=before_op)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/ops/registry.py", line 183, in add_op
    return cls._add_op(op_cls_to_add, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/builder.py", line 187, in _add_op
    new_op = op_cls(**kwargs)
             ^^^^^^^^^^^^^^^^
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/operation.py", line 190, in __init__
    self._validate_and_set_inputs(input_kv)
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/operation.py", line 506, in _validate_and_set_inputs
    self.input_spec.validate_inputs(self.name, self.op_type, input_kvs)
  File "/opt/homebrew/lib/python3.11/site-packages/coremltools/converters/mil/mil/input_type.py", line 164, in validate_inputs
    raise ValueError(msg.format(name, var.name, input_type.type_str,
ValueError: Op "cast_0" (op_type: cast) Input x="gather_189_cast_uint16" expects tensor or scalar of dtype from type domain ['fp16', 'fp32', 'int32', 'bool'] but got uint16

Removing the check_output_correctness=True argument produces the exact output.