Test du chat après "Finetune"

[madaracelio]

Bonjour,

En regardant le code de la démo pour le chat, j'ai réussi à adapter le code par rapport à mon modèle Mpt-7b et a pu faire une discussion avec l'assistant (J'ai fait du finetune avec les datasets de discussion de la repo). Mais mon problème est que dès fois l'assistant répond, et après il n'y a plus de réponse donnée c'est-à-dire la réponse est vide que ce soit sur l'interface ou dans le log de la console.

Pouvez-vous m'aider à voir quel est le problème ?

Voici une image pour bien visualiser le problème :

[Symfomany]

Comment as-tu finetuner le model ? Quel model as tu finetuner ? tu as utiliser python vigogne/train/train_sft.py ?
quels params ? quel est ton fichier json?

[madaracelio]

J'ai utilisé le model "Openllama 7b" avec les paramètres par défaut, le script "vigogne/train/train_sft.py" et les datasets présente dans les liens de cette repo. Sachant que ce problème venait de la variable history (array) dans le code qui n'arrive pas à contenir plus de 2 discussions. C'est-à-dire lorsqu'on donne un prompt, et que c'est la 3ème fois qu'on le fait, on n'obtient rien du tout.
Lorsque je l'ai enlevé, le model répond mais ne se souviens pas de la discussion précédente