Quantize issue

[ZenekZombie]

slenarto@DESKTOP-FMPA9NQ:~/ai/pyllama-main/pyllama-main$ python3 -m llama.llama_quant /home/slenarto/ai/pyllama-main/pyllama-main/converted_meta/llama-13b c4 --wbits 4 --groupsize 128
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 41/41 [00:51<00:00, 1.27s/it]
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /home/slenarto/miniconda3/envs/gptq/lib/python3.9/runpy.py:197 in _run_module_as_main │
│ │
│ 194 │ main_globals = sys.modules["main"].dict │
│ 195 │ if alter_argv: │
│ 196 │ │ sys.argv[0] = mod_spec.origin │
│ ❱ 197 │ return _run_code(code, main_globals, None, │
│ 198 │ │ │ │ │ "main", mod_spec) │
│ 199 │
│ 200 def run_module(mod_name, init_globals=None, │
│ │
│ /home/slenarto/miniconda3/envs/gptq/lib/python3.9/runpy.py:87 in _run_code │
│ │
│ 84 │ │ │ │ │ loader = loader, │
│ 85 │ │ │ │ │ package = pkg_name, │
│ 86 │ │ │ │ │ spec = mod_spec) │
│ ❱ 87 │ exec(code, run_globals) │
│ 88 │ return run_globals │
│ 89 │
│ 90 def run_module_code(code, init_globals=None, │
│ │
│ /home/slenarto/ai/pyllama-main/pyllama-main/llama/llama_quant.py:477 in │
│ │
│ 474 │
│ 475 │
│ 476 if name == "main": │
│ ❱ 477 │ run() │
│ 478 │
│ │
│ /home/slenarto/ai/pyllama-main/pyllama-main/llama/llama_quant.py:436 in run │
│ │
│ 433 │ else: │
│ 434 │ │ dev = torch.device("cpu") │
│ 435 │ │
│ ❱ 436 │ tokenizer = LLaMATokenizer.from_pretrained( │
│ 437 │ │ args.model, add_eos_token=True │
│ 438 │ ) │
│ 439 │ dataloader, testloader = get_loaders( │
│ │
│ /home/slenarto/miniconda3/envs/gptq/lib/python3.9/site-packages/transformers/tokenization_utils │
│ base.py:1804 in from_pretrained │
│ │
│ 1801 │ │ │ else: │
│ 1802 │ │ │ │ logger.info(f"loading file {file_path} from cache at {resolved_vocab_fil │
│ 1803 │ │ │
│ ❱ 1804 │ │ return cls.from_pretrained( │
│ 1805 │ │ │ resolved_vocab_files, │
│ 1806 │ │ │ pretrained_model_name_or_path, │
│ 1807 │ │ │ init_configuration, │
│ │
│ /home/slenarto/miniconda3/envs/gptq/lib/python3.9/site-packages/transformers/tokenization_utils │
│ base.py:1958 in _from_pretrained │
│ │
│ 1955 │ │ │
│ 1956 │ │ # Instantiate tokenizer. │
│ 1957 │ │ try: │
│ ❱ 1958 │ │ │ tokenizer = cls(*init_inputs, **init_kwargs) │
│ 1959 │ │ except OSError: │
│ 1960 │ │ │ raise OSError( │
│ 1961 │ │ │ │ "Unable to load vocabulary from file. " │
│ │
│ /home/slenarto/ai/pyllama-main/pyllama-main/llama/hf/tokenization_llama.py:71 in init │
│ │
│ 68 │ │ self.add_bos_token = add_bos_token │
│ 69 │ │ self.add_eos_token = add_eos_token │
│ 70 │ │ self.sp_model = spm.SentencePieceProcessor(**self.sp_model_kwargs) │
│ ❱ 71 │ │ self.sp_model.Load(vocab_file) │
│ 72 │ │ │
│ 73 │ │ """ Initialisation""" │
│ 74 │
│ │
│ /home/slenarto/miniconda3/envs/gptq/lib/python3.9/site-packages/sentencepiece/init.py:905 in │
│ Load │
│ │
│ 902 │ │ raise RuntimeError('model_file and model_proto must be exclusive.') │
│ 903 │ if model_proto: │
│ 904 │ │ return self.LoadFromSerializedProto(model_proto) │
│ ❱ 905 │ return self.LoadFromFile(model_file) │
│ 906 │
│ 907 │
│ 908 # Register SentencePieceProcessor in _sentencepiece: │
│ │
│ /home/slenarto/miniconda3/envs/gptq/lib/python3.9/site-packages/sentencepiece/init.py:310 in │
│ LoadFromFile │
│ │
│ 307 │ │ return _sentencepiece.SentencePieceProcessor_serialized_model_proto(self) │
│ 308 │ │
│ 309 │ def LoadFromFile(self, arg): │
│ ❱ 310 │ │ return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) │
│ 311 │ │
│ 312 │ def _EncodeAsIds(self, text, enable_sampling, nbest_size, alpha, add_bos, add_eos, r │
│ 313 │ │ return _sentencepiece.SentencePieceProcessor__EncodeAsIds(self, text, enable_sam │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto->ParseFromArray(serialized.data(), serialized.size())]

can anyone help?