llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument

项目地址 https://github.com/hiyouga/LLaMA-Factory

模型层参数
这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments，用于管理和存储与模型微调相关的参数。这个类的设计是为了方便地处理和传递命令行参数或配置文件中的参数，这些参数通常用于指定模型训练过程中的各种设置。
下面是每个字段的含义：

• model_name_or_path：指定模型权重或标识符的路径，可以是本地的路径，也可以是huggingface.co/models或modelscope.cn/models上的模型名称。
• adapter_name_or_path：适配器权重或标识符的路径，用于加载特定的适配器。
• cache_dir：预训练模型下载的存储路径。
• use_fast_tokenizer：是否使用快速的tokenizer（基于tokenizers库）。
• resize_vocab：是否调整tokenizer的词汇表和嵌入层的尺寸。
• split_special_tokens：在分词过程中是否拆分特殊tokens。
• model_revision：使用的特定模型版本，可以是分支名称、标签名称或提交ID。
• quantization_bit：用于模型量化的位数。
• quantization_type：在int4训练中使用的量化数据类型。
• double_quantization：在int4训练中是否使用双重量化。
• rope_scaling：用于RoPE嵌入的缩放策略。
• flash_attn：是否启用FlashAttention-2以加快训练速度。
• shift_attn：是否启用LongLoRA提出的shift短注意力（S^2-Attn）。
• use_unsloth：是否使用unsloth的优化来训练LoRA。
• disable_gradient_checkpointing：是否禁用梯度检查点。
• upcast_layernorm：是否将layernorm权重升级为fp32。
• upcast_lmhead_output：是否将lm_head的输出升级为fp32。
• hf_hub_token：登录Hugging Face Hub的认证令牌。
• ms_hub_token：登录ModelScope Hub的认证令牌。
• export_dir：导出模型的存储路径。
• export_size：导出模型文件分片的大小（以GB为单位）。
• export_quantization_bit：导出模型量化的位数。
• export_quantization_dataset：用于量化导出模型的数据集路径或名称。
• export_quantization_nsamples：用于量化的样本数量。
• export_quantization_maxlen：用于量化的模型输入的最大长度。
• export_legacy_format：是否以.bin文件保存而不是.safetensors。
• export_hub_model_id：如果将模型推送到Hugging Face hub，则指定仓库的名称。
• print_param_status：出于调试目的，打印模型参数的状态。
  __post_init__方法在对象初始化后调用，用于设置额外的属性和执行一些验证。例如，它检查split_special_tokens和use_fast_tokenizer是否冲突，验证量化位数的有效性，并在需要量化数据集时检查其是否存在。
  to_dict方法将数据类实例转换为一个字典，这有助于将参数以字典形式传递给函数或保存到配置文件中。<