一、基本概念

1. 在很多情况下，你想使用的模型架构可以从你提供给 from_pretrained() 方法的预训练模型的名称或路径中猜到。AutoClass 为你自动做这样工作：根据预训练模型的名称或路径来自动选择对应的模型架构。

   实例化 AutoConfig, AutoModel, AutoTokenizer 将直接创建一个相关架构的类。如：

   model = AutoModel.from_pretrained("bert-base-cased")
   

   将创建一个 BertModel 的实例。

   Transformers 库提供了一族 AutoModel，用于各种任务、以及各种后端（PyTorch, TensorFlow, Flax）。

2. 每个 AutoClass 都有一个方法可以用你的自定义类来扩展。例如，如果你定义了一个自定义的 NewModel 类，请确保你有一个NewModelConfig ，然后你可以像这样把这些添加到 AutoClass 中：

   from transformers import AutoConfig, AutoModel
   
   AutoConfig.register("new-model", NewModelConfig)
   AutoModel.register(NewModelConfig, NewModel)
   

   然后你就可以像平时那样使用 AutoClass 了。

   • 如果你的 NewModelConfig 是 transformer.PretrainedConfig 的子类，请确保它的model_type 属性被设置为你在注册配置时使用的相同 key （这里是 "new-model" ）。
   • 同样地，如果你的 NewModel 是 PreTrainedModel 的子类，确保它的 config_class 属性被设置为你在注册模型时使用的相同class （这里是 NewModelConfig ）。

二、API

2.1 基础类

1. class transformers.AutoConfig()：通用的配置类。当用 from_pretrained() 类方法创建时，它将被实例化为库中的一个 configuration class 。

   这些不能直接使用__init__()进行实例化，否则会抛出异常。

   方法：

   • from_pretrained pretrained_model_name_or_path, **kwargs)：从一个 pretrained model configuration 中初始化一个 configuration class 。

     要实例化的 configuration class 是根据被加载的配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：

     • pretrained_model_name_or_path：一个字符串或 os.PathLike 对象，可以为：

       • 一个字符串，表示 huggingface.co 上的一个预训练模型的 model id 。有效的 model id 可以是 root-level，如 bert-base-uncased；也可以是组织名之下的，如 dbmdz/bert-base-german-cased 。
       • 一个目录的路径，该目录包含由 save_pretrained() 方法保存的配置文件。
       • 一个路径或 url，指向一个保存的 configuration JSON file 。

     • cache_dir：一个字符串或 os.PathLike ，指定下载的 pretrained model configuration 要存放到哪里。

     • force_download：一个布尔值，默认为 False，指定是否强制重新下载模型权重和配置文件，如果存在的话，覆盖缓存的版本。

     • resume_download：一个布尔值，默认为 False，指定是否删除未完成的文件。默认的 False 表示如果存在这样的文件，将尝试恢复下载。

     • proxies：一个字典，指定代理服务器。如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'} 。这些代理将在每个请求中使用。

     • use_auth_token：一个字符串或布尔值，指定用于验证的 token 。如果为 True 则使用 ~/.huggingface 中存储的 token（由 huggingface-cli login 所写入）。

     • revision：一个字符串，指定要使用的特定模型版本。它可以是一个 branch name 、一个 tag name 、 或一个 commit id 。

     • return_unused_kwargs：一个布尔值，默认为 False 。

       • 如果是 False ，那么这个函数只返回最终的配置对象。
       • 如果是 True ，则该函数返回一个Tuple(config, unused_kwargs) ，其中 unused_kwargs 是一个字典，由 key 不是configuration 属性的键值对组成（即，kwargs 中未被用于更新 config的部分）。

     • trust_remote_code：一个布尔值，默认为 False ，指定是否允许在 Hub 上定义的自定义模型在他们自己的 modeling file 中。这将在你的本地机器上执行 Hub 上存在的代码。

     • kwargs：关键字参数，这里的 key/value 可以用于覆盖 configuration 的属性。

2. class transformers.AutoTokenizer()：通用的 tokenizer 类。当用 from_pretrained() 类方法创建时，它将被实例化为库中的一个 tokenizer class 。

   这些不能直接使用__init__()进行实例化，否则会抛出异常。

   方法：

   • from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs )：从一个 pretrained model vocabulary 中初始化一个 tokenizer class 。

     要实例化的 tokenizer class 是根据配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：

     • pretrained_model_name_or_path/cache_dir/force_download/resume_download/proxies/use_auth_token/revision/trust_remote_code/kwargs ：参考 AutoConfig.from_pretrained() 。
     • inputs：额外的位置参数，将传递给 Tokenizer.__init__()方法。
     • config：一个 PretrainedConfig 对象，指定 configuration 对象，它用于决定初始化哪个 tokenizer class 。
     • subfolder：一个字符串，如果相关文件位于 huggingface.co 上 model repo 的一个子文件夹内（例如facebook/rag-token-base ），请在此指定它。
     • use_fast：一个字符串，默认为 True 。如果一个给定的模型支持 fast Rust-based tokenizer ，就设为 True ，否则设为 False （将返回一个普通的 Python-based tokenizer）。
     • tokenizer_type：一个字符串，指定要加载的 tokenizer 类型。

3. class transformers.AutoFeatureExtractor()：通用的 feature extractor 类。当用 from_pretrained() 类方法创建时，它将被实例化为库中的一个 feature extractor class 。

   这些不能直接使用__init__()进行实例化，否则会抛出异常。

   方法：

   • from_pretrained(pretrained_model_name_or_path, **kwargs)：从一个 pretrained model vocabulary 中初始化一个 feature extractor class 。

     要实例化的 feature extractor class 是根据配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：参考 AutoConfig.from_pretrained() 。

4. class transformers.AutoImageProcessor()：通用的 image processor 类。当用 from_pretrained() 类方法创建时，它将被实例化为库中的一个 image processor class 。

   这些不能直接使用__init__()进行实例化，否则会抛出异常。

   方法：

   • from_pretrained(pretrained_model_name_or_path, **kwargs)：从一个 pretrained model vocabulary 中初始化一个 image processor class 。

     要实例化的 image processor class 是根据配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：参考 AutoConfig.from_pretrained() 。

5. class transformers.AutoProcessor()：通用的 processor 类。当用 from_pretrained() 类方法创建时，它将被实例化为库中的一个 processor class 。

   这些不能直接使用__init__()进行实例化，否则会抛出异常。

   方法：

   • from_pretrained(pretrained_model_name_or_path, **kwargs)：从一个 pretrained model vocabulary 中初始化一个 image processor class 。

     要实例化的 image processor class 是根据配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：参考 AutoConfig.from_pretrained() 。

2.2 通用模型类

1. 以下 AutoClass 可用于实例化一个没有特定 specific head 的 base model class 。

   • 这些不能直接使用__init__()进行实例化，否则会抛出异常。
   • 默认情况下，创建的模型已经通过 model.eval() 被设置为评估模式，如 dropout 模块被停用。如果希望训练模型，你应该首先用model.train() 将其设置回训练模式。

2. class transformers.AutoModel(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个 base model class 。

   方法：

   • from_config(**kwargs)：从一个 configuration 中实例化一个 base model class 。

     参数：config：一个 PretrainedConfig 对象，指定配置。

     注意：从一个模型的配置文件加载该模型并不加载模型的权重。它只影响到模型的配置。使用 from_pretrained() 来加载模型的权重。

     示例：

     from transformers import AutoConfig, AutoModel
     # Download configuration from huggingface.co and cache
     config = AutoConfig.from_pretrained("bert-base-cased")
     model = AutoModel.from_config(config)
     

   • from_pretrained(*model_args, **kwargs)：从一个 pretrained model 中初始化一个 base model class 。

     要实例化的 model class 是根据配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：

     • pretrained_model_name_or_path/cache_dir/force_download/resume_download/proxies/revision/trust_remote_code/kwargs：参考 AutoConfig.from_pretrained() 。

     • model_args：位置参数，传递给底层模型的 __init__() 方法。

     • config：一个 PretrainedConfig，指定模型的配置（而不是自动加载一个配置）。配置可以在以下情况下被自动加载：

       • 该模型是一个由 library 提供的模型（用预训练模型的 model id 字符串加载）。
       • 该模型是用 save_pretrained() 保存的，并通过提供 save directory 而被重新加载。
       • 该模型通过提供一个本地目录作为 pretrained_model_name_or_path 参数来加载，并在该目录中找到一个名为config.json 的 configuration JSON file 。

     • state_dict：一个字典，用于指定 state dict 从而代替从保存的权重文件中加载的 state dict 。

       此时意味着：如果你想从一个预训练的配置中创建一个模型，但加载你自己的权重。

     • from_tf：一个布尔值，默认为 False ，指定是否从 TensorFlow checkpoint 保存文件中加载模型权重。

       如果 pretrained_model_name_or_path 是一个 tensorflow index checkpoint 文件的路径或 url，那么 from_tf 应该设为 True，并且应该提供一个配置对象作为 config 参数。这种加载路径比使用所提供的转换脚本在 PyTorch 模型中转换TensorFlow checkpoint 并在之后加载 PyTorch 模型要慢。

     • output_loading_info：布尔值，默认为 False ，指定是否同时返回一个包含缺失键、意外键、错误信息的字典。

     • local_files_only：一个布尔值，默认为 False ，指定是否只查看本地文件（即，不尝试下载模型）。

3. class transformers.TFAutoModel(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个 base model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。

   • from_pretrained(*model_args, **kwargs)：从一个 pretrained model 中初始化一个 base model class 。

     要实例化的 model class 是根据配置对象的 model_type 属性来选择的。或者当 model_type 属性缺失时，通过回退到使用 pretrained_model_name_or_path 的模式匹配。

     参数：

     • from_pt：一个布尔值，默认为 False ，指定是否从 PyTorch checkpoint 保存文件中加载模型权重。

       如果 pretrained_model_name_or_path 是一个 pytorch state_dict 文件的路径或 url，那么 from_tf 应该设为 True，并且应该提供一个配置对象作为 config 参数。这种加载路径比使用所提供的转换脚本在 Tensorflow 模型中转换PyTorch model 并在之后加载 Tensorflow 模型要慢。

     • 其它参数参考 AutoModel.from_pretrained() 。

4. class transformers.FlaxAutoModel(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个 base model class 。

   方法：

   • from_config(**kwargs)：参考 TFAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 TFAutoModel.from_pretrained() 。

2.3 通用 Pretraining 类

1. 以下 AutoClass 可用于实例化一个带有 pretraining head 的模型。

   • 这些不能直接使用__init__()进行实例化，否则会抛出异常。
   • 默认情况下，创建的模型已经通过 model.eval() 被设置为评估模式，如 dropout 模块被停用。如果希望训练模型，你应该首先用model.train() 将其设置回训练模式。

2. class transformers.AutoModelForPreTraining/TFAutoModelForPreTraining/FlaxAutoModelForPreTraining(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 pretraining head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

2.4 NLP

1. 以下的 auto class 用于自然语言处理任务。

   • 这些不能直接使用__init__()进行实例化，否则会抛出异常。
   • 默认情况下，创建的模型已经通过 model.eval() 被设置为评估模式，如 dropout 模块被停用。如果希望训练模型，你应该首先用model.train() 将其设置回训练模式。

2. class transformers.AutoModelForCausalLM/TFAutoModelForCausalLM/FlaxAutoModelForCausalLM(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 causal language modeling head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

3. class transformers.AutoModelForMaskedLM/TFAutoModelForMaskedLM/FlaxAutoModelForMaskedLM(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 masked language modeling head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

4. class transformers.AutoModelForSeq2SeqLM/TFAutoModelForSeq2SeqLM/FlaxAutoModelForSeq2SeqLM(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 sequence-to-sequence language modeling head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

5. class transformers.AutoModelForSequenceClassification/TFAutoModelForSequenceClassification/FlaxAutoModelForSequenceClassification(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 sequence classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

6. class transformers.AutoModelForMultipleChoice/TFAutoModelForMultipleChoice/FlaxAutoModelForMultipleChoice(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 multiple choice head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

7. class transformers.AutoModelForNextSentencePrediction/TFAutoModelForNextSentencePrediction/FlaxAutoModelForNextSentencePrediction(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 next sentence prediction head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

8. class transformers.AutoModelForTokenClassification/TFAutoModelForTokenClassification/FlaxAutoModelForTokenClassification(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 token classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

9. class transformers.AutoModelForQuestionAnswering/TFAutoModelForQuestionAnswering/FlaxAutoModelForQuestionAnswering(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 question answering head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

2.5 计算机视觉

1. 以下的 auto class 用于计算机视觉任务。

   • 这些不能直接使用__init__()进行实例化，否则会抛出异常。
   • 默认情况下，创建的模型已经通过 model.eval() 被设置为评估模式，如 dropout 模块被停用。如果希望训练模型，你应该首先用model.train() 将其设置回训练模式。

2. class transformers.AutoModelForDepthEstimation(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 depth estimation head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

3. class transformers.AutoModelForImageClassification/TFAutoModelForImageClassification/FlaxAutoModelForImageClassification(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 image classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。

4. class transformers.AutoModelForVideoClassification(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 video classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

5. class transformers.AutoModelForMaskedImageModeling(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 masked image modeling head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

6. class transformers.AutoModelForObjectDetection(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 object detection head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

7. class transformers.AutoModelForImageSegmentation(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 image segmentation head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

8. class transformers.AutoModelForSemanticSegmentation/TFAutoModelForSemanticSegmentation(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 semantic segmentation head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel.from_pretrained() 。

9. class transformers.AutoModelForInstanceSegmentation(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 instance segmentation head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

10. class transformers.AutoModelForUniversalSegmentation(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 universal image segmentation head 的 model class 。

    方法：

    • from_config(**kwargs)：参考 AutoModel.from_config() 。
    • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

11. class transformers.AutoModelForZeroShotObjectDetection(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 zero-shot object detection head 的 model class 。

    方法：

    • from_config(**kwargs)：参考 AutoModel.from_config() 。
    • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

2.6 音频

1. 以下的 auto class 用于音频任务。

   • 这些不能直接使用__init__()进行实例化，否则会抛出异常。
   • 默认情况下，创建的模型已经通过 model.eval() 被设置为评估模式，如 dropout 模块被停用。如果希望训练模型，你应该首先用model.train() 将其设置回训练模式。

2. class transformers.AutoModelForAudioClassification(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 audio classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

3. class transformers.AutoModelForAudioFrameClassification(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 audio frame (token) classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

4. class transformers.AutoModelForCTC(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 connectionist temporal classification head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

5. class transformers.AutoModelForSpeechSeq2Seq/TFAutoModelForSpeechSeq2Seq(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 sequence-to-sequence speech-to-text modeling head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel.from_pretrained() 。

6. class transformers.AutoModelForAudioXVector(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 audio retrieval via x-vector head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

2.7 多模态

1. 以下的 auto class 用于多模态任务。

   • 这些不能直接使用__init__()进行实例化，否则会抛出异常。
   • 默认情况下，创建的模型已经通过 model.eval() 被设置为评估模式，如 dropout 模块被停用。如果希望训练模型，你应该首先用model.train() 将其设置回训练模式。

2. class transformers.AutoModelForTableQuestionAnswering/TFAutoModelForTableQuestionAnswering(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 table question answering head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel.from_pretrained() 。

3. class transformers.AutoModelForDocumentQuestionAnswering/TFAutoModelForDocumentQuestionAnswering(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 document question answering head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel.from_pretrained() 。

4. class transformers.AutoModelForVisualQuestionAnswering(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 visual question answering head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel.from_pretrained() 。

5. class transformers.AutoModelForVision2Seq/TFAutoModelForVision2Seq/FlaxAutoModelForVision2Seq(*args, **kwargs)：通用的 model 类。当用 from_pretrained() 类方法或 from_config() 类方法创建时，它将被实例化为库中的一个带有 vision-to-text modeling head 的 model class 。

   方法：

   • from_config(**kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_config() 。
   • from_pretrained(*model_args, **kwargs)：参考 AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained() 。