人工智能学习笔记

Appearance

第四章：快速入门 ​

本章将带你快速了解如何使用Hugging Face的Transformers库进行一些基本操作。我们将从加载预训练模型开始，逐步介绍如何进行文本分类、生成文本等任务。通过这一章的学习，你将能够构建自己的第一个基于Transformers的应用程序。

4.1 第一个Transformers程序 ​

4.1.1 加载预训练模型和分词器 ​

在使用任何Transformer模型之前，你需要先加载相应的预训练模型及其配套的分词器（Tokenizer）。这里以BERT模型为例：

python
from transformers import AutoModel, AutoTokenizer

# 指定要使用的预训练模型名称
model_name = "bert-base-uncased"

# 加载预训练的BERT模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

print("模型加载成功！")

这段代码会从Hugging Face的模型中心下载并加载指定的预训练BERT模型及其分词器。AutoModel 和 AutoTokenizer 是两个非常方便的类，它们可以根据提供的模型名称自动选择正确的类实例化。

4.1.2 编码输入文本 ​

接下来，我们需要对输入文本进行编码，以便它可以被送入模型中处理。这通常包括将文本转换为模型所需的格式，如token IDs、attention masks等。

python
text = "Hello, how are you?"
inputs = tokenizer(text, return_tensors="pt")  # 使用PyTorch张量
print(inputs)

上述代码会对给定的文本进行分词，并返回包含token IDs和其他必要信息的字典对象。return_tensors="pt" 参数指定了我们希望得到的结果是PyTorch张量；如果你使用的是TensorFlow，则应将其设置为 "tf"。

4.1.3 获取模型输出 ​

现在可以将编码后的输入传递给模型，获取其输出。对于基础的BERT模型，输出通常是最后一层隐藏状态或池化后的句子表示。

python
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state
print(last_hidden_states)

**inputs 语法用于解包字典中的参数，使其可以直接传递给模型函数。last_hidden_state 包含了每个token对应的向量表示，这对于后续的任务非常重要。

4.2 使用预训练模型进行文本分类 ​

4.2.1 选择适合的任务特定模型 ​

为了执行文本分类任务，我们可以选择一个已经针对该任务进行了微调的预训练模型。例如，distilbert-base-uncased-finetuned-sst-2-english 是一个专门为情感分析任务优化过的DistilBERT模型。

python
from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

pipeline 函数提供了一个高级接口，简化了许多常见的NLP任务的实现。在这里，我们创建了一个情感分析管道，它内部包含了所有必要的组件，如分词器和预训练模型。

4.2.2 执行分类并查看结果 ​

有了分类器之后，就可以直接对文本进行预测，并获得分类标签和置信度分数。

python
result = classifier("I love using Hugging Face's Transformers library!")
print(result)

这段代码将会输出类似以下的内容：

json
[{'label': 'POSITIVE', 'score': 0.9987}]

4.3 文本生成示例 ​

4.3.1 加载适合生成任务的模型 ​

对于文本生成任务，我们可以选择像GPT-2这样的模型，它擅长根据给定的上下文生成连贯的文本。

python
from transformers import pipeline

generator = pipeline("text-generation", model="gpt2")

4.3.2 进行文本生成 ​

定义好生成器后，只需提供一个起始提示，就能让模型继续生成文本。

python
prompt = "Once upon a time"
generated_text = generator(prompt, max_length=50, num_return_sequences=1)
print(generated_text)

这段代码会根据提供的提示生成一段长度不超过50个token的新文本，并打印出来。你可以调整 max_length 和 num_return_sequences 参数来控制生成文本的数量和长度。

通过以上几个例子，你应该已经掌握了如何使用Hugging Face的Transformers库完成一些简单的自然语言处理任务。这些基础操作构成了更复杂应用的基础，在接下来的章节中，我们将进一步探讨更多高级主题和技术细节。如果你有任何问题或需要更多信息，请随时提问！