📖
(选学)Task4：利用大模型解决NLP任务

2024年7月4日创建

3045

4111

💡

教程贡献者说：

前面我们介绍了基于 Transformer 模型实现在机器翻译任务上的应用​

今天我们的任务是尝试使用大模型解决机器翻译任务！

你可以从中学会大模型的调用方式，任务利用大模型解决NLP任务​

本赛题已明确指出训练模型过程中不能使用预训练模型，除非你使用训练集自己训练一个。因此，本部分内容仅作为选修内容，感兴趣的学习者可自行学习！​

一、简单介绍

画板

要使用大模型来解决此机器翻译任务，要比自己训练一个任务简单许多，主要有两种解决方案：​
◦
直接调用大模型 API 来解决​
◦
本地部署大模型进行推理​

二、本地部署大模型进行推理

🥖

Qwen2-7B-Instruct 模型需要显存 16GB +，如果没有这么大可以尝试其他小一点的模型​

1.
加载模型​

代码块

import os​
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'​
​
from transformers import AutoModelForCausalLM, AutoTokenizer​
device = "cuda" # the device to load the model onto​
​
model = AutoModelForCausalLM.from_pretrained(​
    "Qwen/Qwen2-7B-Instruct",       #"/mnt/data/xuhu/qwen/Qwen2-7B-Instruct"​
    torch_dtype="auto",​
    device_map="auto"​
)​
​
tokenizer = AutoTokenizer.from_pretrained("/mnt/data/xuhu/qwen/Qwen2-7B-Instruct")​

•
第一个参数："Qwen/Qwen2-7B-Instruct" 是模型名称，如果你是下载到了本地，也可以赋予本地模型所在的地址，这里我们是从hugging face的镜像加载的模型​

•
torch_dtype：设置模型中全部 Linear 层的数据格式，可以使用如下把 3232 位的模型线性层参数转换为 1616 位的模型参数，但是除线性层之外的所有参数仍为 3232 位浮点数​

代码块

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-7B-Instruct", torch_dtype=torch.float16)​

•
device_map：指定模型的不同部分加载到哪些设备上，"auto"是指自动分配，通常会同时使用多张GPU进行模型加载，如果想指定使用某一张如下：​

代码块

device_map = {"": 0} # 空字符串表示整个模型，0表示第一张GPU

2.
加载数据​

代码块

import pandas as pd​
dc = pd.read_csv('../dataset/en-zh.dic', sep='\t', header=None).set_index(0).to_dict()[1]​
​
from tqdm import tqdm​
lines = open('../dataset/test_en.txt').readlines()​