🎞️
Task2：精读baseline，入门Data-Juicer

2024年8月3日创建

9542

10843

💡

教程贡献者说：

恭喜你完成了 task1 的任务，不知道各位在运行中感到如何呢？​

是因为数据下载时间久导致抓狂，或是因为反复发现被系统终止而感到沮丧？​

别担心，在task2中，我将为你揭晓有关baseline的一切秘密——

所有的脚本其实只是白盒；

我们一定要坚信——计算机永远是对的，

如果出现问题先找自己的原因，

但我们一定能解决所有问题。

👁 Baseline 洞察

🤔我们究竟做了哪些事

在本次比赛中，我们将会对给定的数据集进行 data-juicer 的处理，data-juicer相当于是一个数据集的处理管线，它可以帮我们用各类定制化的算子实现的pipeline来对我们的数据集进行多样组合的处理，同时我们也可以用 data-juicer 复现很多无论是传统多模态、大语言模型还是视频理解相关模型的数据处理工作；在处理工作结束后，我们将会使用 MGM 增强框架来对多模态模型进行微调。​

多模态模型有两个关键组件，一是视觉编码器，二是语言模型，其中我们将会使用 gemma 作为我们的语言模型基座，gemma-2B 是谷歌开源的强大人工智能模型，参数量只有2B；而对于视觉编码器我们将会使用使用 CLIP-L (clip-vit-large-patch14-336)。这两个模型我们也可以在微调代码中可以完全看见全流程。​

所以，我们需要做的事情是尽量找到合适的方式组织数据集，通过算子的排列组合演奏出美妙的数据奏曲；不过 data-juicer 的算子还是比较多的，之后我们会对他的细节进行详细学习。​

话不多说，让我们开始直接研究在baseline中究竟发生了哪些事：​

环境准备

代码块

SCRIPT_DIR=$(cd "$(dirname "$0")" && pwd)​
​
# for data-juicer​
echo "[1] Installing toolkit/data-juicer"​
cd ${SCRIPT_DIR}/toolkit​
git clone https://github.com/modelscope/data-juicer.git​
cd data-juicer​
pip install ".[all]"​
​
# for MGM training​
echo "[2] Installing toolkit/training"​
cd ${SCRIPT_DIR}/toolkit/training​
pip install -e .​
pip install flash-attn --no-build-isolation​
​
echo "Done"​

没什么可以解释的，这个部分就是最基础的环境准备。

这类需要注意的是，flash-attn的安装过程可能会遇到这样那样的问题，具体请参考 常见问题必知必会​

当然，如果这里他存在预编译包，就会快速安装该程序，但如果没有预编译包 https://github.com/Dao-AILab/flash-attention/releases/tag/v2.6.3 ，你只能喊上好友玩上一两盘游戏... ——这意味着你需要等待半个小时到一个小时。

下载

首先来理解什么是axel：

Axel tries to accelerate the download process by using multiple connections per file, and can also balance the load between different servers.​