💯
Task4 上分加油站

2024年7月21日创建

3363

4992

💡

教程贡献者说：

前面我们介绍了实现推理任务的基础思路baseline1和微调思路baseline2。能走到这一步大家已经很不容易啦。先给自己点个赞！到这里都是厉害宝宝！不过对于这个比赛来说，看到这可能才刚开始。这一节主要是为了辅助大家上分，简单介绍了提分思路、agent设计案例、Docker相关资料、赛题一些限制和模型选择、数据集扩充这样的思路。从现在开始，有很多东西需要大家开始自发学习与实践！​

好！废话不多说我们冲起来！

1.
提分思路​

本次任务主要采用大语言模型解决推理任务，如何使用大语言模型实现top方案呢？​

一是训练＆微调模型提升解决逻辑推理问题的能力。

二是使用各种prompt工程、agent系统方案，达到模型解决逻辑推理问题的能力边界。​

我们从这两个方面向大家介绍如何提分，有哪些方案可以选择，可以参考哪些资料。​

1.1 模型训练＆微调

相信大家在task03中已经尝试了baseline2，这里面介绍了如何实现微调。并且大家在微调后模型的推理速度也有一定的提升。那么除了baseline2中讲的lora微调，大家还有哪些可以在微调中可做的工作呢？​

•
大家可以通过prompt调整进行最简单的入手。​

•
除了lora其实还有很多微调的方案，我们可以都试试看。​

那么我们上节用到了pfet库，也介绍了很多微调的方法~

https://huggingface.co/docs/peft/conceptual_guides/adapter

当然大家可以试试全量微调。

•
微调思路改进。除了我们直接使用答案作为微调数据，还有哪些呢？比如你可以使用大模型的推理思路吗？你可以使用推理方向吗？这些都值得大家思考。​

•
微调数据够了吗？我们所有的问题总共有1321个，这些数据大家觉得够吗？如果不够是不是可以再加点？​

1.2 prompt & agent

prompt优化思路

说到prompt我知道有很多同学已经有了自己的尝试，而且取得了一定的进展。那么prompt还有哪些值得思考的地方呢？我们datawhale有推出了一份学习prompt以及相关内容的课程。大家可以快速补充prompt相关的知识~​

https://github.com/datawhalechina/llm-cookbook/tree/main/content/%E5%BF%85%E4%BF%AE%E4%B8%80-Prompt%20Engineering%20For%20Developers

我这里也有一份珍藏的资料~分享给大家哈哈。

大家还是有点懵怎么办？我这里有个试验给大家抛砖引玉~你可以根据提示和评分，大概知道哪些prompt对我们的任务有用，哪些会带来负面影响。试试看~​

agent如何优化

agent是什么？