Task4 上分加油站
输入“/”快速插入内容
💯
Task4
上分加油站
2024年7月21日创建
3363
4992
7
0
💡
教程贡献者说:
前面我们介绍了
实现推理任务的基础思路baseline1和微调思路baseline2。能走到这一步大家已经很不容易啦。先给自己点个赞!到这里都是厉害宝宝!不过对于这个比赛来说,看到这可能才刚开始。这一节主要是为了辅助大家上分,简单介绍了提分思路、agent设计案例、Docker相关资料、赛题一些限制和模型选择、数据集扩充这样的思路。从现在开始,有很多东西需要大家开始自发学习与实践!
好!废话不多说我们冲起来!
1.
提分思路
本次任务主要采用大语言模型解决推理任务,如何使用大语言模型实现top方案呢?
一是训练&微调模型提升解决逻辑推理问题的能力。
二是使用各种prompt工程、agent系统方案,达到模型解决逻辑推理问题的能力边界。
我们从这两个方面向大家介绍如何提分,有哪些方案可以选择,可以参考哪些资料。
1.1 模型训练&微调
相信大家在task03中已经尝试了baseline2,这里面介绍了如何实现微调。并且大家在微调后模型的推理速度也有一定的提升。那么除了baseline2中讲的lora微调,大家还有哪些可以在微调中可做的工作呢?
•
大家可以通过prompt调整进行最简单的入手。
•
除了lora其实还有很多微调的方案,我们可以都试试看。
lora相关微调的方案一览:
https://blog.csdn.net/deephub/article/details/136735670
那么我们上节用到了pfet库,也介绍了很多微调的方法~
https://huggingface.co/docs/peft/conceptual_guides/adapter
当然大家可以试试全量微调。
•
微调思路改进。除了我们直接使用答案作为微调数据,还有哪些呢?比如你可以使用大模型的推理思路吗?你可以使用推理方向吗?这些都值得大家思考。
•
微调数据够了吗?我们所有的问题总共有1321个,这些数据大家觉得够吗?如果不够是不是可以再加点?
1.2 prompt & agent
prompt优化思路
说到prompt我知道有很多同学已经有了自己的尝试,而且取得了一定的进展。那么prompt还有哪些值得思考的地方呢?我们datawhale有推出了一份学习prompt以及相关内容的课程。大家可以快速补充prompt相关的知识~
https://github.com/datawhalechina/llm-cookbook/tree/main/content/%E5%BF%85%E4%BF%AE%E4%B8%80-Prompt%20Engineering%20For%20Developers
我这里也有一份珍藏的资料~分享给大家哈哈。
大家还是有点懵怎么办?我这里有个试验给大家抛砖引玉~你可以根据提示和评分,大概知道哪些prompt对我们的任务有用,哪些会带来负面影响。试试看~
agent如何优化
agent是什么?