QA｜其他技术彩蛋
输入“/”快速插入内容
🎊 QA｜其他技术彩蛋
QA｜其他技术彩蛋
2024年6月15日创建
1127
1576
5
1
Task3：微调入门
1.
感觉LoRa微调作用没有修改prompt作用大？
2.
微调的损失率没降下去，如何调整参数？
💡
——大模型微调不看损失率，大概都是2.9-4之间的，太低就要考虑会不会过拟合了
3.
💡
——对显卡的CC和linux的系统版本低的 Cuda的编译好像会出现问题
装个新的anaconda重新配一个环境降一下torch和cuda 到适合该显卡内核版本的版本试一下
4.
CoT(思维链)如何使用？
💡
——可以放在instruction部分或微调阶段
CoT可以有效减少逻辑错误和前后不搭
5.
本地运行的大模型使用apply_chat_template模版，得到的输出总是包含input的内容应该怎么处理呀，除了后期再做清理，有没有什么方法可以使模型生成的内容不包含input的内容呀？之前使用inputs = tokenizer(combined_message, return_tensors='pt', padding=True, truncation=True).to(model.device)和inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, padding=True,truncation=True,return_tensors="pt").to(model.device)得到的output都会包含input的内容
6.
deepseek的额度不小心喽完了，大家有用其他平台便宜一点的token吗？
💡
——试试GLM，通义等等、充值deepseek。
7.
CoT 是不是不太适合用在20b以下的模型呀？re3它是用于longer story的对800字的短文写作会有帮助吗
💡
——主要参考下他是如何设计prompts和修正故事逻辑的。
8.
大模型随着问题增加会不断增加显存占用吗？感觉稍微问几个问题显存就分配完了然后显卡就不工作了
💡
——可能是没有写代码清除显存缓存。
9.
DeepLn怎么开通端口访问？
💡
——进行本地运行，或者挂在服务器跑，要实名认证。
10.
使用vllm遇到如下问题：