Task5：技术交流会
输入“/”快速插入内容
🌊Task5：技术交流会
Task5：技术交流会
2024年7月17日创建
7772
8857
5
0
💡
会议主题：浪潮信息-大模型应用开发-技术交流会
会议时间：2024/08/22 20:00
会议地点：腾讯会议 -会议号：768-145-063
小彩蛋魔搭创空间部署教程
大家有要交流的问题可以提前填写，22号晚20:00浪潮信息工程师和教程大大给大家解答
Q1：意图理解能力 | | | ||
诉求 | 现象 | 解决方案 | ||
模型有时候理解不到用户的需求 | 2B的模型有时候会先输出自带prompt内容，再输出回答 | | ||
Q2：模型输出重复信息 | | | ||
诉求 | 现象 | 解决方案 | ||
有时模型输出可能会持续生成重复信息。 | 有时候输出无法停止（变成复读机） | 设置模型解码方式 设置重复惩罚 尽量避免input过长的情况：截断 | ||
Q3：构建高质量微调数据集 | | | ||
诉求 | 现象 | 解决方案 | ||
如何构建高质量的微调数据集 | | 详见Task4作业提示 1. 首选开源数据集 2. 使用更大的模型进行数据生成 3. 数据爬取较为麻烦、成本较高：学习爬取技术、解决版权风险、进行数据清洗 | ||
Q4：Lora调参难点 & 作品相关建议 | | | ||
诉求 | 现象 | 解决方案 | ||
（1）lora调参时，数据处理工作量大，输出结果难以标准化 （2）相似性匹配不准确 （3）作品如何进一步优化 | | (1) 先尝试小规模数据测试lora效果 全量数据预处理与加载时间过长 (2) 建议把更具体的业务场景说明清楚 | ||
Q5：部署&响应速度&音乐知识RAG业务效果优化 | | | ||
诉求 | 现象 | 解决方案 | ||
1部署有困难；2程序响应速度慢 3我优化提示词程序是让用户输入的提示词和音乐风格进行结合，有关于音乐风格的描述是在知识库内，但是两者每次经过RAG处理后产生的新prompt中用户的提示词就不会出现，更多的是偏向音乐风格的描述，无法做到两者较好的结合 | 下面是我想要的效果 | Prompt调优，还达不到效果的话可以微调 | ||
Q6：Yuan vllm相关适配难点 & flask无法上线魔搭创空间 & 大模型任务评价指标 | | | ||
诉求 | 现象 | 解决方案 | ||
yuan官方的vllm openai api服务器不支持lora，没看到有lora代码，而原版vllm不支持YuanForCausalLM yuan官方的vllm是0.2.6版本，没有lora 项目基于flask构建，无法上线魔搭创空间 请问问答任务的评价指标有哪些，比如BLUE之类的吗，该用什么工具计算呢 评估或许可以训练一个奖励模型？ • 把输出数据修改为给一段评价的话 • 输出一个回归任务的浮点数（比较简单一些） 需要一些高质量标注数据，强化学习的时间成本较高， | | 暂未支持，后续更新 可尝试修改源代码中的模型文件 魔搭创空间可制作一个介绍页，展示演示视频 BLUE、ROUGE，可使用 huggingface evaluate 进行评估 大模型任务评价 1. BLUE、ROUGE = 评价与标准答案的重复度 2. 一致性评价 = 用其他大模型评价与标准答案的相似度（embedding空间距离计算） 3. 除非要做业界的测评，否则主要根据自己的业务，设计评价准则：幻觉、回答的准确度等 不是奖励模型，是在给模型的评价打分，跟训练数据或自己的业务场景做对比 | ||
Q7：数据搜集方案 & 想将应用接入微信 | | | ||
诉求 | 现象 | 解决方案 | ||
打工人梗的数据搜集了一些但是还不太够。未来想接入微信，目前没接触过相关内容（公众号/聊天bot） | | 爬虫有风险，使用需谨慎 100~200条数据足够制作demo效果 有封号风险，可能需要备案 可以在github上搜索方案 | ||
Q8：输出格式不太稳定，正则表达式解决不了，有什么其他方案吗？ | | | ||
诉求 | 现象 | 解决方案 | ||
现在模型的输出比较不稳定，所以导致我页面用正则表达式来简化信息的做出来的数据筛选有一定的不确定性，希望能找一些稳定的筛选模型输出中固定内容的方法 RAG相关：csv解析不是很方便，转到了一个txt | 名字、寓意有关的 想输出Markdown格式，表格 格式清洗有难度，匹配不稳定，有时候特别好，时好时坏 起名字的应用 | RAG检索的信息需要保障干净 分段分步骤执行，把步骤拆分出来，依次执行简单的任务，最后再组合内容 案例：生成藏头诗，在代码里做流程编排 每个步骤的prompt和调用的接口可能不同 • 一个藏头字一个藏字进行写作 • 然后截断固定内容 • 最后拼接 起名应用流程拆分或许可以： 每个步骤的prompt和调用的接口可能不同 1. 起名：可能生成多个名字 请给{姓}的{男孩/女孩}起名： 2. 分析每个名字的寓意(调RAG) 请分析{名字}的寓意： 3. 分析每个名字里每个字的寓意(调RAG) 做一些fewshot(Prompt工程) 在history里内置一些user和assistant的格式fewshot | ||
Q9：多轮对话效果分析 | | | ||
诉求 | 现象 | 解决方案 | ||
大模型上下文长度一长效果直接对半减,2B的模型容易受到历史上下文影响,目前为了确保效果取消了上下文 | ||||