Task4：技术交流会

输入“/”快速插入内容

💾
Task4：技术交流会

2024年7月4日创建

2762

3380

2

0

💡

会议主题：

会议时间：

会议地点：

会议录制：

Q1标题：鲁大师上云了
诉求	现象	解决方案
语料分词	针对较为复杂的行业词汇，语料分词效果差	目前解决方案包括了以下： • 将语料本身的结构做成jason对 • 选择更适合的分词器（有哪些？） • chunkSIZE, context Window, temperature etc调整到合适的
提交项目的完整度	目前提交的项目，设想包括比较多，还有私有云等部署，但是不知道在初赛阶段什么样的内容提交就可以了（能够回答较为精准的RAG问答界面就可以了吗？）	TBD
Q2标题：
诉求	现象	解决方案
ipex环境本地部署	在本地根据教程、GitHub、官方文档等进行环境配置，但环境仍有问题	从baseline1中下载ipex的conda环境后，在本地进行导入可以使用
	Jupyter崩溃、python运行提示：failed to enable AMX	设置环境变量 BIGDL_LLM_AMX_DISABLED=1
Baseline的max_new_tokens过短

Q3标题：LLM MapBook
诉求	现象	解决方案
RAG功能在当前项目中的应用场景拓展；	RAG功能如何才能与输出的地理数据进行结合，辅助学习者更好地学习、整理相关知识；	https://ai-mapbook-zasfamyfxydadn2x8qyros.streamlit.app/

Q4标题：能源大模型
诉求	现象	解决方案
提升rag速度	使用baseline的RAG计算，data目录下pdf增加到2个时（15页以下），向量化速度明显变慢，如何提升速度	换个镜像
	使用魔塔社区部署后，每次回答问题都很慢，有何优化路径	线程数设置为8
是否能利用llama3.1 8B模型进行cpu部署	23号meta发布llama3.1开源模型，模型能力似乎不错，现有技术路线可以将8B模型在cpu上部署嘛，有什么推荐的资料？	https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct-GGUF 手动导入，用ollama来跑
	llama3.1不支持中文？还能否使用？
	希望能基于提供数据生成报表，现在大模型是否有能力实现，技术路线	分制法生成，首先人为分类，一个提示词一个分类