2025-03-28-LLM4rec-out.md
是怎么调 prompt 的？有哪些经验？
工作描述：替代人工培训，大模型+QLora+RAG，强行业定制+强可解释性；处理培训等文本资料，构建数据集；优化检索精准性；用LangChain+RAG，提高知识精准性，降低模型训练成本； 重排序+多路召回提高准确率；Prompt工程优化用户输入，结构化输出；模型量化，支持本地部署 工作内容： 知识库：Prompt工程+大模型抽取title-content，线性检索数据库；LangChain+neo4j抽取结构信息，构建图知识库 根据服务器/数据量等要求在Huggingface获得向量化模型和通用LLM，bitsandbytes精度量化后本地部署 定义中文分词器处理文本数据；BM25文本+向量相似化+触发式关键词多路检错topk，RRF算法重排序 定义Prompt模板，QA/Refine/Invoke，嵌入检错结果作为大模型推理参考；接入大模型
项目介绍:湖南省重点研发计划项目，实现基于KG和LLM的商标法律智能问答方法。项目内容:提出并实现智能问答系统LKG-RAG，重点:基于Prompt工程和法律大模型的法律实体抽取;自研发的KSGR组件抽取KG中的关联三元组;基于Prompt的图结构转自然语言方案;基于GAT的检索优化技术。 网络商品方面级情感分析工具大学生创新创业项目组长项目介绍:大学生创新创业项目，用于分析用户评论对产品不同方面的情感倾向，帮助企业改进产品和服务。项目内容:参照已有研究提出双重GCN情感分析工具，重点包括:基于pos-tagging工具和预定义字典的方面词提取;基于LAL-Parser，Bert的结构及语义特征提取;基于双重GCN的结构及语义特征融合。
使用 Deepspeed 和 Megatron 进行跨节点分布式训练，设计语料配比、调整训练模块构成制定规则设计 Filter，对领域数据进行清洗整理，提出一套设计单轮和多轮对话的 Pipeline，构造指令微调数据集针对模型幻觉问题和灾难性遗忘问题设计实验方案，在预训练阶段和 SFT 阶段加入混合语料，课程学习等策略，提高模型垂域能力
实习项目 时装领域商业智能体(负责多模态大模型工作) 聚焦电商和线下商业体场景，目标C端用户，基于个性化采集数据，实现针对于个体用户的时装推荐功能针对时装场最的多个细粒度属性，设计多模态 SFT数据集，有效解决场景下识别能力有限、推荐单品特异性不佳的痛点问题对于垂直领域场景，搭建自动化评估流程，构造 Benchmark，实现对齐真实场景的效果评测
楼主batchsize和max sequence length 优化器的精度都是fp32 如果用fp16训练会非常不稳定 全参量微调FLOPS跑满大概5h，算力利用率20%大约不算太差 建议开ZeroOneAdam和FlashAttention，显存瓶颈严重上ZeroOffload，以及能用qLora尽量别全参
嗯嗯！感谢解答。我自己尝试了下，让kimi自动看文档生成title-content，给个few shot的prompt，感觉效果还可以哈哈哈哈； 另外，您有尝试过Graphrag吗，我看流程也是比较方便，不过似乎优势是总结+结构性输出？我感觉强专业性质的问答，用Graphrag效果应该不咋好
网上一个视频是直接将西游记的文本放进去了。graphrag也是自动的让大模型（视频里是Qwen）转换到图结构。您觉得这种自动化的转换靠谱嘛， 那如果有问题的话，我该怎么去人工修改呢， 我觉得完成角色扮演之类的聊天bot还行（比如扮演孙悟空），如果严谨的专业领域知识问答，是否可行。
我觉得这个文档还是比较结构化的。培训资料如下：
- 进行A设备操作的时候，如果B指示灯亮起，说明钻压不足，需要紧急调整，包括按报警按钮，及时通知同事等
- C指示灯亮起，需要进行A设备操作杆向上拉起，要缓慢匀速，直到C指示灯灭，马上停下 基本都是xx设备的xx问题，然后需要xx操作 我想直接上个大模型，给个few shot的prompt，直接让大模型生成这种title-content； 感觉效果还可以； 最后还有个问题，要是请10个资深员工，认真的把所有的title-content复查一遍，那不就能保证rag的效果非常好了嘛；因为所有的操作手册+培训文档，也才200页。
其次，您有尝试过Graphrag吗，我看流程也是比较方便，网上一个视频是直接将西游记的文本放进去了。graphrag也是自动的让大模型（视频里是Qwen）转换到图结构。您觉得这种自动化的转换靠谱嘛， 那如果有问题的话，我该怎么去人工修改呢， 我觉得完成角色扮演之类的聊天bot还行（比如扮演孙悟空），如果严谨的专业领域知识问答，是否可行。
最后，对于rag，我现在的感觉就是，
开头： essay：结构，第一段，context，为什么要讨论，时代的背景 我的观点 -- 总结，
soft skill, practic 说清楚 写的 太大的拆开来 chatgpt 帮我 想idea
高质量 gap year 文科
提纲--论点 语法-- 记事本
强调哪里 用can 写清楚
太绝对的 极端 情感 invaluable
机器学习预测项目：电商 RAG Context Caching
我是转向AI领域的后端开发，我有机器学习预测商机，RAG回答系统开发，Context Caching，微调