快手探索者 LLM-Rec 挑战赛——FAQ帮助文档
赛事过程中将持续更新FAQ,将全量包含赛事期间重要问题
📧 联系我们:llm-rec@kuaishou.com 或 添加赛事交流群、官方企微
赛题解析
本次大赛的赛题解读的PPT和讲解视频来啦,内容干货满满,请各位选手查收:
(1)详细阐述了赛题四个维度的评估 Benchmark 设计细节、分数计算流程、与推理参数设置;
(2)深入“对齐 itemic token 与通识知识表达空间”的预训练流程,包括:由粗到细的 itemic token对齐任务、多阶段训练 pipeline、与该阶段的真实数据样例;
(3)基于拒绝采样的SFT种子数据构造流程 pipeline,了解如何基于与源数据产出高质量 CoT 内容,(另附 tips 可供参考)。
若选手对评估细节依然存在疑问,可随时提出,我们将及时跟进~
挑战赛代金券&折扣券使用说明
本次赛事为参赛选手提供「LLM-Rec挑战赛-初赛代金券」及「暑期AI特调活动-折扣券」两种优惠券,具体领取及使用说明请参考:挑战赛代金券&折扣券使用说明
🌟 复赛成绩复现相关安排
1)复现安排
在复现阶段,参赛队伍在赛后有额外的时间准备复现材料(其中复现脚本收集截止到9月7日11:59:59),之后会对参赛队伍提供的脚本进行复现。在该过程中,我们支持两种复现形式,但都需要保证模型的起训起点为OneReason-8B-pretrain:
1.模型精调
a.参赛队伍提供训练数据集、运行参数、以及需要发布评估的模型轮次。
b.将运行流程整理为markdown。
2.开发机训练
a.选手需自行整理好训练数据集、开发机运行环境、以及训练代码。
b.将运行流程整理为详尽的markdown复现流程,提供一键run.sh,需要在一个命令中将整个训练流程打包,并给出最后需要提交的Safetensors参数路径。
复现材料文件命名要求:“所选复现形式+队伍名称+材料类型+最高分数”,选手准备好上述材料后通过个人教育邮箱打包发送至赛事官方邮箱llm-rec@kuaishou.com
2)复现资源:模型精调与开发机资源