基于国产科学智算生态的金融大模型推理部署优化

赛题技术方案

一、赛题总体介绍

OneScience是基于先进深度学习框架搭建的AI for Science（AI4S）科学智算工具包，由中科曙光于2025年发布。平台深度支持GPU和海光DCU（国产加速卡）双硬件后端，提供统一的数据管道层（UnifiedDataset）、模型抽象层与前后处理工具链。OneScience的核心价值在于为AI4S研究提供标准化的开发框架和国产硬件适配能力。

      OneSkills是基于OneScience构建的开源知识与能力模块库。它面向智能体（Agent）开发场景，提供可复用、可组合的能力模块框架，包含Prompt模板管理、工具调用编排、知识检索等通用组件，并集成Claude插件与OpenAI Codex适配层。参赛队可利用其通用框架自行构建金融领域专用的Prompt模板集、RAG流水线或Agent协作逻辑。

FinGPT是由AI4Finance Foundation维护的开源金融大语言模型框架，是目前国际上最为成熟、社区活跃度最高的开源金融LLM项目。本赛题选用的目标模型为FinGPT/fingpt-forecaster_sz50_llama2-7B_lora（以下简称"目标模型"），该模型的技术规格如下：（1）基座模型为Meta AI发布的Llama-2-7b-chat-hf（70亿参数，FP16约13.5GB）；（2）采用LoRA（Low-Rank Adaptation）技术在中国A股上证50指数（SZ50）成分股的市场数据进行指令微调得到；（3）任务类型为周度股价走势预测，标签体系采用12分类收益率区间。同时，本赛题配套的数据集为FinGPT/fingpt-forecaster-sz50-20230201-20240101（以下简称"目标数据集"），来源于Hugging Face Datasets平台，该数据集的技术规格如下：（1）时间范围为2023年02月01日至2024年01月01日；（2）覆盖中国A股市场上证50指数（SZ50）的全部成分股；（3）数据集包含5个字段：prompt（结构化输入提示词）、answer（参考回答文本）、period（预测周期）、label（12分类收益率标签）、symbol（股票代码）；（4）划分为训练集1.81k条样本与测试集441条样本。组委会将在竞赛环境中预置测试集（含隐藏扩展部分）用于黑盒评测。

金融大模型是AI4S在金融科技领域的典型应用方向。随着金融行业数字化转型深入推进，智能投研、量化交易、风险管理等场景对金融大模型的实时性和部署成本提出了更高要求。将金融大模型部署于边缘端或资源受限环境的潜力显著，但受限于硬件算力、显存带宽与功耗约束，仍面临模型体积过大、推理延迟过高、精度损失难以控制等挑战。本赛题要求基于国产处理器及加速卡，利用OneScience平台的底层框架能力，对FinGPT金融大模型进行轻量化和推理性能优化，完成黑盒测试，在保证股价走势预测精度的前提下显著提升模型部署性能。

本赛题要求参赛者在OneScience平台基础上加载目标模型和目标数据集，并开展优化。禁止恶意篡改替换测试集以及禁止其他非专注于赛题任务本身的行为。参赛队不得使用组委会未授权的外部金融数据、隐藏测试集相关数据、其他金融大模型权重或可直接产生股价预测结果的外部模型。要求参赛者全部训练、推理等代码和轻量化模型设计方案逻辑自洽，提交的内容在给定算力环境可复现并通过测试。

除非本技术方案另有特别要求、规定和禁止的事项外，允许基于目标模型进行剪枝、量化、蒸馏、结构压缩；允许设计学生模型，但学生模型必须基于组委会指定的目标模型和目标数据集训练或蒸馏得到，不得直接替换为外部已有金融模型或外部预训练权重。允许使用组委会环境中提供的开源库和通用优化工具，基于金融领域先验知识优化，但不得调用未授权的在线服务、闭源二进制工具、外部大模型API接口或不可审计的自动化工具完成模型替换、压缩或预测结果生成。所有第三方代码、工具和配置应在说明文档中明确说明，并保证在比赛测试环境中可复现。

二、比赛要求与评分标准

任务1：目标模型推理跑通

基于组委会提供的算力环境，成功加载目标模型，完成测试集上的推理，并输出预测结果。

任务2：至少采用一种优化方式实现推理部署优化

1.低比特量化：可选择权重量化、权重-激活联合量化等，将目标模型由较高精度表示转换为较低比特表示进行加载与推理，如将 FP16 模型转换为 INT8、INT4 等形式。

2.知识蒸馏：允许基于组委会指定的目标模型和数据集，通过知识蒸馏训练更小规模的学生模型（FinGPT/fingpt-forecaster_sz50_llama2-7B_lora作为教师模型，可选择Llama、Qwen等更小参数规模的开源模型作为学生模型）。

3.剪枝：可选择通道剪枝、层剪枝、模块剪枝、注意力头剪枝等，通过移除冗余结构降低模型复杂度，剪枝后模型结构应可独立保存并完成推理。

4.结构压缩：可选择参数共享、低秩分解、矩阵分解等，用更少的参数近似逼近原始高维矩阵的表达能力。

任务3：完成性能对比

对比目标模型优化前和优化后的如下模型指标，目标模型为FinGPT/fingpt-forecaster_sz50_llama2-7B_lora。

模型轻量化评价（40分）：

评测轻量化后模型（简称为轻量模型）的推理显存占用大小，计算公式如下：

U=max(1-轻量模型推理显存占用大小目标模型推理显存占用大小,0)×40

模型性能延迟评价（20分）：

评测轻量模型对给定测试数据集进行黑盒测试的平均样本推理时长，公式如下：

V=max(1-轻量模型平均样本推理时长目标模型平均样本推理时长,0)×20

公式中“样本推理时长”指样本加载到加速卡后，到模型推理得到预测结果的时间。

模型预测性能评价（40分）：

针对隐藏测试数据集，对轻量模型的金融任务指标进行综合评价，公式如下：

W=[min{轻量模型F1 Score目标模型F1 Score,1}+min{轻量模型DirectionAcc目标模型DirectionAcc,1}]×20

其中，评价指标说明如下：（1）12-Class F1 Score（12分类F1值）——将模型输出映射到U1-U5+/D1-D5+共12个细粒度类别后，计算各类别的宏平均F1值，反映模型对涨跌幅度的精细化预测能力；（2）Direction Accuracy（方向准确率）——将模型输出的涨跌判断与label的U/D大类标签进行比对，计算方向预测正确率，反映模型对股价走势方向的判断能力。

最终轻量模型成绩基于隐藏测试集进行黑盒评测。参赛队仅可使用组委会指定的训练集、测试集进行开发调试，不得以任何方式访问、推断、替换或缓存隐藏测试集内容。参赛队伍分配的硬件资源仅供调试与练习。

总分计算公式如下：

轻量模型性能总分=U+V+W

任务4：提交简短技术报告

报告不要求长篇论文式撰写，只需说明：你做了什么优化，为什么这么做，优化前后效果如何。

三、参赛作品提交

参赛队伍在比赛阶段需按指定方式提交以下内容：

1) 参赛队伍需提供赛题方案实现的完整源码，模型权重文件等。

2) 参赛队伍需提供技术说明文档。内容包括但不限于模型轻量化方法介绍、设计思路、实现过程、实验结果对比分析、程序代码模块说明等。

参赛队伍必须严守学术诚信。若使用第三方知识产权、开源代码、公开算法或第三方库，以及引用他人源码等，必须在提交的说明文档及源码项目README.md文件头部进行明确标注与说明。

四、竞赛平台与测试系统

大赛提供的材料包括：

1)目标模型：https://huggingface.co/FinGPT/fingpt-forecaster_sz50_llama2-7B_lora

2)目标数据集：https://huggingface.co/datasets/FinGPT/fingpt-forecaster-sz50-20230201-20240101

3)自动化黑盒评测系统，根据参赛队的申请从代码托管平台获取指定版本，并加载测试程序和隐藏测试数据集，自动进行轻量模型性能测试。

五、软硬件系统规范

参赛者在参赛过程中，需使用以下环境：

1) 硬件环境：指定版本的处理器和国产加速卡一张。

2) 软件环境：OneScience=0.3.0、Python=3.11、PyTorch=2.5.1、onnxsim=0.6.3、onnxconverter-common=1.16.0、onnx=1.21.0、tensorly=0.9.0、torchpruning=1.6.1。

第15条 参赛者须确保提交的源码能够在指定的硬件和软件环境中编译和运行，并能够基于测试数据集对提交的轻量模型进行性能评测。

六、比赛网站与参考资源

FinGPT官方文档站 https://fingpt.io/

OneScience官方参考资源: https://github.com/onescience-ai/OneScience

OneSkills官方参考资源：https://github.com/onescience-ai/OneSkills

七、其他

本技术方案的最终解释权归校赛组委会。