高校AI实训｜AI大模型基础知识和实践——某本科高校

近日，TsingtaoAI教研团队为某高校交付AI大模型基础知识和实践实训。本实训由 TsingtaoAI 教研团队专为高校打造，聚焦大模型应用开发前沿。实训摒弃繁杂理论推导，强化工具化实操，旨在培养能独立完成模型微调、部署及智能体开发的应用型人才。内容涵盖 Python 基础、PyTorch 框架、硬件环境认知，深入 LoRA/全参数微调、RAG 知识库构建及 Agent 智能体开发。通过 MAAS 平台、LLaMA-Factory、Dify 等工业级工具实战，学员将掌握从数据处理到企业级部署的全链路技能。课程特别引入 Unsloth 加速、QLoRA 量化及 Coze 工作流自动化等最新技术栈，确保教学内容与行业现状同步。学员实训后具备独立开发聊天机器人、文本检索系统及企业级 AI 应用的能力，快速适配行业需求，实现从理论到落地的无缝衔接。

实训样例

 

模块一：基础入门（Python + PyTorch + 硬件认知）

第 1 课：Python 基础入门（适配零编程基础）

  • 讲解：Python 核心基础（变量、数据类型、列表/字典操作、简单循环与条件判断、函数定义），结合大模型应用场景（文本字符串处理、数据读取）。

  • 实践任务：

    • 编写脚本统计一段文本的单词数量。

    • 用列表存储 5 条文本数据并打印。

第 2 课：深度学习框架概述与 PyTorch 简介

  • 讲解：简化深度学习框架发展，仅对比 PyTorch 与 TensorFlow 的应用场景差异（PyTorch 更适合快速迭代），重点介绍 PyTorch“易用性”及在大模型开发中的作用。

  • 实践任务：浏览 PyTorch 官方“快速入门”板块，记录 1 个常用 API（如 torch.tensor）的用途。

第 3 课：PyTorch 安装与环境验证（工具化实操）

  • 讲解：分步骤演示（Windows/macOS/Linux/MAAS 平台）：1. Python+pip 配置；2. CUDA 安装简化说明（“是否需要装”“命令验证”）；3. PyTorch 及依赖库一键安装；4. MAAS 平台服务器登录与环境检查。

  • 实践任务：

    • 本地/MAAS 平台安装 PyTorch。

    • 运行 import torch; print(torch.cuda.is_available()) 验证环境。

第 4 课：硬件基础（GPU 选择与 CUDA 基础）

  • 讲解：简化硬件理论，聚焦应用需求：1. GPU 分类（消费级如 RTX3090、数据中心级如 A800）及适配场景（LoRA 用 RTX3090、全参数微调用多卡 A800）；2. CUDA 核心作用（"GPU 加速工具”）；3. 显存估算简化（如 7B 模型 FP16 约 13GB）；4. 常用 GPU 服务器平台（AutoDL）基础使用。

  • 实践任务：

    • 在 GPU 服务器上运行 nvidia-smi 查看显卡信息。

    • 验证 CUDA 版本（nvcc -V）。

模块二：PyTorch 神经网络实践、数据集构建与处理（应用导向）

第 5 课：简单神经网络搭建与训练（侧重流程）

  • 讲解：简化神经网络原理（“多层筛选器：输入→处理→输出”），用 torch.nn 演示 2 层网络搭建步骤，介绍“数据集→模型→损失函数→优化器”训练流程。

  • 实践任务：用 PyTorch 自带 MNIST 简化数据集（1000 条数据），搭建 2 层网络，训练 5 轮并打印损失值。

第 6 课：PyTorch 常用开发模块（工具化讲解）

  • 讲解：聚焦应用必备模块：1. logging（打印训练日志）；2. Fire（命令行启动训练）；3. numpy（辅助数据处理），不深讲源码。

  • 实践任务：在第 7 课代码中加入 logging（打印“训练开始/结束”“每轮损失”），用 Fire 包装训练函数，通过命令行启动。

第 7 课：数据集构建基础（采集与清洗）

  • 讲解：1. 数据集来源（开源数据集：Hugging Face/Dataset Hub、ModelScope；自定义采集：简单爬虫、手动录入）；2. 清洗核心步骤（去重、删除特殊字符、处理空值）。

  • 实践任务：

    • 从 Hugging Face 下载 imdb 的 100 条评论数据。

    • 用 pandas 清洗（删除空值、去除英文标点）。

第 8 课：数据集格式转换（Alpaca/ShareGPT）

  • 讲解：1. 大模型微调常用格式：Alpaca（instruction-input-output）、ShareGPT（conversations 列表）；2. 格式转换工具（datasets 库、自定义脚本）；3. LLaMA-Factory 数据集适配（修改 dataset_info.json）。

  • 实践任务：

    • 将第 9 课清洗后的评论数据转换为 ShareGPT 格式。

    • 修改 dataset_info.json，在 LLaMA-Factory 中预览数据。

模块三：Transformer 与大语言模型基础（简化理论）

第 9 课：大语言模型简介与 Transformer 结构

  • 讲解：大模型应用场景（对话、文本生成），简化 Transformer 架构（仅讲“输入→分词→词嵌入→注意力→输出”流程），建立宏观认知。

  • 实践任务：绘制 Transformer 简化流程图，标注“分词模块”“注意力模块”及作用。

第 10 课：Transformer 分词与词嵌入实践

  • 讲解：1. 分词工具（Hugging Face AutoTokenizer）；2. 词嵌入作用（“文字转数字向量”）；3. 位置编码目的（“让模型知道文字顺序”）。

  • 实践任务：

    • 用 bert-base-uncased 分词器处理 1 段文本，打印 input_ids。

    • 用 AutoModel 获取词嵌入向量并查看维度。

第 11 课：自注意力机制简化理解

  • 讲解：自注意力作用（“关注句子中重要的词”），简化多头注意力（“多视角看文本”），不深讲分数计算，结合 Llama 2 简化案例。

  • 实践任务：用 torch.nn.MultiheadAttention 搭建简单注意力模块，输入 2 段文本的词嵌入，打印注意力权重。

第 12 课：大模型训练环境与量化技术

  • 讲解：1. 训练环境搭建（Hugging Face transformers/datasets 安装）；2. 量化技术作用（“减少显存占用”），演示 8 位量化、QLoRA（bitsandbytes 库）的工具使用。

  • 实践任务：

    • 搭建 Hugging Face 环境，验证 from transformers import AutoModel。

    • 用 bitsandbytes 对 Llama 2-7B 进行 8 位量化，对比体积变化。

模块四：大模型微调实战（核心工具化）

第 13 课：LoRA 微调实战（Unsloth 库）

  • 讲解：1. LoRA 核心作用（“轻量微调，仅训少量参数”）；2. Unsloth 库优势（“节省 30% 显存”）；3. 完整流程：加载模型→数据格式化→配置 LoRA 参数（r=32、target_modules）→训练→保存。

  • 实践任务：用第 10 课的 ShareGPT 格式数据，基于 Qwen3-8B（4bit 量化）做 LoRA 微调，训练 3 轮后保存适配器。

第 14 课：LoRA 微调实战（Transformer 库）

  • 讲解：1. peft 库 LoraConfig 配置（lora_alpha、lora_dropout）；2. BitsAndBytesConfig 4bit 量化配置；3. SFTTrainer 训练流程。

  • 实践任务：

    • 用 Transformer 库加载第 15 课的 LoRA 适配器。

    • 对新文本进行推理，对比微调前后效果。

第 15 课：全参数微调（DeepSpeed）与 LLaMA-Factory

  • 讲解：1. 全参数微调适用场景（“需深度适配任务”）；2. DeepSpeed 配置（stage3 零冗余优化、混合精度训练）；3. LLaMA-Factory 工具（WebUI 操作，无需写代码）：选择模型→加载数据集→启动微调。

  • 实践任务：

    • 用 DeepSpeed 启动单卡微调（简化配置）。

    • 通过 LLaMA-Factory WebUI，用自定义数据集微调 Qwen3-8B。

第 16 课：混合数据训练

  • 讲解：1. 混合数据意义（“提升模型泛化性”，如推理数据 + 非推理数据）；2. 数据比例控制（如 75% 推理数据 + 25% 非推理数据）；3. datasets 库数据拼接与打乱。

  • 实践任务：

    • 拼接 OpenMathReasoning-min（推理）与 FineTome-100k（非推理）数据。

    • 用 Unsloth 训练混合数据集，观察损失变化。

模块五：大模型微调实战（实践及应用开发）

第 17 课：知识库（RAG）核心与工具实操

  • 讲解：

    • RAG 基础：检索增强生成的核心价值（解决 LLM 知识盲区、提升回答准确性）。

    • 个人知识库工具：Cherry-Studio（多模型对话、本地部署、API 配置）、ima（多端同步、微信交互、混元/DeepSeek 模型支持）。

    • 企业级 RAG 工具：Dify 平台（静态规划、文档上传、分段索引配置）。

    • 平台选型指南：个人轻量场景（Cherry-Studio）、企业高精度场景（Dify）、隐私敏感场景（AnythingLLM）。

  • 实践任务：

    • 用 Cherry-Studio 上传 5 篇本地文档（如学习笔记），配置硅基流动 API 密钥，实现基于知识库的问答。

    • 用 Dify 搭建企业级知识库（上传一份公司产品手册），设置 Top K=3 检索参数并测试回答效果。

第 18 课：智能体（Agent）开发基础与平台入门

  • 讲解：

    • 智能体核心要素：大模型“大脑”、记忆（短期/长期）、工具使用、规划决策。

    • 开发三层次：Level 1（提示词立人设，如 GPTs、豆包）、Level 2（固定工作流）、Level 3（自主任务拆解）。

    • 主流平台介绍：Coze（字节系，支持插件集成、工作流可视化，适合高阶智能体）、Dify（开源可本地部署，50+ 内置工具，企业级稳定应用）。

  • 实践任务：

    • 在 Coze 平台创建“深夜情感主持”智能体（Level 3），配置模型参数与开场白。

    • 在 Dify 平台搭建“简单问答应用”（Level 1），测试基础对话功能。

第 19 课：智能体与知识库集成实战

  • 讲解：

    • 插件与知识库协同：以 Coze“高考报考指南”智能体为例，演示头条搜索（实时数据）、头条图片搜索（院校信息）与录取数据知识库的结合。

    • Dify 高阶智能体开发：定义角色（如“资深媒体评论员”）、约束输出规范（标题/正文长度）、集成检索工具。

    • 多端发布：Coze 智能体发布至微信/网页，Dify 应用部署至企业内部系统。

  • 实践任务：

    • 完善 Coze“高考报考指南”智能体，集成本地录取分数线知识库，测试“分数匹配院校”功能。

    • 在 Dify 中配置“产品客服智能体”，关联产品手册知识库与订单查询工具，模拟用户咨询场景。

第 20 课：工作流自动化与深度研究工具

  • 讲解：

    • 工作流搭建：以 Coze“复刻爆款视频”为例，演示大模型节点（生成分镜）、循环节点（生成文生图提示词）的联动配置。

    • 深度研究工具：Perplexity（自动拆解任务、标注来源）、GPT Pro DeepResearch（长文生成、多轮子任务规划）的使用场景与局限。

  • 实践任务：

    • 在 Coze 搭建简易“短视频脚本工作流”：输入主题→生成大纲→拆分分镜→输出提示词。

    • 用 Perplexity 深度研究"2025 大模型应用趋势”，分析其任务拆解逻辑与信息来源标注。

实训技术专家

陈老师 AI智算技术专家

研究方向：分布式计算、深度学习模型优化、GPU加速计算。

曾就职某央企高性能计算研发工程师，一线智算厂商高性能AI Infra工程师，现就职TsingtaoAI公司AI框架及AI应用研发工程师。

专业领域

华为昇腾技术栈: 深入掌握华为昇腾AI计算平台，包括昇腾算子开发、HCCL集合通信优化、智算集群建设与性能调优。

智算集群建设与优化: 专注于大规模智算集群的设计、部署、设备选型、网络配置及系统集成，提升集群性能和稳定性。

深度学习与高性能计算: 研究和应用分布式训练框架、优化技术，进行大规模计算任务的高效处理。

网络与系统集成: 在复杂网络环境下进行系统集成，确保数据传输的高效性与系统的稳定性。

AI开发框架: 熟悉多种AI开发框架，包括NCE fabric、NCE insight fabric、MindX和ModelArts平台的高阶使用。

代表性项目经验

GFDX智算集群项目

负责内容: 主导智算集群的整体设计与交付，包括设备选型、系统集成和网络设备配置。负责优化集群性能以满足高负载计算需求。

实际项目交付经验: 成功实施了62.5P的智算集群交付，确保系统的高效能和稳定性。

首都在线智算集群项目

负责内容: 主导智算集群的设计与部署，负责设备选型、集群网络架构设计和HCCL集合通信的优化配置。

实际项目交付经验: 成功交付了80P的智算集群项目，实现了高效的数据处理和计算能力。

北京昇腾人工智能计算中心

负责内容: 智算集群项目的建设与交付，包括设备选型、系统集成、网络设备配置与调优，以及昇腾平台的算子开发与优化。

实际项目交付经验: 主导了100P的智算集群交付，显著提升了计算能力和系统性能，满足了大规模AI应用需求。

教学与培训经验

昇腾技术培训: 为多家企业和研究机构提供昇腾技术栈的定制化培训，涵盖昇腾算子开发、HCCL通信优化、智算集群建设等内容。

教学方法: 善于将复杂的理论知识与实际应用相结合，通过案例分析与实践操作，帮助学员在短时间内掌握核心技术，并能在实际项目中独立应用。

培训案例

某智算中心运维厂商：

  1. IB网络

    1. IB网络的概述与原理

    2. IB网络的传输协议与数据传输原理

    3. 深入讲解InfiniBand的传输协议，包括RC、UC和UD，并解释数据传输机制。

    4. 描述IB网络的硬件架构，包括交换机、路由器、HCA和TCA等。

    5. IB网络的故障诊断与排除

    6. 实操环节，教授如何诊断和解决IB网络中可能出现的问题。

  • GPU架构与CUDA编程

    • NVIDIA GPU架构与特性

    • 介绍GPU的基本概念和CUDA编程模型。

    • 提供CUDA编程的基础知识和入门指导。

    • GPU内部结构与性能优化关键点

    • 分析GPU加速计算的实际案例，包括性能提升和应用场景。

    • 讲解如何优化CUDA程序的性能，以及CUDA生态系统中的各种工具和库。

    • GPU加速计算与案例分析

    • 高级CUDA库与工具链详解

    • 性能优化与CUDA生态系统

  • 算力集群规划与设计

    • 算力集群架构与设计

    • 软件栈设计与集群性能评估

    • 集群性能调优的高级技巧与实践

    • 集群性能调优

智算集群的开发调优-某运营商研发中心

昇腾算子开发相关

  1. 常见错误码与问题排查

  2. 自定义算子的调用与调试

  3. 高阶融合算子实现方法

HCCL集合通信相关

  1. HCCL常见错误码与处理方法

  2. HCCL通信算法与算子开发

  3. HCCL新特性与调优

昇腾智算集群网络设备管理

  1. NSLB1.0和2.0方案实现细节

  2. 端网协同机制

  3. 集合通信建链与mpirun测试

华为AI开发框架与工具链

  1. 华为CCAE与NCE系统使用

  2. MindX与ModelArts框架使用

  3. 昇腾环境适配的AI开发框架

基于华为昇腾的分布式训练技术咨询-某科研学术机构

利用 PyTorch DDP 在多 GPU 上并行训练 ResNet-18，加速 CIFAR-10 训练并保持高准确率。通过环境配置、数据分发与采样、模型分布式包装和自动梯度同步，实现高效训练。结合混合精度、梯度压缩和自适应批大小等策略，大幅减少通信开销、提升计算效率。针对分布式任务调度与容错机制进行深入探索，保障大规模训练的稳定性与可扩展性，提供了高效、易扩展的分布式深度学习解决方案。

马老师 教授 AI与大数据技术专家

广东东软学院软件工程大数据专业方向负责人、大数据实验室负责人、广东东软学院计算机专业教师，中国计算机学会高级会员，广东省研究生联合培养基地硕士生导师，全国高校人工智能与大数据创新联盟理事，佛山人工智能学会理事、中国机电工程协会会员。主持教育部高等学校科学研究中心中国高校产学研创新基金3项，主持广东省高校成果转化中心高校教师特色创新研究项目1项，主持教育部协同育人项目3项，参与省教育厅及佛山政府项目12项目，其中省级项目7项，市级项目5项。主持开发实施企业信息化项目16项。

代老师 AI技术专家 | 能源领域AI Agent专家

30岁博士，拥有3年AI技术经验，专注于大语言模型在能源领域的应用。主导AI大模型落地项目，精通提示词工程、RAG、Multi Agent调度等技术，成功将大语言模型与业务流程结合，实现生产级应用。具备扎实的数学优化基础和系统工程能力，擅长复杂系统建模与算法开发。 

西安交通大学 | 博士 | 控制科学与工程（系统工程）

  • 国家重点实验室，管晓宏院士团队，导师高峰教授 

  • 26岁获得工学博士学位 

  • 博士期间聚焦企业能源管理，发表ESI高被引论文1篇

西安交通大学 | 本科 | 钱学森实验班（自动化）

  • 高考全省507名，专业前10%，本科直博 

  • 学习所有工科专业基础课程，适应高强度淘汰机制

图迹信息科技有限公司 | AI技术专家

  • 担任数据分析部副部长，主导公司AI大模型落地应用，负责技术框架设计 

  • 设计能源领域AI Agent智能体，完成技术调研、框架设计、效果测试、优化、本地部署及上线演示全流程 

  • 应用AI 2.0技术栈： 

    • ✅ Prompt Engineering

    • ✅ RAG）

    • ✅ Multi Agent调度系统

    • ✅ 工作流设计与优化

  • 核心技术突破：解决大语言模型与细分业务流程精准匹配难题，项目满足生产落地要求 

  • 基于Agent成果，制定公司多Agent架构产品规划，推动复杂业务场景的AI化转型

宁波工程学院机器人学院 | 高校讲师

  • 教授《工业互联网》《微机原理》等课程，具备技术培训能力 

  • 科研项目：人工智能—大语言模型研究、电动交通工具储能化V2G研究 

  • 指导学生获浙江省智能机器大赛、全国大学生节能减排比赛奖项

核心项目经历

图迹AI智能体项目 | 主要负责人

  • 设计能源领域AI Agent智能体，实现细分业务自动化 

  • 关键技术细节： 

    • 构建RAG+Multi Agent调度框架，提升业务流程处理效率 

    • 通过提示词工程优化大语言模型输出准确性 

    • 设计多阶段工作流，解决能源业务场景的动态决策问题

  • 成果：项目成功上线，支持公司能源大数据分析与调度业务落地

绿色制造企业能源与生产协调随机优化调度

  • 国家自然基金项目，依托大型钢铁集团 

  • 创新性将员工电动汽车V2G接入企业电网，建立两阶段整数鲁棒优化模型

  • 设计算法提升求解效率10倍，降低企业能源成本70万元/天 

  • 发表4篇论文

发表论文

  1. Dai S, Gao F, Guan X, et al. Robust Energy Management for a Corporate Energy System With Shift-Working V2G[J]. IEEE Transactions on Automation Science and Engineering, 2020. （ESI高被引） 

  2. Dai S, Gao F, Liu K, et al. A Time-domain Decoupling Policy for Multi-stage Robust Scheduling in a Corporate Energy System with V2G [C]. IEEE CASE, 2019. 

  3. Dai S, Gao F, Guan X, et al. A Two-stage Robust Scheduling Model for Energy Intensive Corporation with Shift-work System and V2G Integrated Microgrid [C]. IEEE PES General Meeting, 2018. 

  4. Dai S, Gao F, Cheng X, et al. Basis Invariancy Sensitivity Analysis for Robust Linear Optimization [C]. CCC, 2018. 

  5. 代世豪, 高峰, 董皎皎, 等. 一种采购运输统一优化模型及多变量灵敏度分析 [C]. 中国控制会议, 2015.

李老师 TsingtaoAI AI大模型研发经理

TsingtaoAI大模型研发经理，是一位深耕后端架构并成功转型 AI 尖端领域的复合型专家。他拥有深厚的工程架构底座，擅长将复杂的 LLM 技术转化为具备高商业价值的 AI 应用。

在加入 TsingtaoAI 之前，李老师曾先后任职于亚信科技、美的集团及金蝶等知名领军企业 。这种从大型系统开发到大模型应用的跨界履历，赋予了他独特的“技术+产品”双向思维 。在后端开发阶段，他曾主导过复杂供应链系统的重构与大规模并发处理，通过 Redis+Lua 脚本解决分布式锁难题，利用 EasyExcel+线程池 优化百万级物料数据入库 。这些极具挑战性的工程实践，为他后续在处理大模型预训练数据清洗、向量数据库检索性能优化方面奠定了坚实的底层基础。

作为 TsingtaoAI 的核心技术带头人，李老师专注于 Generative AI技术的工程化落地：

模型精调与优化： 负责基于 Transformer 架构的大模型微调工作，精通 LoRA、P-Tuning 等轻量化参数微调策略，成功将垂域知识注入通用大模型，显著提升了模型在工业、供应链场景下的任务达成率。

RAG 架构专家： 结合其在美的及金蝶期间处理海量业务数据的经验 ，他主导设计了 TsingtaoAI 的企业级知识库 RAG系统，解决了大模型在实际应用中的“幻觉”问题，实现了业务数据与生成式 AI 的深度耦合。

工程化协同： 凭借敏锐的敏捷开发经验（DevOps/YApi/Git） ，他搭建了一套高效的 LLMOps（大模型运维）体系，缩短了从模型实验到 API 部署的周期，极大提升了 AI 产品的迭代效率。

关于TsingtaoAI

TsingtaoAI致力于构建国际领先的工业具身智能技能任务开发平台。公司核心团队汇聚了来自顶尖院校与科技巨头的技术专家，拥有深厚的AI Infra与机器人算法积淀。公司通过自研的通用PoC实验底座与多模态Agent编排引擎，为工业制造、高校实训等场景提供从数据生成、算法训练到即时部署的全栈解决方案。TsingtaoAI具备专业的AI实训教研团队，可以为各类高校提供专业前沿的实训建设服务。

Product & Case.

产品与案例

넳 넲
ꄴ前一个： 无
ꄲ后一个： 无