企业内训｜AI大模型行业应用与实践——某电信运营商科技子公司

7月17日和18日广州，TsingtaoAI计算机视觉领域技术专家肖老师，为某电信运营商的科技子公司交付《大模型行业应用与实践》课程。课程聚焦人工智能技术演进与产业落地的深度融合，以多模态大模型技术革新为核心，结合安防行业智能化转型需求，构建从理论到工程落地的全链路知识体系。课程围绕2025年主流模型架构（Qwen VL、豆包等）与Transformer注意力机制展开技术解析，深入探讨多模态数据（文本/图像/音频）在复杂场景下的融合策略，通过智能监控异常检测、跨模态生物识别、行为分析等场景化方案，破解传统安防系统误报率高、响应滞后等痛点。

课程创新性融入低代码工作流引擎（Dify/Coze）实战，赋能非技术人员快速构建AI安防应用（如智能报警响应系统），并系统解析端云协同架构设计——基于边缘计算（Jetson/Atlas硬件）实现毫秒级实时处理，结合云端数字孪生与联邦学习技术，平衡算力成本与隐私保护需求。通过某智慧城市多模态监控系统、机场安检效率提升等标杆案例，拆解从模型微调（LoRA/P-tuning）、系统集成（API网关+微服务）到ROI测算的完整落地路径。

课程同步洞察5G/6G超低延迟监控、可信AI伦理治理等前沿趋势，帮助从业者把握技术拐点，为AI企业、安防集成商及数字化转型团队提供可复用的方法论框架，助力构建“技术-场景-商业”三位一体的智能安防生态。

课前调研节选

课程大纲

• 多模态大模型概述

  • 定义：能够同时处理文本、图像、音频等多种数据类型的模型。

  • 核心技术：Transformer架构、注意力机制。

  • 2025年主流模型：如Qwen VL、豆包、DeepSeek。

• 多模态大模型在安防行业的潜力

  • 安防行业痛点：复杂场景分析、实时响应。

  • 多模态优势：整合视频、音频、文本数据，提升监控效率。

• 安防行业应用场景

  • 智能监控：视频分析与异常检测。

  • 行为分析：通过图像与音频识别可疑行为。

  • 访问控制：多模态生物识别。

• 案例分析

  • 案例1：某智能城市监控系统，利用视频与文本数据进行实时事件分析。

  • 案例2：机场安防系统，通过多模态数据融合提升安全检查效率。

• 讨论：多模态大模型在安防中的挑战与机遇。

• 实践案例分享

  • 案例1：某地铁站的多模态安防系统，整合视频与语音报警功能。

  • 案例2：某商场的智能盗窃防范系统，利用图像识别与行为分析。

• 系统集成

  • 如何将多模态大模型与现有安防系统集成。

  • 技术挑战：数据兼容性、实时性要求。

  • 解决方案：API接口、微服务架构。

• 大模型应用成本分析

  • 图像识别：高计算需求，需大量标注数据。

  • 语言模型：较低计算需求，但需高质量语料库。

  • 硬件：GPU集群、边缘设备。

  • 软件：模型开发、云服务订阅。

  • 训练：数据标注、模型微调。

  • 维护：系统更新、故障排除。

  • 成本构成：

  • 图像识别与语言模型成本对比：

• ROI分析

  • 计算方法：收益/ 成本。

  • 案例：某企业通过AI监控减少安全事故的ROI分析。

• 成本优化策略

  • 云端 vs. 本地部署：权衡成本与性能。

  • 开源模型 vs. 商业模型：如Qwen的开源模型。

  • 讨论：如何在预算有限的情况下实现高效部署。

• 低代码平台介绍

  • 定义：通过可视化界面快速开发应用的平台。

  • 优势：降低开发门槛，加速部署。

  • 2025年中国主流平台：Dify或Coze等。

• Dify或Coze平台详解

  • 功能：无需编程构建聊天机器人，支持工作流自动化。

  • 安防应用：智能客服、报警响应系统。

• Dify或Coze实践环节

  • 任务2选1：构建一个安防聊天机器人，用于处理报警信息；开发一个基于LLM的威胁检测应用，分析监控数据。

  • 步骤：配置对话流程、集成外部数据源；设置LLM节点、设计工作流。

• 讨论：低代码平台的局限性与未来发展。

• 边缘计算与AI

  • 定义：将计算任务部署在靠近数据源的设备上。

  • 安防中的优势：实时处理、低延迟。

  • 挑战：算力有限、数据同步。

• 端云结合架构

  • 架构设计：边缘设备处理实时任务，云端进行复杂分析。

  • 安防案例：边缘设备进行人脸识别，云端存储历史数据。

• 案例分析

  • 案例1：某工厂的边缘计算安防系统，实时监控设备状态。

  • 案例2：某智能社区的端云结合解决方案，提升居民安全。

• 行业项目分享

  • 主题：端云结合在安防中的项目实践。

• 未来趋势

  • 新兴技术：5G/6G与AI的结合在AI中的潜力。

  • 伦理与隐私：如何平衡技术进步与数据保护。

• 互动环节：学员提问与讨论。

讲师介绍

拥有超过15年的算法研究与实践经验。曾在世界五百强企业英特尔公司担任算法高级架构师，担任中国电子系统技术有限公司的算法Leader，高性能计算技术专家，是一位经验丰富且技术精湛的资深AI基础设施操盘手。他拥有超过十年的高性能计算喝算法研究和实践经验，曾在英特尔公司担任高性能计算架构师，并在多家500强企业中担任高性能计算和系统架构负责人。头部机器人公司担任视觉算法总架构师，直接参与了移动复合机器人和协作机器人的开发工作，通过引入大模型技术，成功地赋予了机器人自主导航、环境感知和决策规划的能力。并在高性能计算、人工智能和深度学习领域有着丰富的项目经验和卓越的技术能力，特别擅长高性能计算、图像处理、计算机视觉以及大规模计算系统的设计与优化，获得多项专利和荣誉。 华中科技大学硕士，曾在多个国家重点实验室及顶尖企业从事高性能计算及算法研发工作，领导并参与了多个重大项目的开发和实施。

工作经历

2006年，英特尔上海国际实验室，高性能计算系统架构设计，大型并行图形系统的架构与设计开发；

2009年，头部安全公司，并发与安全架构和视频监控系统设计，公安安全系统的架构设计与开发；

2012年，大型通信集团，大型应急通信系统和视频安全监控设计，确保了系统的安全性和可靠性；

2016年，大数据公司，企业家数据的数据安全和系统安全设计，多家公司设计和实施了信息化安全管理方案，大规模数据的分析和优化；

2019年，大型央企，GPU、CUDA与算力平台：深入研究并应用了GPU和CUDA技术，开发了多种高效的深度学习模型，广泛应用于图像和视频分析、目标检测和分类等领域；应用调优与性能监测：在项目管理和研发过程中，带领团队完成了多个智能视频分析引擎和智能办公引擎的开发，擅长对复杂算法进行性能优化和实时监测，确保系统的高效运行；算力调度管理与网络调优：在多个大型项目中，成功实现了算力调度管理系统的设计与实施，具备出色的网络调优能力，能够优化高性能计算环境下的资源利用率和系统稳定性。

2022.10，头部机器人公司，移动复合机器人和协作机器人的开发，移动复合机器人的开发，在移动复合机器人的研发过程中，我主要负责了智能导航与控制系统的设计与实现。通过引入大模型技术，我们成功地赋予了机器人自主导航、环境感知和决策规划的能力。

1. 环境感知与建模：利用大模型对传感器数据进行高效处理和分析，机器人能够实时构建周围环境的精确三维模型，为后续的路径规划和避障提供有力支持。

2. 智能导航算法：结合大模型的强化学习算法，我们训练出了能够在复杂环境中灵活导航的机器人。这些机器人能够根据实时路况调整行进路线，确保任务的顺利完成。

3. 人机交互体验：借助大模型在自然语言处理方面的优势，我们实现了机器人与操作人员之间的流畅对话，极大提升了用户体验和工作效率。

协作机器人的开发，协作机器人作为新一代工业机器人，强调与人类工人的安全协同作业。在这一领域，我主要聚焦于通过具身智能提升机器人的灵活性与适应性。

1. 智能抓取与装配：利用大模型对物体形状、重量及材质等信息的快速识别与处理，协作机器人能够准确抓取并灵活装配各种工件，大幅提高了生产效率和质量。

2. 自适应学习能力：通过引入深度学习技术，我们使协作机器人具备了自适应学习能力。它们能够在实际工作中不断积累经验，自动优化作业策略以应对复杂多变的生产环境。

专业能力

并行计算和高性能计算；

深度学习模型设计和优化；

多模态大模型应用设计；

GPU与CUDA编程；

城市大脑与智能交通；

工业机器人和复合机器人大模型；

数据挖掘与运行优化；

国产信创环境适配优化；

专利

基于生成式深度学习模型的文本识别模型的生成方法以及装置 (CN202110447608.9)  ；

大型语义分析方法及装置 (CN202110499308.5)  ；

奖项: 荣获2021年度集团优秀解决方案奖  ；

授课经历

重庆大学：深度学习模型在大型物流场景的应用；

头部能源上市公司：大型时序数据预测模型的应用；

头部音视频公司：图形和视频大模型的应用；

百度合作：分拣实训和智能眼实训；

985高校：机器学习与数据挖掘分析；

主讲课程

《高性能图形图像计算与算法》

《计算机视觉中的图像处理技术》

《视觉和多模态大模型应用》

《具身智能与多模态大模型应用》

《机器学习中的知识自学习与数据优化挖掘》

《大规模分布式系统设计与实现》

《GPU、CUDA与算力模型应用实战》

《华为昇腾芯片下的大模型迁移和训练课程》

10年+产品和技术负责人，熟悉大模型相关技术；NLP深度学习(熟悉bert、LSTM等主流NLP网络)，CV深度神经网络算法；hadoop、spark 等大数据相关（PB级数据）、数字孪生相关、自然语言处理类、推荐类、传统技术（开发语言Java/Python等、框架、数据库、中间件）。

• 大模型开发：十分熟悉文本生成、图像生成算法，以及清华大模型 chaglm、chatgpt、文心一言、通义千问、百川，并能结合实际应用于项目中；如机器人（问答、翻译）、无人机无人车自动驾驶、自动解选择题、3D模型自动生成平台+仿真平台（大模型）等。

• 产品设计思维：能够合理布局产品线，规划技术路线和方案，建立企业的行业技术壁垒；在人工智能类产品的商业模式、行业创新方面有自己的见解和成功案例。能够结合技术对产品有独到的设计和方案。熟悉原型设计、PRD设计。对产品商业模式设计、产品推广方案有独到见解。

• 两次创业：熟悉融资过程、投资的逻辑、路演过程。

• 知识图谱：熟悉知识库行业，熟悉企业征信评估、信用卡欺诈分析、风险评估、贷款审核、反洗钱等业务；在企业知识图谱、中国知网、专利申请，也有相关实践。为民营银行、华夏银行等公司研发过相应产品。金融方面研发过P2P客服机器人、理财产品推荐系统、理财获客算法、基金知识图谱等各种推荐类、决策类产品

• 10年+产品和技术负责人，熟悉大模型相关技术；NLP深度学习(熟悉bert、LSTM等主流NLP网络)，CV深度神经网络算法；hadoop、spark 等大数据相关（PB级数据）、数字孪生相关、自然语言处理类、推荐类、传统技术（开发语言Java/Python等、框架、数据库、中间件）。

能够将各类技术应用新科技产品中，并发挥商业作用。

掌握相关技术

大模型相关技术：

AIGC (图像)：stable diffusion、shapeE

综合大模型：百川、Chatglm、chatgpt、LLaMA大模型、langchain、向量数据库、prompt工程、agentAI开发

大模型训练：Prefix Tuning、Prompt Tuning、P-tuning v2、 Adapter LoRA 

NLP相关技术

自然语言处理类：条件随机场、LSTM、LDA、CNN、RNN、BERT、XLnet

CV相关技术：

深度学习：YOLO v5-v10；resnet；unet；AAnet（深度估计）、deepsort（跟踪）

图像自动分割、自动标注： segment anything、CVAT、medsam

模型部署：量化、剪枝、蒸馏。对NX、瑞星微3588等常用嵌入式芯片有一定了解。

大数据类（熟练掌握）：

数据采集类：sqoop、kettle、flume、datax、streamset；

数据仓库类：hadoop、Hive、kudu、hbase、clickhorse；

实时计算引擎： spark（离线）、spark streaming、flink；

数据分析： impala、presto、kylin；数据质量管理：Atlas、griffin；流程调度：DophinScheduler。

工作经历

2023.10-至今 析易平台 北京环球奇迅技术有限公司 创始人

主要工作：算法开发、产品销售模式设计、产品推广方案

最近主要研究大模型在论文写作、科研方面的项目应用，对新的大模型技术进行研究。如：、问答题目及答案生成（NLP大模型算法）、数字人教学、综述写作辅助（NLP大模型算法）、科研仿图算法（多模态大模型）

主要产品有：

1、论文写作

2、大模型科研仿图

3、漫画生成系统

4、大模型数据识别与采集

广泛应用于各大医院、高校等场景，并有相关培训课程和产品体系

2023.05-2023.10 联合飞机 智能研究院负责人

企业介绍：成立2012年，无人机行业的龙头企业，刚刚完成D轮20亿融资。计划成立智能研究院，主要完成无人机、无人车的自动驾驶、大模型在无人机项目的应用等项目。

所属部门：智能研究院 汇报对象：常务副总裁 下属人数：45 工作地：深圳 

工作描述：

1. 智能研究战略目标制定；完成产品定位，与无人机结合方案；制定年度研发计划。

2、完成对外发布会、宣传资料、专利资料的制作；完成与各个行业生态厂商、大学、科研院所的合作。

3、建立大模型平台的产品设计与开发、完成自动标注、3D 生成、AIGC 训练数据生成等平台型产品。

4、大模型的算法和训练的实现，包括P-Tuning、Prefix Tuning、Adapter、LoRA；知识库及agent开发

主要项目：

1、铁路巡检运维助手（NLP算法、大模型）

功能：自动回答铁路巡检相关问题，寻找先法规、接入标准等

技术： chatglm、langchain、向量数据库

2、电力缺陷数据生成（大模型）

功能：通过文字描述自动生成电塔上的各类缺陷

技术： 图像处理、 AIGC 图像生成、stable diffusion

3、3D模型自动生成平台+仿真平台（大模型）

功能：利用语言描述自动生成3D模型

技术栈： 大模型、 shapeE、数字孪生、仿真

4、大模型自动标注平台（多模态大模型）

功能：利用大模型对数据进行自动标注

技术：segmenanything、传统视觉算法

5、电力缺陷检测（多模态算法、深度学习、嵌入芯片部署）

功能：目标识别 、缺陷检测

技术： yolo v8、量化、剪枝、蒸馏

6、无人机--违章建筑识别（CV算法、深度学习、嵌入芯片部署）

功能：目标识别 、缺陷检测

技术栈：yolo v8

7、无人机—跟踪无人机（CV算法、深度学习、嵌入芯片部署）

功能：目标识别 、目标跟踪

技术栈：yolo v8、depsort

8、无人机、无人车—电力自动巡检、移动平台降落技术（数字孪生、强化学习）

功能：无人机降落在移动的汽车上，车为无人车、数字孪生

技术栈：深度强化学习（DQN）、控制算法、物理方程、博弈论、GIS

2020.09-2023.05 北京兰亭集智技术有限公司 CTO

企业介绍：公司主要从事科研论文、深度学习、大模型的云平台开发。

工作描述：

1、亲自完成公司产品研发、产品设计、项目实施等工作，亲自撰写攻坚代码。

2、制定公司产品的商业模式、产品线方向，对外争取更多商业项目完成公司利润目标。

3、创立一套人工智能培训教程、基于大模型的论文工具箱等教程。

4、最多带领50人团队，完成各类对外的人工智能项目。

主要项目：

1、金融决策平台（大模型+NLP）

功能：量化分析、欺诈交易分析、反洗钱等模块。

技术栈：大模型、bert

2、银行单据审核系统（多模态大模型+NLP）

功能：对汇款单据、发票进行审核

技术栈：知识图谱关系抽取、智能语义分析、情感口碑分析、卡证OCR识别等智能算法的研发。

3、大模型代码云平台（大模型）

功能：用户上传图片生成相关的R语言或python代码

技术栈： 大模型代码生成、LORA训练

4、论文通云平台（多模态大模型）

功能： 基于大模型的各类论文辅助工具，包括：选题、降重、文献理解等

技术栈： agent 开发、preompt工程、P-tuning v2

5、机器学习之家（大数据分析与建模云平台）

功能：一个类似阿里机器学习平台的算法中台，能够完成数据清洗、特征工程、各类机器学习算法、深度学习算法等。有专门的培训视频和教材。

技术栈：sklearn、逻辑回归、随机森林、决策树、LightGBM、XGBoost

6、智能家居音箱（基于chatglm大模型）

功能：通过音箱控制家中的窗帘、电灯、玻璃（显示屏）

技术栈：语音识别、自然语言处理、物联网、chatglm

7、扫地机器人自主规划算法、避障算法

功能：自动路线规划、自主避障

技术栈：slam、规划算法、嵌入式部署

8、宗教文案、图片系统 （基于chatgpt大模型）

功能：根据描述生成组图片

技术栈：chatgpt、stale diffusion

9、llama大模型客服机器人（大模型）

功能：回答培训中的问题

技术栈：agent 开发、preompt工程、向量数据库

2019.12- 2020.09 元知智能研究院（合生集团下属） 研究院技术负责人

企业介绍：合生集团打造的重点研究院，公司对标阿里达摩院，由著名人工智能专家姚期智站台，重资产打造的sophia平台（对标百度智能云）包含了文本、图形、推荐算法等各类智能服务，服务于智慧园区；主要产品是无人车、机器人。

所属部门：研究院 汇报对象：CEO 下属人数：80(最多） 工作地：北京 

工作描述：

1. 公司团队的建立、原团队的迁移。

2. 产品设计、定位、规划。

3. 亲自完成重点机器学习、深度学习算法的研发、算法调优。

4、研究院与公司其他板块的业务融合，及赋能方案制定。

5、研究院对外宣讲、对外技术生态合作。

6、完成相关的研发任务，建立智能平台、园区管理系统。

主要项目：

1、理财客服机器人

功能：回答各类金融理财问题

技术栈： 知识图谱、NLP

2、企业风险评估

功能：对企业经营风险、资本风险、财务风险进行评估

技术栈： 知识图谱、NLP、舆情系统

3、合生智慧园区大数据平台（与合生汇结合O2O、大数据）

功能：园区数据采集（物业、能源）、园区机器人、园区数字孪生、园区3D模型、园区人流分析、园区违章停车、园区物联网（门禁、识别、停车、娱乐）、商场客流分析、商场消费分析、消费智能推荐系统

技术： thingjs、hadoop、spark、Spark Mllib、impala物联网、FFM推荐算法、召回、粗排、精排。

4、sophia算法云平台

功能：类似百度智能云平台

技术：语音识别、语义分析、自然语言处理。

5、合生汇电商平台

功能：O2O电商

技术：java spring cloud、微服务。

2015.08- 2019.09 中发智能（中发集团下属） 副总裁（主管产品）

企业介绍：集中地产、文旅、智能制造一体的集团。主要服务于智慧园区、智慧工厂；主要产品包括：无人巡检车、大数据分析等

所属部门：技术中心 汇报对象：CEO 下属人数：150(最多） 工作地：北京 

工作描述：

1. 定制公司整体技术方向，技术合作路线，完成新老团队融合，培训老团队新技术，提高其技术水平。

2. 大数据技术实现、架构设计；重点项目的技术攻关，算法编写。

3. 产品原型设计、PRD设计。

4、完成对内对外的产品宣讲、产品发布、产品的售前售后体系建立。

5、制定全公司技术团队的绩效考核标准、实行科学化管理。

主要项目：

1、智慧路灯大数据平台(大数据、数字孪生)

功能：对路灯安装各类传感器，进行天气、温度、人流的分析。附加广告、广播、充电、上网等多种功能。路灯数字孪生系统。

技术：嵌入开发、物联网协议对接、硬件设计、hive、麒麟。

路灯数字孪生系统：路灯的3D地图、路灯的远程控制（包括：电力、广播、视频等）、地区热力图。

2、数字孪生工厂(大数据、数字孪生)

功能：显示工厂实时信息、建立数字孪生工厂、对各类故障进行智能诊断

技术： hive（数据仓库）、spark（离线分析）、spark streaming（实时分析）、kudu（实时查询）、kylin实时查询、机器学习故障预测模型、缺陷检测

3、智慧园区电器控制

功能： 空调、电器、饮水机、开关等设备智能控制

技术： 嵌入式开发、使用优化算法

4、数字展厅(大数据、数字孪生)

功能：2000平米的数据展厅、各类智能应用展示、包括各类数字、音频控制

技术： 语音识别、VR、裸眼3D、体感互动、数字大屏、电控、拼控服务器

5、中发智能制造电商、元器件交易网（电商）

功能：元器件电商、制造页电商

技术： java spring cloud、微服务。

2013.07 - 2015.08 慈铭健康体检集团股份有限公司 PMO （相当于CTO）

公司介绍：慈铭体检是一家连锁化经营的专业体检机构。成立于2004年，慈铭体检逐步在国内主要城市建立了较为完善的体检服务网络，已经发展为最具全国影响力的健康体检品牌。在国内主要城市拥有63家体检中心，是国内规模较大、覆盖范围较广、年体检量及累计体检量最多的专业体检机构之一，总部设在北京。

工作描述：

1、负责产品设计、研发管理；编写系统核心代码；业务整体方向规划。

2、设计大健康医疗的商业模式

2、研究大数据和人工智能技术开展智慧医疗项目

主要项目：

1、医疗大数据分析云平台（大数据）

功能：数据清洗、数据治理、数据查询分析模块

技术：hadoop+spark+kylin

2、医疗影响辅助诊断（CV算法、深度学习）

功能：对影响中的肿瘤照片进行辅助识别

技术：深度学习、目标检测算法

2009.06 - 2013.07 同方知网技术有限公司 总工助理（主管产品）

公司介绍：中国知网（CNKI）是全球最大的中文文献搜索网站 ，拥有自己的人工智能研究院从文本分析、自然语言处理、用户行为分析、图像搜索。

职责描述：

1、负责互联网产品的战略规划，公司整体产品线设计与规划。

2、主管内部研发团队和算法团队。

3、查重产品方案的提出与设计。

主要项目：

1、图像搜索（文本NLP算法+图像算法）

功能：根据图像搜索匹配相似图像，用于电路、设计图纸的匹配，专利查重

技术：图像纹理提取 LBP算法、surf算法

2、抄袭检测系统（文本NLP算法+图像算法）

功能：对文章进行查重检测，本项目此后为全国知名产品，每年为知网带来几个亿的收入。

技术：NLP、分词、词性标注、句子结构标注、向量匹配、CRF。