大语言模型开发与训练

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

课程大纲

第一天：基础知识与初步实践

上午：理论基础与工具准备

1. 欢迎与介绍

培训目标和内容概述

参与者自我介绍与期望

2. 大语言模型概述

2.1什么是大语言模型（LLM）

定义与基本概念

介绍Transformer架构及其在自然语言处理中的重要性

2.2 LLM的应用场景和优势

介绍LLM在文本生成、翻译、问答系统、文本摘要等方面的应用

主要的LLM架构

GPT（Generative Pretrained Transformer）

GPT2和GPT3的区别与应用实例

BERT（Bidirectional Encoder Representations from Transformers）

BERT的双向编码器架构及其在自然语言理解任务中的应用

其他知名架构（如T5、RoBERTa等）

2.3 简要介绍这些模型的特点与应用场景

2.4实例展示

使用预训练模型生成文本（如GPT3）

现场演示如何使用OpenAI的GPT3 API生成文本，并展示其效果

3. 开发环境准备

3.1必要的开发工具和库

Python编程语言及其在数据科学与机器学习中的重要性

TensorFlow与PyTorch框架的比较与选择

Hugging Face Transformers库的功能与优势

3.2环境搭建与配置

Jupyter Notebook安装与配置

安装Anaconda或直接安装Jupyter Notebook

配置虚拟环境以便隔离项目依赖

相关库的安装（如`transformers`, `datasets`, `scikitlearn`）

使用pip安装所需的Python库，并确保环境配置正确

3.3实践操作：环境配置和测试

运行一个简单的预训练模型示例

加载并运行一个简单的预训练模型（如DistilBERT），确保环境配置无误

下午：数据处理与自动打标签

4. 数据预处理

4.1数据收集与清洗

从电商系统导出产品数据和文章数据

介绍如何通过API或数据库导出电商数据

4.2 数据清洗和处理（去重、去噪、填补缺失值等）

使用Pandas进行数据清洗操作，展示具体代码实例

4.3数据格式与存储

常见数据格式（JSON、CSV、SQL等）

讲解每种格式的优缺点及其适用场景

4.4数据库的使用与管理

使用SQLite或其他数据库进行数据存储与管理

4.5数据处理工具与方法

Pandas用于数据处理

详细讲解Pandas的基本操作（如DataFrame的创建、读取、过滤、转换等）

NLTK用于自然语言处理

介绍NLTK库的功能，如分词、词性标注、命名实体识别等

4.6实践：数据预处理操作

使用Pandas加载并处理数据集

现场操作，展示如何用Pandas加载CSV文件并进行数据处理

简单的数据清洗与转换

实现数据去重、处理缺失值等操作

5. 自动打标签

5.1自动打标签的概念与重要性

介绍标签在机器学习和数据挖掘中的作用

讲解自动打标签在电商中的具体应用

5.2标签方法与策略

基于规则的方法

介绍正则表达式和关键字匹配的基本概念与应用

基于机器学习的方法

使用分类模型（如Logistic回归、SVM等）进行标签预测

5.3实践：对电商系统的产品数据和文章数据进行打标签

使用预训练模型进行文本分类

加载预训练的文本分类模型，并应用于实际数据

标签数据的生成与存储

将生成的标签保存到数据库或文件中

5.4案例分析与讨论

成功案例分享

介绍一些企业成功实施自动打标签的案例

常见问题与解决方案

分析在打标签过程中可能遇到的问题，并提出解决方案

第二天：系统构建与实战开发

上午：系统标签体系建设与模型训练

6. 系统标签体系建设

6.1标签体系设计原则

标签的标准化与一致性

介绍如何设计标准化的标签体系，确保标签的一致性和可维护性

标签的层级结构

讲解如何设计层级标签体系，便于管理和使用

标签的层级结构与管理

标签的定义与维护

使用Excel或数据库进行标签管理

标签的版本控制

介绍标签版本控制的必要性及其实现方法

6.2实践：构建一个简单的标签体系

设计并实现标签层级结构

现场操作，展示如何设计和实现一个标签体系

为电商数据建立标签体系

将设计好的标签体系应用于实际的电商数据

7. 大语言模型的数据训练

7.1训练数据的准备与处理

数据标注与分割

介绍如何标注数据，并进行训练集、验证集和测试集的划分

训练集、验证集与测试集的划分

使用scikitlearn的`train_test_split`函数进行数据划分

7.2模型训练的步骤与注意事项

预训练模型的选择与使用

介绍如何选择适合任务的预训练模型，并加载使用

超参数调优

讲解模型训练中的超参数调优技巧

7.3实践：使用示例数据集进行模型训练

加载预训练模型（如BERT、GPT）

现场操作，展示如何加载并微调预训练模型

在特定任务上进行微调（如文本分类、标签生成）

实现文本分类任务的微调训练

7.4模型评估与优化

模型性能评估指标（如准确率、召回率、F1得分）

讲解常用的模型评估指标及其计算方法

模型优化方法（如早停、学习率调整）

介绍模型优化的常用方法，并展示具体实现

7.5实战操作：训练与优化

实时监控训练过程与结果

使用TensorBoard等工具实时监控训练过程

调整参数与重新训练

现场演示调整超参数并重新训练模型

下午：人机对话系统与综合实战

8. 基于大语言模型的人机对话系统

人机对话系统的基本原理

对话管理与状态追踪

介绍对话管理的基本概念与实现

自然语言生成（NLG）

讲解自然语言生成的基本原理及其在对话系统中的应用

实践：构建一个简单的对话系统

使用预训练模型（如DialoGPT）进行对话生成

加载DialoGPT模型并实现简单的对话生成

集成对话系统与电商平台，实现在电商系统中进行搜索与下单操作

现场演示如何将对话系统与电商平台集成，实现自动下单

9. 综合实战

任务描述：构建一个完整的系统，实现从自动打标签到人机对话的全流程

详细描述综合实战任务的目标和要求

分组实践：每组负责一个子任务

数据预处理

标签体系建设

模型训练

对话系统开发

每组成员分工合作，完成各自负责的任务

系统集成与测试

各组任务的集成

将各组完成的任务集成到一个完整的系统中

系统功能测试与优化

进行系统测试，确保各部分功能正常，并进行优化

10. 总结与答疑

讨论与反馈

参与者分享培训体验与收获

讲师总结培训内容与重点

Q&A环节

回答参与者的问题，解决实际操作中的困惑

后续学习资源推荐

提供相关学习资料与资源，帮助参与者继续深入学习

期望结果

参与者对大语言模型开发与训练有基础的了解

参与者能够实际操作并实现基本的大语言模型任务

参与者能够结合电商系统的需求进行标签体系建设与人机对话系统的开发

注意事项

确保培训期间有足够的实践时间，强调动手操作

提供技术支持与指导，确保每个参与者能够顺利完成任务

实时调整培训节奏，根据参与者的反馈与需求进行优化

通过这个详细的大纲，参与者将能够在两天内掌握大语言模型的基本开发技能，并应用于具体的电商场景，完成自动打标签、标签体系建设、模型训练以及人机对话系统的开发任务。

李老师

李海良简介

李海良，，暨南大学副教授，硕士生导师，九三学社社员，中山大学工学博士香港城市大学访问学者，广东工业大学校外合作研究生导师。研究方向为深度学习、图像识别、智慧综合能源和能源大数据。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者发表SCI论文6篇，主持省级课题2项，参与国家自然科学基金1项。长期担任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊审稿人。曾获得第六届全国电子信息科学博士生论坛论文成果汇报二等奖（2017），第七届全国电子信息科学博士生论坛论文成果汇报三等奖（2016），2020年12月在INSCRYPT 2020 国际会议担任Session chair。

2018年获得中山大学工学博士学位，2019年至2021年在暨南大学网络安全学院做博后，合作导师为密码学与信息安全领域专家、国家杰青翁健教授。

擅长操作系统和数据库的安全配置，针对注入式、篡改、伪造、流量分析以及窃听等主流攻击方式有深入研究，在人工智能领域，针对对抗样本攻击与防御方面发表多篇SCI论文。

曾参与基于联邦学习的广东海关数据隐私保护系统的研发工作，参与暨南大学与金山毒霸的校园网攻防安全软件的研发工作

参与基于视频图像安全的珠海电力局电缆防外破项目

参与东软集团社保系统和医院管理系统的研发工作

曾经为广东移动、深圳市电力局、肇庆学院、岭南师范学院、华南农业大学、东莞城市学院、电子科技大学中山学院以及郑州航空工业管理学院等知名企业院校提供培训服务，积累了大量的行业培训项目经验。

擅长主讲课程：

《人工智能》《计算机网络》《网络与信息安全》《软件工程》《物联网》《大数据和数据科学》 《网络安全》 《互联网与人工智能》 《网络信息安全与数据安全》 《 高级计算机系统结构》 《物联网技术》 《 云计算与大数据算法设计》 《软件工程》 《 研究方法论》 《物联网技术与发展趋势 《网络空间安全前沿问题研究》 《智能人机交互》 《高级人工智能》 《大数据科学应用》 《信息安全》 《高级软件工程》 《高级算法设计与分析》

获奖经历：

2015年8月 第六届全国电子信息科学博士生论坛论文成果汇报二等奖

2016年8月 第七届全国电子信息科学博士生论坛论文成果汇报三等奖

2020年12月 INSCRYPT 2020 Session chair

学习经历

2014年9月-2018年6月，中山大学，信息与通信工程，博士研究生

2017年7月-2017年9月，香港城市大学，访问学者

工作经历

2019年2月至2021年2月，暨南大学信息科学技术学院，博士后

研究方向

基于注意力机制的神经网络，智慧综合能源和能源大数据。

主要论文

1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles，IEEE Transactions on Neural Networks and Learning Systems，vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1区,IF:10.451,TOP期刊

2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1区，IF:12.975，TOP期刊

3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images，Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引，第一作者，影响因子：4.314

4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images，Scientific Reprots,(2018) 8:6600，SCI索引，第一作者，影响因子：4.379

5.张宇,李海良*.基于RSA的图像可识别对抗攻击方法[J].网络与信息安全学报,2021,7(05):40-48.通信作者，中国科技核心期刊

承担课题

1. 基于注意力机制的安全性图像识别模型研究与应用，2021广东省普通高校特色创新项目，主持，17.12万元，项目编号：2021KTSCX006；

2. 基于 AIOT 的多维视觉下电力施工人员工作监控与管理系统，广东省科技创新战略专项资金，主持，2万元，项目编号：PDJH2021b0058；

社会职务

广东工业大学，校外合作硕士生导师

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com