BERT模型与Transformer模型原理及工程化实践经验

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

课程大纲：

一、课程介绍（30分钟）

1. 课程目标与期望

2. 自然语言处理（NLP）概述

3. BERT与Transformer在NLP中的地位与应用

二、自然语言处理基础（1小时）

1. NLP定义与任务分类

2. 文本表示：从词袋模型到词嵌入

3. 序列模型：RNN、LSTM与GRU

三、Transformer模型原理（1.5小时）

1. Transformer模型简介

2. 自注意力机制（Self-Attention）

- 注意力机制概述

- 自注意力机制的计算过程

- 多头自注意力（Multi-Head Attention）

3. 位置编码（Positional Encoding）

4. 编码器（Encoder）与解码器（Decoder）

- 编码器结构

- 解码器结构

- 编码器-解码器交互

四、BERT模型原理（1.5小时）

1. BERT模型简介

2. BERT的预训练任务

- 掩码语言模型（Masked Language Model, MLM）

- 下一个句子预测（Next Sentence Prediction, NSP）

3. BERT模型架构

- Transformer编码器堆叠

- 输入与输出表示

4. BERT的微调与应用

- BERT微调策略

- BERT在NLP任务中的性能与应用案例

五、BERT与Transformer的工程化实践经验（2小时）

1. 环境搭建与准备

- Python环境配置

- 深度学习框架（如TensorFlow或PyTorch）的安装

- 文本处理库（如NLTK、jieba等）的安装

2. 数据预处理

- 数据清洗与标准化

- 分词与编码

- 数据集划分

3. 模型训练与优化

- 加载预训练模型

- 微调BERT或Transformer模型

- 超参数调整与模型优化

4. 模型评估与部署

- 评估指标与评估方法

- 模型保存与加载

- 模型部署策略与工具

5. 工程化挑战与解决方案

- 计算资源优化

- 模型压缩与加速

- 分布式训练与部署

六、实战演练与案例分析（30分钟）

1. 使用BERT或Transformer进行NLP任务的实战演练

2. 案例分析：BERT与Transformer在特定任务中的工程化实践

七、课程总结与未来展望（30分钟）

1. 课程内容总结

2. BERT与Transformer的优缺点与局限性

3. NLP领域的未来趋势与新技术展望

4. 学员提问与讨论

李老师

李海良简介

李海良，，暨南大学副教授，硕士生导师，九三学社社员，中山大学工学博士香港城市大学访问学者，广东工业大学校外合作研究生导师。研究方向为深度学习、图像识别、智慧综合能源和能源大数据。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者发表SCI论文6篇，主持省级课题2项，参与国家自然科学基金1项。长期担任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊审稿人。曾获得第六届全国电子信息科学博士生论坛论文成果汇报二等奖（2017），第七届全国电子信息科学博士生论坛论文成果汇报三等奖（2016），2020年12月在INSCRYPT 2020 国际会议担任Session chair。

2018年获得中山大学工学博士学位，2019年至2021年在暨南大学网络安全学院做博后，合作导师为密码学与信息安全领域专家、国家杰青翁健教授。

擅长操作系统和数据库的安全配置，针对注入式、篡改、伪造、流量分析以及窃听等主流攻击方式有深入研究，在人工智能领域，针对对抗样本攻击与防御方面发表多篇SCI论文。

曾参与基于联邦学习的广东海关数据隐私保护系统的研发工作，参与暨南大学与金山毒霸的校园网攻防安全软件的研发工作

参与基于视频图像安全的珠海电力局电缆防外破项目

参与东软集团社保系统和医院管理系统的研发工作

曾经为广东移动、深圳市电力局、肇庆学院、岭南师范学院、华南农业大学、东莞城市学院、电子科技大学中山学院以及郑州航空工业管理学院等知名企业院校提供培训服务，积累了大量的行业培训项目经验。

擅长主讲课程：

《人工智能》《计算机网络》《网络与信息安全》《软件工程》《物联网》《大数据和数据科学》 《网络安全》 《互联网与人工智能》 《网络信息安全与数据安全》 《 高级计算机系统结构》 《物联网技术》 《 云计算与大数据算法设计》 《软件工程》 《 研究方法论》 《物联网技术与发展趋势 《网络空间安全前沿问题研究》 《智能人机交互》 《高级人工智能》 《大数据科学应用》 《信息安全》 《高级软件工程》 《高级算法设计与分析》

获奖经历：

2015年8月 第六届全国电子信息科学博士生论坛论文成果汇报二等奖

2016年8月 第七届全国电子信息科学博士生论坛论文成果汇报三等奖

2020年12月 INSCRYPT 2020 Session chair

学习经历

2014年9月-2018年6月，中山大学，信息与通信工程，博士研究生

2017年7月-2017年9月，香港城市大学，访问学者

工作经历

2019年2月至2021年2月，暨南大学信息科学技术学院，博士后

研究方向

基于注意力机制的神经网络，智慧综合能源和能源大数据。

主要论文

1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles，IEEE Transactions on Neural Networks and Learning Systems，vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1区,IF:10.451,TOP期刊

2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1区，IF:12.975，TOP期刊

3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images，Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引，第一作者，影响因子：4.314

4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images，Scientific Reprots,(2018) 8:6600，SCI索引，第一作者，影响因子：4.379

5.张宇,李海良*.基于RSA的图像可识别对抗攻击方法[J].网络与信息安全学报,2021,7(05):40-48.通信作者，中国科技核心期刊

承担课题

1. 基于注意力机制的安全性图像识别模型研究与应用，2021广东省普通高校特色创新项目，主持，17.12万元，项目编号：2021KTSCX006；

2. 基于 AIOT 的多维视觉下电力施工人员工作监控与管理系统，广东省科技创新战略专项资金，主持，2万元，项目编号：PDJH2021b0058；

社会职务

广东工业大学，校外合作硕士生导师

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com