The Foundation of Large Language Models (LLMs)
The large language models (LLMs) are reshaping our world. The basic knowledge of LLMs includes: language models, deep neural networks, attention mechanisms, Transformer models, etc. This course will provide a detailed explanation of the above knowledge and introduce the cutting-edge research and applications of large language models.
讲师
日期
2024年03月25日 至 06月24日
位置
| Weekday | Time | Venue | Online | ID | Password |
|---|---|---|---|---|---|
| 周一,周三 | 13:30 - 15:05 | A3-1-301 | ZOOM 13 | 637 734 0280 | BIMSA |
修课要求
Computer Science, Machine Learning, Python
课程大纲
1. n-gram Language Model
2. Deep Learning
3. Neural Language Model
4. word2vec
5. Seq2seq-Attention
6. Transformers
7. BERT
8. GPT-2 and GPT-3
9. ChatGPT
10. Text2Image - Diffusion Model
11. Prompt Engineering
12. AIGC
2. Deep Learning
3. Neural Language Model
4. word2vec
5. Seq2seq-Attention
6. Transformers
7. BERT
8. GPT-2 and GPT-3
9. ChatGPT
10. Text2Image - Diffusion Model
11. Prompt Engineering
12. AIGC
参考资料
[1] C. D. Manning, H. Schüte. 1999. Foundations of Statistical Natural Language Processing. The MIT Press.
[2] D. Jurafsky, and J. H. Martin. 2000.Speech and Language Processing, Prentice Hall, 2000（冯志伟，孙乐译，自然语言处理综论, 电子工业出版社）
[3] 冯志伟，自然语言处理的形式模型，中国科学技术大学出版社
[4] 宗成庆，统计自然语言处理(第2版)，清华大学出版社
[2] D. Jurafsky, and J. H. Martin. 2000.Speech and Language Processing, Prentice Hall, 2000（冯志伟，孙乐译，自然语言处理综论, 电子工业出版社）
[3] 冯志伟，自然语言处理的形式模型，中国科学技术大学出版社
[4] 宗成庆，统计自然语言处理(第2版)，清华大学出版社
听众
Undergraduate
, Advanced Undergraduate
, Graduate
视频公开
公开
笔记公开
公开
语言
中文
, 英文
讲师介绍
谢海华2015年在美国爱荷华州立大学取得计算机博士学位，之后在北京大学数字出版技术国家重点实验室担任高级研究员和知识服务方向负责人，于2021年10月全职入职BIMSA。他的研究方向包括：自然语言处理和知识服务。他发表论文数量超过20篇，拥有7项发明专利，入选北京市高水平人才项目并当选北京市杰出专家。