2024寒假线下科研·北京：菁英项目：人工智能 ChatGPT的算法原理：基于深度学习的Bert, Transformer等预训练大模型研究及其在智能会话等自然语言处理系统中的应用【大学组】

阅读 1046

2023-12-16

　　营地地点：北京外国语大学国际会议中心

　　开始日期: 2024-01-12

　　课时安排: 2周专业预修与在线科研+10天面授科研+5周在线论文指导

　　适合人群

　　适合年级 (Grade): 大学生及以上

　　适合专业 (Major): 计算机科学、人工智能、软件工程、语言学等专业或者希望修读相关专业的学生;

　　学生需要具备初等线性代数基础，至少会使用一门编程语言实现如贝叶斯分类器等经典机器学习算法，有深度学习项目开发经验的申请者优先

　　导师介绍

　　Pavlos

　　哈佛大学 Harvard University项目主任

Pavlos

　　Pavlos导师现任哈佛大学应用计算科学研究所(IACS)项目主任，负责把控计算机科学、工程与数据科学专业的研究生培养方案与课程体系，教授数据科学核心课程。曾担任国家可扩展集群项目(NSCP)的副主任，这是在网格模型上进行大规模分布式计算的最初尝试之一。同时，在哈佛 - 史密松天体物理中心担任过研究员，并担任由哈佛大学创新计算项目启动的“时间序列中心”的子项目的高级科学家、项目负责人。Pavlos is the Scientific Program Director at the Institute for Applied Computational Science at the Harvard John A. Paulson School of Engineering and Applied Sciences. As Scientific Program Director, he directs the educational program of the institute, overseeing the curriculum of the master’s programs in computational science and engineering and data science, teaching core data science courses, and mentoring master’s students and advising Ph.D. students in related fields. His research topics include many areas of machine learning and data science, especially classification, probabilistic graphical modeling, and time series analysis. From 2005 to 2013, he was at the Harvard-Smithsonian Center for Astrophysics. Previously, he was the associate director of the National Scalable Cluster Project, initiating one of the first ever attempts of using large-scale distributed computing on a grid-like model.

　　任职学校

　　哈佛大学(Harvard University)始建于1636年，是一所享誉世界的私立研究型大学，也是常春藤盟校成员。哈佛大学在学术界享有崇高的地位，并且在世界范围内具有广泛的社会影响力。哈佛大学孕育了8位美国总统，158位诺贝尔奖获得者(世界第一)和18位菲尔兹奖得主(世界第一)，在2019/2020年U.S.News世界大学排名中位列第一，2018年QS世界大学计算机科学以及电子工程专业排名位列第六。

　　项目背景

　　“You are what you say.”语言是思维的表达，思维是语言的内容。思维和语言是人类意识的集中体现，更是人与机器的分野。长久以来，人工智能依然停留在“弱人工智能”的阶段，无法等同于人类智能，核心原因在于算法无法帮助机器“理解语义逻辑”。也就是说，“人工智能如果不能使用自然语言作为知识的表示基础，人工智能就实现不了实质的跨越。”因此，旨在让机器以有价值的方式阅读、解密和理解人类语言，实现人机互动的自然语言处理，是人工智能、机器学习的核心研究对象，具有重要的行研价值和广阔的发展空间。自然语言处理科学家更是高精尖科技企业争相抢夺的对象。自然语言处理的具体应用包括谷歌语音识别、科大讯飞自动翻译、百度自然语言处理平台等等。

　　项目介绍

　　项目内容包括线性回归、逻辑回归、决策树、SVM机器学习算法和自然语言处理中的文本分类问题。学生将深入探究Word2Vec词向量嵌入、Doc2Vec文本向量生成、基于LSTM和其他RNN的分类算法，了解RNN模型缺陷以及基于Attention的Transformer语言模型如何弥补这些缺陷。学生将在项目结束时，提交个性化研究课题项目报告，进行成果展示。

　　个性化研究课题参考：

　　基于双向LSTM语言模型的多义词消歧

　　根据推文内容语义与语言习惯分析判断用户所在城市

　　发表基于NLP的微博内容调查报告

　　评估句子片段幽默程度的自注意力算法优化

　　In this course, you will be taken from basic topics of neural networks to advanced topics such as auto-encoders and transfer learning. We will review the topics covered in [AI-1], feedforward networks, gradient descent etc and then dive into convolutional neural networks, transfer learning, and auto-encoders.

　　项目大纲

　　自然语言处理及深度神经网络 Introduction to Language Modeling and DNN

　　Word2Vec模型词嵌入 Word embeddings using the Word2Vec model

　　Doc2Vec: 文档的向量化表示 Doc2Vec: vectorized representation of documents

　　数据驱动的分类算法与循环神经网络和长短期记忆网络 Data-driven classification algorithms; recurrent neural networks and LSTM

　　循环神经网络的缺陷;基于Attention的Transformer模型 Drawbacks of RNNs; attention-based transformers

　　精度优化 SOTA

　　基于迁移学习的语言模型Transfer Learning for Language Models

　　项目回顾与成果展示 Program Review and Presentation

　　论文辅导 Project Deliverables Tutoring

　　项目收获

　　2周专业预修与在线科研+10天面授科研+5周不限时在线论文指导