Course Goals

  1. To let students from the three Schools (Engineering、Science and Life Science) to understand fundamental methods of modern data science, deep learning, and deep neural networks (DNNs);
  2. To be able to build and train basic DNNs architectures by supervised, unsupervised, and self-supervised deep learning ;
  3. To be able to apply deep learning algorithms to solve research problems.

Instructors

李子青（Stan Z. Li） 林 涛（Tao Lin）
Stan.ZQ.Li at westlake.edu.cn LinTao at westlake.edu.cn

Teaching Assistants

吴立荣（领队）、夏俊、林海涛、刘梓丞

Course Work Platform

Topics and Schedule

Week Topics Course Work Instructor
1 现代数据分析概要
l  数据表征与机器学习
l  非线性变换与神经网络
l  目标函数与优化 Python & Numpy Fundamentals 李子青
2 预备知识基础
l  微积分与最优化
l  线性代数
l  概率和统计、信息论 PyTorch Tensor Fundamentals, Dataset & DataLoaders 林 涛
3 回归与分类模型
l  回归与分类模型概述
l  线性回归、多项式回归
l  过拟合与欠拟合、正则化方法 Linear regression, Polynomial linear regression 林 涛
4 泛化和模型选择
l  偏差方差分解
l  模型选择 Cross-validation & Model selection 林 涛
5 多层感知机模型
l  感知机与前馈神经网络
l  梯度下降和反向传播 MLP & Backpropagation，Autograd 林 涛
6 深度学习优化简介
l  深度学习优化算法简介
l  深度学习优化技巧简介 Optimizers in Deep Learning 林 涛
7 卷积神经网络与循环神经网络
l  生物视觉系统
l  卷积神经网络
l  循环神经网络 Experiments: train NNs on MNIST for 10-class feature extraction and classification 李子青
8 图神经网络
l  图表征
l  信息汇聚
l  图神经网络 Experiments on GNN/GCN 李子青
9 注意力机制
l  SE-Net
l  Transformers Experiments on Attention Networks 李子青
10 自监督学习
l  自编码器
l  对比学习 Experiments on Self-Supervised Larning Networks 李子青
11 课程项目设计与讨论（1） Project Design & Discussions 李子青/林涛
12 课程项目设计与讨论（2） Project Presentation & Discussions 林涛/李子青
13 前沿讲座（1）
Experiments for Project 李子青
14 前沿讲座（2）
Experiments for Project 林 涛
15 课程项目汇报与讨论（1） Project Evaluation 林 涛 & 李子青
16 课程项目汇报与讨论（2） Project Evaluation 李子青 & 林 涛

Homework

作业布置

作业答疑