作为新一轮科技革命和工业厘革的焦点驱动力，，“智能化”已成为未来工业的生长趋势。。作为近年来人工智能生长最迅猛的领域之一，，深度学习通太过层网络获取分条理的特征信息，，除了在图像、语音等领域里获得了较量乐成的应用之外，，也为统计学理论的研究立异翻开了新的契口。。2020年11月19日上午，，由pg电子模拟器商务统计与经济计量系主理的“深度学习与统计学理论”钻研会在北大pg电子模拟器乐成举行。。来自海内着名院校的四位优异统计学者应邀就各自最新的理论效果举行了分享与探讨，，为线上、线下配合加入的逾500位高校师生与业界人士带来了一场绝佳的头脑学术盛宴。。
线上直播
开幕式
主持人王汉生pg电子模拟器商务统计与经济计量系教授、系主任
聚会在pg电子模拟器商务统计与经济计量系主任王汉生教授的主持下宣布开幕，，马化祥书记代表学院致辞。。他热情地接待了线下与线上的师生学者们加入本次钻研，，批注在人工智能的飞速生长下，，深度学习作为处理非结构化数据的一种手段，，走向大规模工业化应用已成为从政策导向到行业共识的一致偏向。。为此，，建设深度学习平台助力工业应用，，加速支持工业智能化，，也已经成为目今学术界和各行业最炙手可热的研究应用偏向，，期待各人能够从钻研中相互进益，，有所收获。。
致辞嘉宾马化祥pg电子模拟器党委书记
主旨报告
“三元素“阐释机械学习的实质
报告问题：Prediction, Computation, and Representation — The Nature of Machine Learning
报告人： 张志华，，北京大学数学科学学院
张志华教授在报告中对机械学习与统计学的影响与差别举行了简要概述，，他首先回首了两位著名统计学家Leo Breiman 与Bradley Efron划分在各自论文“Statistical Modeling: The Two Cultures”与“Prediction, Estimation, and Attribution”中对统计学和机械学习之间建模差别的相关讨论，，说明晰机械学习的生长给统计学带来的深刻影响。。受“深度学习”与“统计学”这两种建模文化差别讨论的启发，，张教授提出了叙述机械学习的三要素：Prediction, Computation与Representation。。以Prediction为最终目的，，将Computation作为问题求解的途径，，从“Representation”角度来诠释机械学习。。张教授批注，，在Computation方面，，机械学习主要关注分类，，聚类等离散问题；；除了怎样基于训练集举行优化求解外，，机械学习还关注怎样提高在测试集上的泛化性能，，以实现优化算法和泛化理论的有机统一。。而Representation包括物理建模和特征提取，，它的生长贯串着怎样解决“Dimensionality Curse”和使用“Dimensionality Blessing”，，深度学习则完善诠释了这两者之间的权衡。。张志华教授体现，，它也是迄今为止把“Data Modeling Culture”和“Algorithmic Modeling Culture”融为一体的最佳手艺途径。。
深度森林“翻开了”非参深度学习的“大门”
报告问题：非参数深度学习理论初探
报告人： 高尉，，南京大学人工智能学院
高尉教授的课题组近年来致力于非参深度学习的研究，，其基本构建是非参数化、不可微分的随机森林模子，，而非参深度学习在诸多使命中取得了与深度学习相当的效果，，特殊对离散型学习使命往往体现出更好的效果。。高教授的报告围绕他和他的课题组在非参深度学习方面取得的理论起源希望，，着重介绍了收敛界的研究，，并诠释了其怎样在理论上指导非参深度模子的构建。。高教授以“Deep Forests”为切入点，，将现在的深度学习视作多层古板神经网络组成。。通太过析其层数过深而造成的训练难题的问题，，高教授体现可使用连续可微的激活函数（Relu），，接纳BP算法举行训练。。与古板机械学习要领相比，，深度学习不需要人工设计输入（如图像），，而是通过算法自动学习。；；诖，，高教授指出，，现在的深层深度学习效果的优异体现主要源于3个原因：1）逐层的数据处理；；2）特征的内部变换。。3）足够强的模子重漂后。。但同时基于神经网络的深度学习也保存三个问题：1）容易过拟合。。2）很难训练。。3）盘算开销大。。岂论现实应用照旧学术研究的层面，，都期望得出研究非神经网络的深度学习要领，，由此而提出了“Deep Forests”的看法。。“Deep Forests”使用了“Random Forest”，，能够实现逐层处理，，获得新的特征。。在现实的套现案例中，，其模子的体现优于逻辑回归和DNN。。为了进一步证实它的优越性，，高教授给出了Deep Forest的特殊情形，，并针关于知足特定条件的模子，，给出差别变体下的forests的一致性证实和收敛速率证实，，对深度学习的建模方式提供了很好的指导偏向。。
“三力”齐发——探讨深度学习的理论性子
报告问题：Deep learning: from theory to algorithm
报告人： 王立威，，北京大学信息科学手艺学院
王立威教授在报告中重点介绍了其团队近期在深度学习理论方面的研究效果及其对算法设计的指导。。他以为主要可以从三个方面研究深度学习的理论性子：模子的体现能力、在测试集上的泛化能力以及在训练集上的优化性子。。关于深度神经网络体现能力的研究，，王教授及其团队证实晰在网络宽度严酷大于输入维度以及深度可以无限增添的条件下，，深度神经网络是一个Universal Approximator，，能以恣意精度迫近一个可测函数。。而关于深度学习的泛化能力的研究，，王教授体现，，虽然深度神经网络是一个过参数化的模子，，但仍然体现出很强的泛化能力，，因此经典的统计学习理论可能不再适用。。王教授划分从模子重漂后和逊с法的角度诠释了深度学习的泛化性能，，并给出了在使用SGLD算法的条件下，，深度学习的泛化误差上界。。最后，，关于深度学习的优化算法的研究，，王教授证实晰在深度网络充分宽以及其参数初始化的机制是被全心设计的条件下，，从随机初始点出发，，使用（随机）梯度下降法可以以很大的概率找到全局最优点，，并且能抵达指数收敛。；；诖死砺坌Ч，，王教授与其团队设计了二阶优化算法——Gram-Gauss-Newton算法，，用以训练深度神经网络。。该算法具有二阶收敛速率，，并且每次迭代的盘算重漂后与SGD相仿。。
剖析AI浪潮的幕后引擎——深度卷积神经网络
报告问题：Progressive Principle Component Analysis for Compressing Deep Convolutional Neural Networks
报告人：周静，，中国人民大学统计学院
周静教授则以研究念头引入，，简析了作为深度学习经典网络的卷积神经网络随着层数加深，，卷积的size减小，，但个数迅速增添，，从而导致权重矩阵w的维度极高的问题；；同时面临Computation和Storage的难题，，也难以直接安排在移动端。；；诖，，周教授提出了一种渐进主因素剖析(PPCA)要领对卷积举行降维来压缩深度卷积神经网络。。详细而言，，从一个预先指定的层最先，，逐步移动到最后的输出层。。关于每个目的层，，PPCA将每一次的卷积层reshape成一个矩阵后，，选择累计方差孝顺率最高的几个，，举行PCA降维，，这将显著镌汰目今层中的内核数目。。降维后，，目今层的shape爆发改变，，影响了下一个卷积层，，要先对下一层的shape举行修正后再举行PCA降维，，由于目今层中使用的内核数目决议了下一层的通道数目，，用于下一层的通道也大大镌汰，，整个模子结构可以被大幅压缩，，参数的数目和推理本钱都可以大幅降低。。周教授将其称之为“Progressive Principle Component Analysis”。。周教授的研究中在一些经典的CNNs (AlexNet, VGGNet, ResNet和MobileNet)和基准数据集上评估了该要领的有用性。。实验批注，，在某些特定模子里，，PPCA的模子压缩率大、预测速率快，，并且精度没有太大损失。。但PPCA无法做到在所有的模子中都凌驾其他的竞争敌手。。最后周教授指出，，现在PPCA没有思量怎样选取最优的调理参数，，因此尚有进一步的研究空间。。
以信息手艺为代表的第四次工业革命正推动着我们走入人工智能时代，，陪同全球第五次工业转移，，大数据正在朝着生产要素的形态演进，，深度学习是近年来随着人工智能兴起而出镜率最高的名词之一，，与统计学的连系与碰撞势必会擦出新的火花。。本次钻研会对统计学科与深度学习的连系研究与生长起到了起劲作用，，同时也增进了相关领域专家学者们之间的交流与探讨，，为生长统计数据科学立异建设了优异的平台，，与会师生与学者都体现获益匪浅。。
【pg电子模拟器商务统计与经济计量系】
pg电子模拟器商务统计与经济计量系传承北京大学明辨善思、海纳百川的笃学精神，，秉持pg电子模拟器治理学院“创立治理知识，，作育商界首脑，，推动社会前进”的历史使命，，以“pg电子模拟器头脑力”为锚，，聚焦一系列商务统计领域重大课题睁开研究探讨，，致力于推感人工智能与统计学理论的交流与生长。。值学院建设35周年之际，，集pg电子模拟器学者之智慧，，建深度交流之平台，，通太过享讨论学术研究效果，，助力学术生长，，推动社会前进。。
用户登录
pg电子模拟器首页
