包阅导读总结
1. 关键词：港大、计算与数据科学学院、马毅、课程设置、CRATE
2. 总结：港大成立计算与数据科学学院，马毅任首任院长。新学院由计算机科学系和统计学系合并，旨在革新教育，创造协同效应。学院提供多种授课式研究生课程，马毅学术成就显著，其团队近期提出白盒Transformer架构CRATE及改进版CRATE-α。
3. 主要内容：
– 港大成立计算与数据科学学院
– 由计算机科学系和统计学系合并
– 马毅被任命为首任院长
– 学院使命与目标
– 革新AI和计算机科学教育
– 创造计算技术、数学建模和统计推理的协同效应
– 促进跨学科合作
– 课程设置
– 涵盖数据科学、人工智能等多主题
– 授予5个方向的硕士学位
– 马毅介绍
– 学术背景和任职经历
– 学术服务和研究兴趣
– 学术荣誉
– 马毅团队研究成果
– 提出白盒Transformer架构CRATE
– 改进版CRATE-α的特点与实验成果
思维导图：
文章地址：https://mp.weixin.qq.com/s/Sy5ComtkyZ5JeKMw0fQgaA
文章来源：mp.weixin.qq.com
作者：硅星人Pro
发布时间：2024/8/14 2:04
语言：中文
总字数：4671字
预计阅读时间：19分钟
评分：89分
标签：计算与数据科学,教育改革,马毅教授,香港大学,硕士课程
以下为原文内容
本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com
马毅首任院长！港大成立计算与数据科学学院，计算机+统计双剑合璧
【新智元导读】刚刚，港大成立新的计算与数据科学学院，由计算机科学系和统计学系合并。马毅教授被任命为学院首任院长。
就在刚刚，马毅教授官宣：香港大学计算与数据科学学院成立。
新学院的主要使命，就是通过全面改革和重新设计从本科一年级到研究生的整个课程体系，来革新AI和计算机科学的教育。
马毅直言：这是一项巨大的工程，但也是我们这一代教育者的责任。
由现有的计算机科学系和统计与精算科学系合并后，新成立的计算与数据科学学院拥有大约60名知名学者和800名研究生，提供14个学术课程。
港大之所以要做出这种跨学院整合，就是希望在计算技术、数学建模和统计推理之间，创造出强大的协同效应。
如果既掌握了计算机科学，又把握了统计学课程的精髓，学院的毕业生必将具备强大的分析和计算技能。
另外，新成立的学院还会作为一个活跃的跨学科学术和研究合作中心，促进与其他所有院系的合作，以充分利用现代数据科学和AI的潜力。
学院提供的授课式研究生课程，充分考虑了行业和就业市场的需求。
课程将涵盖多个主题，包括但不限于数据科学、人工智能、网络安全、统计学和软件工程。
同时，学院还会和行业伙伴密切合作，确保课程符合当前的行业需求。
打开学院的课程设置列表，我们可以看到学院授予5个方向的硕士学位，分别是数据科学硕士、计算机科学硕士、电子商务与互联网计算硕士、金融科技与数据分析硕士和统计学硕士。
数据科学硕士（Master of Data Science）
数据科学硕士的课程结构包括广泛的统计学和计算机科学课程，提供两种学习模式：全日制模式为一年半学制，非全日制模式为两年半学制。
本专业的硕士，将接受数据科学原理和实践方面的培训。
申请者应具备微积分和代数、计算机编程以及初级统计学的知识，并且应至少在这三个科目或相关领域中完成过一门大学或大专证书课程。
计算机科学硕士（Master of Science in Computer Science）
计算机科学硕士课程，将为学生提供计算机科学领域的高级和深入知识，课程的最大特点就是多样性和灵活性。
课程分为四个方向——网络安全、金融计算、多媒体计算和通用方向，涵盖了从数据工程、云计算、区块链技术、深度学习到金融欺诈分析研究的广泛主题。
– 通用方向涵盖了一系列广泛、全面的计算机科学科目，有多种课程可供学生选择。
– 网络安全方向是一个多学科的研究领域和专业活动，涉及网络安全的最新技术。课程从技术、组织、人本导向和法律等不同角度，涵盖网络安全的各个方面。
– 金融计算方向研究用于金融的数据和算法，以及实现金融模型或系统的计算机程序的数学。金融计算强调实用的数值方法，侧重于直接应用于商业和金融分析的技术。重点将放在金融行业的计算方面。
– 多媒体计算方向专注于多媒体计算、通信、分析、可视化和应用。学生将获得理论和实践技能，用于开发创新和创造性的多媒体计算技术。
电子商务与互联网计算硕士（Master of Science in Electronic Commerce and Internet Computing）
电子商务与互联网计算硕士课程于1999年9月成立，是亚太地区首个结合商业与技术的课程。
香港在全球金融市场中拥有独特的地位，这门课程结合了香港的这项优势，它的目标是培养技术娴熟且具备商业头脑的人才，为香港的企业提供创新的季节方案。
另外，该专业还融入了一些先进、优秀的元素，帮助学生跟上信息技术的快速发展。
该专业希望，学生完成课程后，能够区分炒作与现实，有能力分析行业内新的发展，将其既有、合理的结构和概念进行整合，从而发现创业机会和市场机遇。
金融科技与数据分析硕士（Master of Science in Financial Technology and Data Analytics）
这门课程希望在不断变化的金融科技世界中，为学生培养职业生涯的必备技能。
课程汲取了工程、商业、法律和统计等多个领域的专业知识，形成了一个以技术为重点的跨学科课程。
通过这些课程，学生将获得在金融行业变化环境中所需的基本金融科技技能，以及对最新行业趋势的了解。
学习该门课程的学生，将掌握AI、区块链、大数据分析、金融欺诈分析等多项技术能力，应该能够胜任需要强大技术技能的各类金融行业工作。
统计学硕士（Master of Statistics）
申请统计学硕士的候选人，应具备矩阵和微积分、初级统计和线性建模的知识。
这门课程会对学生进行统计学原理和实践的严格培训。它非常强调应用，目标是通过计算机辅助和实践经验，为候选人在各个领域的深入学习、研究、咨询工作和管理做好准备。
课程对学生提供极大的灵活性，无论是希望获得普遍训练，还是希望在风险管理、数据分析或金融统计方面进行专业化训练的学生，都能找到自己适合的方式。
学院预计，申请该课程的学生将来自各个学科。同时，学院还推荐在职人员申请，作为兼职学生参与，相似或不同背景的学生在互动中都会受益。
另外，课程也适合应届毕业生作为全日制学生来申请，以获得研究生学位。
马毅教授是IEEE、ACM和SIAM的会士，目前担任加州大学伯克利分校电气工程与计算机科学（EECS）系教授、香港大学数据科学研究所的首任所长、香港大学计算机科学系主任，以及香港大学计算与数据科学学院的首任院长。
他于1995年在清华大学获得自动化学士学位和应用数学学位。
在加州大学伯克利分校，他分别于1997年和2000年获得EECS硕士学位和数学硕士学位，并于2000年获得EECS博士学位。
在此之前，他曾于2000年至2011年在在伊利诺伊大学厄巴纳-香槟分校（UIUC）电气与计算机工程系担任助理教授和副教授（现为兼职教授）。
2009年至2014年，担任微软亚洲研究院计算机视觉组主任及首席研究员。2014年至2017年，担任上海科技大学信息科学与技术学院教授、执行院长。
此外，他还在Coordinated Science Laboratory的决策与控制小组和Beckman Institute的图像形成与处理小组担任研究教授。
学术服务方面，马教授自2012年起开始担任「IMA信息与推理杂志」的创刊副主编，自2018年起担任「SIAM数据科学数学杂志」（SIMODS）的创刊副主编。
此前，曾在2007年至2011年担任「IEEE模式分析与机器智能汇刊」（TPAMI）副主编，2010年至2014年担任「国际计算机视觉杂志」（IJCV）副主编，2013年至2017年担任「IEEE信息论汇刊」创刊副主编，以及「SIAM影像科学杂志」创刊副主编。
并且，还曾在2015年至2017年担任「IEEE信号处理杂志」的高级编委，在2010年和2011年担任「IEEE会刊」和「IEEE信号处理杂志」特刊的首席客座编辑。
在会议方面，他是2024年开办「简约与学习」（CPAL）的联合创始人之一，曾多次担任ICCV、CVPR和NIPS的领域主席，并担任ICCV 2013（澳大利亚）的程序主席和ICCV 2015（智利）的大会主席。
马教授的研究兴趣包括3D计算机视觉、高维数据的低维模型、可扩展优化与机器学习以及智能机器。他的工作在自然图像分割、稳健的人脸识别以及图像对齐和校正等领域有广泛应用。
最近的研究主题包括大规模3D几何重建与交互，以及低维模型与深度网络之间的关系。过去的研究主题包括高维数据的稀疏表示和低秩逼近、高维数据的聚类、压缩和分类，以及从图像重建3D结构。
马教授发表了超过一百篇经过同行评审的文章，并出版了两本广受欢迎的教科书：《An Invitation to 3-D Vision》（2003年），《Generalized Principal Component Analysis》（2016年）。
最新的教科书《High-dimensional Data Analysis with Low-dimensional Models》，由剑桥大学出版社于2022年出版。
学术荣誉方面，马教授于2016年被汤森路透的科睿唯安评为全球高被引研究者，并于2016年4月在《科学》杂志报道的Semantic Scholar中被评为全球计算机科学领域最具影响力作者的前50名。
他的博士研究与S. Soatto、J. Kosecka和S. Sastry一起在1999年国际计算机视觉会议（ICCV）上获得了David Marr最佳论文奖。
2009年，他与学生Shankar Rao、Hossein Mobahi和Allen Yang一起在亚洲计算机视觉会议（ACCV）上获得了Sang Uk Lee最佳学生论文奖，并在2015年获得了IMA信息与推理杂志最佳论文奖二等奖。
马教授在2003年获得了国家科学基金会（NSF）的教师早期职业发展（CAREER）奖，并在2001年春季、2002年秋季和2006年春季被列入伊利诺伊大学的优秀教师名单。
他在2009年获得了微软公司的金星奖，并在2012年获得了微软亚洲研究院的年度最佳研究团队奖。
近期论文
AI教父Hinton在90年代，就提出了「深度学习的本质可能就是压缩」的概念。
众多AI大佬，在各种场合对这个概念性的提法做出了一些经验性的总结，继续扩展了这一理论。
例如，前OpenAI首席科学家Ilya Sutskever曾在UC伯克利的一个AI理论讲座上分享到：「压缩可能就是学习的本质！」
近期，马教授和团队提出了一种白盒Transformer架构——CRATE。它通过基本原理构建，拥有丰富的理论框架，并在各种训练设置中实现了极具竞争力的性能。
具体来说，研究团队认为，数据表征学习的核心目标是将数据从高维度分布压缩到低维结构分布，从而实现有效的表征。
这种压缩可以通过「稀疏编码率减少」这个量化指标来衡量。
项目主页：https://ma-lab-berkeley.github.io/CRATE/
研究团队通过朴素的优化架构，将压缩和稀疏作为损失函数，可以迭代地将数据分布压缩到低维混合高斯分布模型，从而推导出类似Transformer的神经网络结构。
这就是构建类Transformer构架的第一性原理。而进一步证明压缩和去噪之间存在内在等价关系，就可以为构建Decoder提供理论依据，让编码器和解码器具有几乎相同的结构。
研究团队的实验结果表明，尽管架构较简单，CRATE在许多任务和数据集上都能与现有的Transformer模型获得类似的表现，同时其每一层和操作都可以明确解释。
分析结果表明，CRATE相对于标准Transformer确实具有更强的可解释性。
由于固有的数学可解释性，CRATE也为视觉Transformer（ViTs）提供了一种有趣的替代方案。
为了探究架构的可扩展性，研究人员提出了CRATE-α——在对稀疏编码块进行策略性但最小化修改的同时，设计了一种轻量级的训练方法。
项目主页：https://rayjryang.github.io/CRATE-alpha/
MSSA（Multi-head Subspace Self-Attention ）表示压缩块，ODL（Overcomplete Dictionary Learning）表示稀疏编码块
1. 大幅扩展了通道，对稀疏编码块进行过参数化（overparameterized），使用过完备字典（overcomplete dictionary）对token表征进行稀疏化。
2. 解耦了关联矩阵，在稀疏编码块的最后一部中引入一个解耦字典（decoupled dictionary）
实验结果证明，CRATE-α能够随着模型尺寸和训练数据集的增大而扩展，性能可以持续提升。
例如，CRATE-α-B在ImageNet分类任务上的性能显著超过了之前最好的CRATE-B模型，准确率提高了3.7%，达到了83.2%；进一步对模型进行扩展时，CRATE-α-L在ImageNet分类任务上达到了85.1%的准确率。
值得注意的是，模型性能的提升是在保持甚至增强了CRATE模型可解释性的同时实现的，因为更大尺寸的CRATE-α模型学到的token表征能够生成更高质量的无监督图像分割。
https://x.com/YiMaTweets/status/1822806291313782785
https://admissions.hku.hk/tpg/faculty/school-computing-and-data-science
预览时标签不可点
![]()
微信扫一扫
关注该公众号
![]()
微信扫一扫
使用小程序
：，。视频小程序赞，轻点两下取消赞在看，轻点两下取消在看分享收藏
