1. 首页
  2. 最新资讯
  3. 视频识别

本次活动设有三个特邀keynote,以及五个分论坛,介绍…

这篇博客文章通过审视计算力、数据和深度学习研究人员数量的增长,证明深度学习可能会在逐渐放缓的发展步伐中走向停滞。作者研究最新的深度学习研究论文,向我们展示了类似的问题。作者以中国的深度学习发展情况作为典型研究例子,首先认为到2030年全世界有66%到80%的研究都将发生在中国,而根据人口数据和经济发展情况,绝大部分AI研究员可以拥有的GPU数量将不超过1-4颗。

在数据大爆发的背景下,这将极大地阻碍AI的发展。作者/TimDettmers) 这篇博客文章讨论了长期的AI研究方向,并对目前研究领域存在的短期思维及其陷阱进行了批判性的审视。在本系列的第一篇博文中,我首先将通过计算和硬件的使用情况来讨论数据和计算能力的长期发展趋势。然后我们会提供研究人员的人口统计数据,以证明,无法获得强大的计算资源的研究人员的比例正在快速增长。随后,我们将重点介绍支撑这篇博客的核心论文《重新审视深度学习时代数据的不合理有效性》(RevisitingUnreasonableEffectivenessofDatainDeepLearningEra),它揭示了虽然更多的数据可以提高预测性能,但它带来了相当沉重的计算负担。

我们还将看到,与专业化的技术相比,对更多数据进行预训练能取得的效果仅仅与预测能力相当。基于此,我总结认为,“数据越多越好”这一说法只对那些拥有处理这样大批量数据的计算能力的大公司有用。绝大部分的研究者应该瞄准另外一种类型的研究,在这种研究中,紧缺的资源不是计算能力而是创造力。但是,我也认为,未来的数据量注定会呈现前所未有的增长,这将会让大型的数据集成为一个刚需。因此,我们需要一些技术来使处理更多的数据变得可行,同时我们也需要一些技术让深度学习对尽可能多的研究人员开放,其中,这些研究院很多来自发展中国家。

在完成对核心论文的讨论之后,我们来看看最新的四篇论文中介绍的可能的解决方案。这些文章旨在通过以下方式克服这些长期趋势:(1)让实际操作,比如卷积,变得更加高效;(2)通过开发智能功能,使我们能够使用较小,快速的模型获得与那些大型的,臃肿的,笨拙的模型相似的效果;(3)具有丰富计算资源的公司如何利用这些资源来创建研究,进而惠及每一个在寻找新框架的人;(4)如何通过信息检索的方法预先选择相关数据,来解决不断增长的数据问题。深度学习研究中“短视”的问题这一系列的博客旨在促进深度学习研究的批判性思考,鼓励深度学习社区追求对该领域进展至关重要的研究。目前,在深度学习领域,不良的炒作和抱团在精神上获得了强劲的推动力。但是,在我看来,很多研究越来越短视。

短视主要是由于越来越多的新晋力量的竞争压力,来自“要么发表要么死亡”的压力,以及“在arXiv先占坑”的压力,这会促成那些可以提供快速收益而不是推动深度学习社区发展的不完整研究。另一个问题是,许多研究人员使用Twitter作为当前了解深度学习研究趋势的主要来源,这会加剧“抱团”的群体心态问题:它鼓励随大流,也就是说,认为这是会流行的所以才做。其次,它鼓励追随知名的研究者和名气较高的人,而非关注多样化的研究者,这会导致思维的单一。Twitter不是一个讨论论坛,可以深入讨论想法,得出结论,让大家受益。 Twitter是一个赢者通吃的平台,小的玩家会逐渐消失。

如果大玩家犯了错误,深度学习社区的每个人都被误导了。而事实是,大玩家也是会犯错的。