下午两点,余江的场。
在前一位还在报告时,他便走到了讲台旁,把论文的几页关键内容重新看了一遍,框架图、实验结果对比表、核心公式推导。确认没有遗漏之后,他把稿子握起,双手背在身后。
前面那个人讲的也是神经网络相关的内容,但思路和他完全不同,余江含笑听着,便又是朝着台下的前排看了一眼。
正好他看到辛顿老爷子也朝他看来,并给了他一个鼓励的眼神。
余江呵呵一笑。
他的论文,自然也早就放在了av上,而且早就在小范围内引发了讨论和复现——现在还在搞神经网络的圈子本来也小。
是以,今天绝大多数人,都冲着他而来。
前一位的报告终于结束,余江走上前台。
“大家好,长期以来,神经网络都面临几大难题,譬如反向传播算法在多层网络中传递误差时,因 m/tanh等激活函数饱和特性,导致深层梯度趋近于零,无法有效更新浅层参数,深层网络几乎不可训练……”
“又譬如算力硬件限制,集群训练效率低下。”
“又譬如实用性不足……”
余江没有看稿,而是直接从问题出发,道出了神经网络现在的困境。
台下众人都认真地看着他。
“长期的学习过程中,我总结出一个经验,那就是:有问题,我们就解决问题。所以,便有了这篇bn论文。”
余江说完安静了两秒,开始讲述起论文来。
场下众人一直安静地听着,直到他翻完最后一页。
……
“请问,框架在非监督学习场景下的表现如何?”
第一个提问的是一个年轻的研究者,问的是训练框架表现。
“表现很好,而且我们已经进行了框架的多次迭代和优化,目前项目已经开源。”余江冲着对方点了点头。
对方也友好地点了点头:“那这个框架的未来方向如何呢?”
余江看着他,笑了笑:“我认为这种结构化的概率框架和深度架构的结合,会是未来五年最重要的方向之一,现在大家还在摸索,但我相信这条路走通。”
那人也笑着点头,没有继续追问。
接下来又有几人提出了问题,余江都一一作答。
最后,辛顿老爷子举起手来。
余江看着对方,轻轻咳了一声。
“bn看起来前景很美好,但是目前算力实在无法满足,我们总不能每个实验室都准备一台超算吧?”
辛顿的话音落下,台下发出一阵轻轻的笑声。
论文中,除了超算,最低要求的设备都是工作站……