“三层。”
石院士便缓缓吸气，深深地凝望着余江。
她自然知道，神经网络最大的毛病就是梯度爆炸或者梯度消失，这是神经网络无法持续研究下去的根本原因——至于原理性解释，算力需求都是其次。
这小伙，他难道真的解决了？
这时余江又不好意思地道：“现在所有层的权重都要参与链式求导和梯度更新，计算密度大了点，所以超算动静就有点大。”
石院士沉默许久，轻轻嗯了一声。
“神经网络本来就是吃资源的，而且不同参数的结果差异太大，根本没有规律可言，你这就只跑三天，时间够吗？”
余江回头，只见老太太是真诚地在问，心中微微一暖，轻声道：“是这样的，石老师，我翻了之前的好多论文，自己又琢磨了好久，觉超参数其实还是有规律的。”
所谓参数没规律，这正是神经网络被诟病不可解释的原因之一。
“石老师，譬如这个bn模型，学习率0.1不是随便选的——低于0.05在这个网络结构下几乎不收敛，高于0.2很容易发散，这个区间对于784维到500维的映射是相对稳定的。”
“ht_ct我设了0.0001，如果设成零，网络会倾向于用少数强权重拟合数据；加一点惩罚，它会强迫网络用更多弱权重来学习规律。其实这些参数，论文里有人做过类似对比实验，只是没有总结成方法论。”
听余江一口气介绍完，石院士皱眉沉思了一会：“原理呢？”
“先找到规律，再探求原理。”他轻轻呼气：“石老师，我这边用的是yann lcun实验室提供的mnt原始数据集，不知道现在实验室用这个数据集的错误率是多少？”
“之前你师兄拿来练过手，差不多5%吧。”
“嗯，那我加把劲，看能不能低于5%。”
石院士便微微一笑，站起身来，轻轻拍了拍他的肩膀：“只要低于5%，就表示你的模型具备相当的意义。”
目送石院士离开，余江继续耐心地等待。
……
石院士双手抱臂，在办公室内来回踱步。
门外脚步声响起，片刻后，年逾六十的迟惠生教授和实验室博后吴玺宏出现在门口。
