不错的名字。
:
林叶微微点头,而后继续往下看去。
……
办公室里安静了下来,只有林叶翻阅纸张的细微沙沙声。
随着阅读的深入,林叶的眼神逐渐发生了一丝变化。
很快,他心里就被这份粗糙,但却相当有前瞻性的初步构想给小小地惊讶了一把。
文件上提出的核心思路,赫然是一套关于M稀疏专家混合模型的深度应用构想,以及一种试图大幅度压缩注意力机制中键值缓存的潜在框架思路。
通俗点说,就是在不激活全部参数的情况下,通过路由机制让大模型在遇到特定问题时,只调用对应的专家网络去进行计算。
这样一来,不仅能把模型的总参数量堆极高,同时在推理时所需的动态算力又能极大幅度地降低。
当然,以林叶那凌驾于这个时代的眼界来看,这种仍然是以Tanf架构作为底层的技术,比起动态拓扑流形认知架构来说,在底层逻辑上永远都是落后的,属于两个维度的产物。
但不可否认的是,在如今的这个时间节点,梁锋的团队就能够提出这样一套构想,确实是非常值称赞的。
这套构想,可以说在Tanf架构的体系内,实现了更大的可能性。
“非常精妙的思路。”
片刻后,林叶合上文件,毫不吝啬自己的称赞:“利用M架构实现参数解耦,以此来降低算力开销,如果你们真的能够把这份构想在代码层面上完美实现,也许最终出来的效果,确实能给全世界一个巨大的惊喜。”
听到林叶的称赞,梁锋的眼神中闪过一丝难掩的激动。
能从林叶的口中听到这样的评价,这对于他们这些搞技术的人来说绝对算是一种荣誉了。
“感谢您的认可,我们公司的技术人员如果听到能到林教授的这句称赞,肯定会高兴睡不着觉的。”
但很快,梁锋深吸了一口气,将激动压了下去,表情变比刚才更加认真和肃穆。
“但是,林教授,其实我们自己心里都很清楚……单凭这项还在摸索中的技术构想,去面对未来pnA那些美国公司的算力碾压,其实还远远不够。”
梁锋看着林叶,忽然提起了去年的事情:“不知道林教授还记不记,去年我们在这里第一次见面的时候,我们就曾经讨论过通过优化算法来弥补算力劣势的这个思路?”
林叶点了点头:“我自然记。”
梁锋深吸了一口气,缓缓说道:“当时,我认为只要能把算法优化到让算力需求只有国外同级别模型十分之一的程度,那就算是我们能够做到的极限了。”
“但我还记当时林教授您提到,将算力成本优化到百分之一的可能性。”
梁锋盯着林叶那双平静的眼睛,语气变诚恳起来:“我并不是数学家,我甚至到现在都不清楚,在工程上究竟要如何去搭建,才能实现那种百分之一算力成本的优势。”
“但是,凭借林教授您的能力,我愿意无条件地相信这个可能!”
“所以……”
:
梁锋忽然猛地站起身,十分正式地向林叶微微鞠了一躬:“这才是今天,我来找林教授您合作的最主要目的!”
“我希望能够和林教授合作,共同研发出那种真正能够将算力成本优化到只有十分之一,甚至是百分之一的算法技术!”
“只要您愿意答应下来,我可以提供我能提供的一切资源,不论是钱,人,还是算力!”
“包括萤火二号计算中心的一万张A100,除了一部分用来维持其他那些必要业务的算力之外,剩下的全部算力,我愿意全部拿出来,任凭您调用,用于这个模型的训练!”
梁锋的呼吸此时都变有些急促,他看着林叶,说出了内心深处最渴望的目标。
“林教授,我不为别的。”
“我只是无比迫切地希望……能够亲身参与到A时代的开创伟业中来!”
: