爬虫这玩意谁没玩过啊——他当初写的验证la123链接网站的小工具，如果加一道分析，就可以算爬虫了。
“师兄用的文件列表？”
“也试过haht去重，但很快就爆内存。”
“ul队列问题确实难搞。”余江点头，安静地思索了片刻。
闫宏飞也耐心地等待，只是眼神略有闪烁。
“haht在ul总量过高的时候确实会占用大量内存，文件列表吃/。”
闫宏飞就叹了口气，他的办法是平均负载，但终归治标不治本。
余江转头望着闫宏飞。
“要不试试全局去重？”
闫宏飞一怔：“怎么全局，什么架构？”
“引入一个轻量mat节点，专门维护一个全局blm flt做去重。”
“位数组大小按我们当前几千万网页规模留足余量，用几个独立哈希函数，误判率控制在千分之五以内就够用。k节点本地先快速过滤，新提取的ul再批量通过tcp发给mat确认。”
“关键是p-ht back uu：mat按主机名hah分桶，每个主机维护一个ff队列和一个下次可抓时间……”
“……mat本身用轻量内存结构，也没什么瓶颈。”
余江一边思索，一边慢慢地给出方案。
他同时也感慨。
这些在后世几乎算是搜索引擎入门教科书一般的解决方案，在现在却是拦路虎一般的存在。
闫宏飞认真地听着，最后猛地望向余江。
“你之前干过？”
闫宏飞死死地盯着余江。
他完全不信，一个没有干过搜索引擎的人，会在这么短时间内就给出近乎完整的解决方案！
余江轻轻咳了咳：“玩过爬虫，也玩过分布式……但分布式爬虫没玩过。”
“我晕！你上哪里玩的？”
余江一阵无语。
知道不把这帮师兄们震住，怕是每天都要问个不休了。
“师兄，非要我说，我有个非常有钱的姐，她手底下有上百台p志强服务器吗？”
“靠！”
闫宏飞猛地起身。
这时，徐飞和彭波也正好进门。
“你俩来正好！赶紧把他按住！”
二人同时一惊。
“闫哥你要干啥？”
闫宏飞是一愣，似乎也不知道自己起身干啥。
但他很快转头望向余江。
“师弟，能把你姐介绍给师兄吗？”
