赵元任下意识点开链接,发现这个下载链接关联的文本足足50个tb:“这是?”
“来自网页抓取的文本,包括了论坛,百科资料,新闻网站,问答社区等等。
其中有一小部分是ai lab他们组做过脱敏和授权处理的部分文本数据。
但绝大部分都需要你做一遍清洗。”
赵元任咽了咽口水:“顾组长,不是我不想干,我过去确实也干过大规模文本数据的近似重复检测。
但重复检测只是清洗的一部分工作,一小部分。
再说,过去就我了解的情况,像这么大体积的文本,起码也是一个五人小组一起做。
现在就我一个人?这是不是有点为难我了。”
赵元任的声音越来越低,但意思清晰无比。
“不,不是为难你,你只是清洗50个tb,我要清洗100个,我要处理的数据比你更复杂。”顾彦平淡淡道。
领导以身作则,做的还比你更多,这下你没啥话好讲。
赵元任只好把话咽回去,他转而提起:“那什么时候要做完?”
顾彦平说:“我什么时候做完,你能有t+1的时间。”
他妈的组长还是个股民?难怪语气阴沉,估计最近没少赔。只买基金不买股票的赵元任腹诽道。
“哦对了,你注意看组的公共空间,每天我会把我的经验做上传,包括boss的一些算法,和应用的注意事项我会上传到我们组的代码仓库里,你注意看。
那会节约你非常多的时间。”
自此,无休止的开始转动了。