而不是事先知道我要什么样的指标，故意设置甚至是手工修剪出来的指标。
为什么未来华国的模型在测试表现上和阿美莉卡的模型差不多，但使用体验却有明显差距。
就是因为针对测试的指标，进行的人工修剪成分过多了。
来自老板的文档里提前标注了：第一轮要证明失败家族这个变量是否能提供额外信息。
如果这个变量在小规模手工标注里都没有价值，那就没有必要专门写程序把它给自动化。
第一天他跑完第一组基线，普通采样加可见测试过滤后，候选程序在语法聚类上看起来很分散。
按照常规方法看，模型给出了不少不同方案。
一旦用反例探针重新测试，候选程序开始成片成片倒下。
变量名不同，循环结构不同，解法看起来不同，最后死在同一种边界条件上。
尼克盯着结果，又跑了一遍。
结果差不多。
他开始兴奋起来。
隐隐约约的感觉被程序给证实。
原本模糊的现象突然被测出来了。
团队里很多人都知道大规模采样会制造虚假的多样性，也知道候选程序之间存在同质化。
知道是一回事，能把它测出来是另一回事。
他接着按照文档里的方法训练了一个很小的策略判别器。
模型粗糙，数据不大。
它不能和alphacode相提并论，更谈不上对外发布。
