越是内行越知道要做到这点有多难。
赵佩璇可没少在课堂上听到教授在说chatgpt有多了不起了不起,华国的人工智能和openai起码有十年的差距。
她的家学渊源也决定了,她清楚华国的互联网企业们有多想做出自己的大模型而不得。
“当然。”
“数据怎么解决?meta在llm方向上有研究,但rlhf的规模压根跟不上,谷歌倒是有palm,但他们的数据太差,用来进行大规模训练的数据太糟糕,他们也没有办法立刻赶上openai的进度。
毕竟大家都发现,llm的训练要仰仗大量的高质量人类标注数据。
所以你能看到linkin上出现了大量对数据标注工程师的需求,做数据标注的公司大手笔大手笔地从大厂接订单。
没人想错过这波浪潮。”
palm是gemini的前身,参数比gpt-3.5还要更大,但因为数据不行,使用起来非常糟糕,一度被诟病,认为谷歌不行了。
“为什么要自己标注数据?直接拿gpt的数据来训练不就好了?gpt的api是对外开放的,直接拿来用不行吗?gpt3.5能直接生成高质量的指令回答对,质量远超人工数据。”
正所谓真传一句话,假传万卷书。
陈曦这句话,直接像是点醒了赵佩璇一样。
对方急着拉起陈曦就要往外走,陈曦不走:“唉,你干嘛?”
“我们去我车上说。”赵佩璇说。
陈曦问:“我这都快要排到我了。”