ChatGPT将取代数据标注师?

来自苏黎世大学的研究者证明了ChatGPT的数据标注能力强过人类——他们在3月27日提交的一篇论文中探讨了大语言模型(LLM)在数据标注任务中的潜力,并重点关注了2022年11月发布的ChatGPT。

研究人员证明了零样本(即没有任何额外训练)ChatGPT在多项注释任务(包括相关性、立场、主题和框架检测)上的准确率高于人类,包括训练有素的注释者。而其成本仅需人工的几十分之一。据研究人员计算,ChatGPT的每条注释成本不到0.003美元——大约比数据标注众包平台MTurk便宜20倍。

研究人员表示,虽然需要进一步研究以更好地了解ChatGPT和其他大模型工具如何在更广泛的环境中发挥作用,但这些结果表明它们有可能改变研究人员进行数据注释的方式,并打击MTurk等平台。

THE END