数据众包质量控制方法研究

课题背景

随着AI模型逐渐成熟，进一步改进模型结构带来的边际效益趋窄，而干净一致的训练数据则能够有效提高落地效果。对此，以数据为中心的AI（Data-Centric AI）受到广泛关注。

为获取高质量数据，国内现有的数据标注服务模式通常依靠熟练标注员，直接对样本产出标注结果。该过程极为定制化，对于有AI服务需求的个人及小微企业，推广难度很大。同时，依赖遍布全球的零工，AMT（Amazon Mechanical Turk）等数据众包（Crowdsourcing）平台则能够更灵活便捷地提供个性化标注服务，这为解决数据标签难获取问题带来了一套可用方案。但是，在众包平台商业化道路上，其质量控制问题仍普遍存在。

更高的数据质量及更快捷的数据获取方式能够极大推动AI落地，本课题聚焦数据众包平台质量控制方法，围绕真值推断、用户画像、准确度保证等问题，具有非常重要的研究和应用价值。

问题定义

图1：数据众包问题案例

图1展示了一个典型的数据众包任务案例。任务发起方按照一定任务拆解原则，定义问题和选项，众包C端人员接单并回答问题。

• 真值推断：由于接单人员能力区别，回答为正确答案的概率不同，因此首要任务真值推断，即为如何将不一致的回答聚合为真实标签

• 用户画像：C端人员所擅长题目类型不同，刻画用户画像做到合适的人答合适的题，能够有效改善众包质量

• 准确度保证：给定准确度要求，是否可以提前估计要达到目标准确度，大致需要的标注人员数量或标注成本；反之，给定标注成本约束，是否可以预先估计能够达到的准确度指标

问题挑战

• 用户画像信息如何定义、维护及使用

• 如何最大化利用已知信息来建模并推导真值

• 诸如单选、多选、判断、数值等不同类型试题，是否存在统一的用户画像表达方式

• 如何引入领域信息

• 在标注开展前是否可能预估标注质量

• 隐测试如何植入

• 被标注数据本身信息是否可用于提高真值推断结果

评价指标

• 选择、判断题主要通过以下指标进行评估： Accuracy、Precision、Recall、AUC

• 数值问题主要通过以下指标进行评估： RMSE、MSE、MAPE

数据集描述

字段	类型	描述
task_id	string	任务ID
usr_id	string	标注员ID
label_time	string	打标时间
label_latency	string	题目耗时
label	string	标注员标注结果

联系我们

有任何问题，请联系 [e-mail]