教育新闻网在这个特别的嘉宾专题中，Appen的首席技术官Wilson Pang提供了一些质量控制，组织可以实施这些控制，以实现最准确和一致的数据注释过程。威尔逊于2018年11月加入Appen，负责公司的产品和技术。
Wilson在软件工程和数据科学领域拥有超过十七年的经验。加入Appen之前，Wilson是CTrip中国的首席数据官，CTrip是全球第二大在线旅行社公司，他领导数据工程师，分析师，数据产品经理和科学家改善用户体验并提高运营效率，从而促进了业务发展。在此之前，他曾是加利福尼亚州eBay的工程高级总监，并在包括数据服务和解决方案，搜索科学，营销技术和计费系统在内的各个领域提供了领导地位。
使用劣质数据来训练您的机器学习系统就像通过研究几何来准备物理测试。您会学到一些东西，但是您的努力可能无法帮助您正确回答测试问题。例如，如果您为自动驾驶汽车训练计算机视觉系统，并把人行道上的图像误贴为街道，结果可能是灾难性的。为了开发准确的算法，您将需要高质量的训练数据。为了生成高质量的数据，您将需要熟练的注释者来仔细标记计划与算法一起使用的信息。
当我们谈论质量训练数据时，我们同时在谈论那些标签的准确性和一致性。准确性是标签与事实的接近程度。一致性是指各种培训项目上的多个注释彼此一致的程度。
以下是组织可以实施的一些质量控制，以实现最准确和一致的数据注释过程。
标准质量保证方法提供了基准
通常，创建高质量培训数据集的组织使用三种标准方法来确保准确性和一致性：黄金集，共识和审计。
金牌组
或基准可以通过将注释(或注解符)与“金牌组”或经过审查的示例进行比较来衡量准确性。这有助于衡量一组或一组注释与基准的匹配程度。
共识
或重叠测量组之间的一致性和一致性，并通过将同意的数据批注的总和除以批注的总数来实现。对于具有相对客观等级的项目，这是最常见的质量控制方法。目标是就每个项目达成共识决定。重叠判断之间的任何分歧通常由审核员进行仲裁。
审核
通过让专家审核标签(包括抽查或审核所有标签)来衡量准确性和一致性。对于无法达成共识判断的项目，此方法非常重要-诸如转录之类的任务，审核员将审核并重新处理内容，直到达到最高水平或准确性为止。
详细的控制可以提供深入的质量评估
这些基线质量测量为监视数据注释的质量奠定了坚实的基础。但是，没有两个AI项目是相同的，组织应该建立更适合于特定计划的质量评估。负责AI计划的组织负责人可以通过考虑以下过程来建立深入的质量控制：
多种质量度量指标：
利用前面讨论的方法。
每周数据深入分析：成立
项目管理团队每周调查一次数据，并制定长期的生产率和质量目标。例如，如果您需要在92%的时间内准确的数据，则将延伸目标设置为95%，并尝试确保注释过程超出初始目标。
管理测试和审计：
要建立项目经理的质量保证技能，请他们完成注释工作和质量审计，以使他们对注释过程有第一手的经验。这使管理团队可以从360度角度查看项目，并充分了解注释者的流程。
高质量的培训数据有助于减轻偏差
高质量的训练数据可确保算法更准确，还可帮助减轻许多AI项目中的潜在偏差。偏见可能表现为针对不同性别，口音或种族的声音或面部识别性能不均。在数据注释过程中消除偏见是向培训数据集中注入质量的另一种方法。
为了避免在项目级别出现偏见，组织应积极地在定义目标，路线图，指标和算法的数据团队中建立多样性。雇用一支多样化的数据人才团队说起来容易做起来难，但是，如果您的团队的组成不能代表算法所代表的总体，那么最终产品可能只会为一部分人服务或吸引他们，或歧视人口的某些子集。
