新闻资讯

NEWS INFORMATION

首页 >> 新闻资讯 >>新闻动态 >> 什么是数据标注?
详细内容

什么是数据标注?

  1. 什么是数据标注

  这个是IT互联网公司的一个职位,数据标注员就是使用自动化的工具从互联网上抓取、收集数据包括文本、图片、语音等等,然后对抓取的数据进行整理与标注。相当于互联网上的”专职编辑“。 这个岗位工作任务简单的,没什么技术含量。工资基本也不高,大部分3000-4000,很少有5000以上的。而且这类IT公司大部分都是民营公司,待遇不会太高。

  训练集和测试集都是标注过的数据。

  在进行数据标注之前,我们首先要对数据进行清洗,得到符合我们要求的数据。数据的清洗包括去除无效的数据、整理成规整的格式等等。具体的数据要求可以和算法人员确认。

  2. 举例说明

  我们在聊天软件中,通常会有一个语音转文本的功能,这种功能的实现大多数人可能都会知道是由智能算法实现的,但是很少有人会想,算法为什么能够识别这些语音呢,算法是如何变得如此智能的?

  其实智能算法就像人的大脑一样,它需要进行学习,通过学习后它才能够对特定数据进行处理,反馈。

  正如语音的识别,模型算法最初是无法直接识别语音内容的,而是经过人工对语音内容进行文本转录,将算法无法理解的语音内容转化成容易识别的文本内容,然后算法模型通过被转录后的文本内容进行识别并与相应的音频进行逻辑关联。

  也许会有人问,那么不同的语速、音色模型算法怎么能够分辨呢。这就是为什么模型算法在学习时需要海量数据的原因,这些数据必须覆盖常用语言场景、语速、音色等,全面的数据才能训练出出色的模型算法。语音标注的过程如下图示,便于理解。

  3. 常见的数据标注类型

  1. 分类标注: 分类标注,就是我们常见的打标签。一般是从既定的标签中选择数据对应的标签,是封闭集合。如下图,一张图就可以有很多分类 / 标签:成人、女、黄种人、长发等。对于文字,可以标注主语、谓语、宾语,名词动词等。

  适用:文本、图像、语音、视频

  应用:脸龄识别,情绪识别,性别识别

  2. 标框标注: 机器视觉中的标框标注,很容易理解,就是框选要检测的对象。如人脸识别,首先要先把人脸的位置确定下来。

  适用:图像

  应用:人脸识别,物品识别

  3. 区域标注: 相比于标框标注,区域标注要求更加精确。边缘可以是柔性的。如自动驾驶中的道路识别。

  应用:自动驾驶

  4. 描点标注: 一些对于特征要求细致的应用中常常需要描点标注。人脸识别、骨骼识别等。

  应用:人脸识别、骨骼识别

  5. 其他标注: 标注的类型除了上面几种常见,还有很多个性化的。根据不同的需求则需要不同的标注。如自动摘要,就需要标注文章的主要观点,这时候的标注严格上就不属于上面的任何一种了。(或则你把它归为分类也是可以的,只是标注主要观点就没有这么客观的标准,如果是标注苹果估计大多数人标注的结果都差不多。)

  ————————————————

  版权声明:本文为CSDN博主「麦地与诗人」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

  原文链接:https://blog.csdn.net/YPP0229/article/details/97789995


技术支持: 安徽企匠科技有限公司 | 管理登录
seo seo