데이터 유형별 라벨링 방법 (이미지, 영상, 텍스트, 음성)

데이터 유형별 라벨링 방법

오늘은 인공지능의 학습에 필요한 데이터유형별 라벨링 방법에 대하여 알아보겠습니다. 4차 산업혁명과 디지털 시대의 영향으로 인공지능 AI의 역할과 비중은 점차 높아지고 있습니다. 그러면 데이터 라벨러들이 인공지능 학습에 필요한 학습용 데이터를 어떻게 만드는지 한번 확인해 볼까요?

---

데이터 라벨링 및 인공지능의 학습과정

데이터 라벨링 및 인공지능의 학습과정

---

데이터 라벨링 유형

우리는 매일 수많은 데이터속에서 살고 있습니다. 하지만 이렇게 많은 데이터들을 인공지능에게 전부 학습시킬 수는 없습니다. 인공지능의 학습에 적합한 데이터의 유형과 개발 목적에 맞게 추출하여 라벨링을 해야 합니다. 데이터에는 수많은 유형이 있는데 그중 크게 이미지와 영상, 텍스트, 음성으로 분류할 수 있습니다. 분류된 유형에 따라 각각의 라벨링 방법은 다르게 진행됩니다. 모든 데이터 라벨링은 수집과 정제, 라벨링, 검수를 통해 인공지능이 학습하는데 적합한 학습용 데이터로 만들어집니다.

---

이미지 데이터 라벨링 방법

이미지 데이터는 랜드마크나 사람의 얼굴을 인식하고 의료분야에서 각종 질병의 진단과 위험물 탐지, 등 여러 기술분야에 활용됩니다. 이미지 데이터는 이미지 수집과 라벨링 과정이 있습니다.

이미지 수집

이미지는 작업 대상과 기준에 맞추어 사진을 찍는데 저작권 문제로 작업화면에서 바로 카메라로 촬영해서 올립니다.

1. 바운딩 박스 Bounding Box

이미지 데이터 라벨링에서 가장 많이 사용하는 방법입니다.

이미지에서 추출하고자 하는 대상을 네모난 박스로 표시하는 라벨링 기법입니다.

바운딩은 마우스로 대상 이미지에 박스를 드래그하여 그려서 작업하는 방식입니다. 이미지를 바운딩할 때 여백이 있거나 이미지가 잘리지 않도록 해야 하며 작업대상이 아닌 이미지에는 바운딩을 하면 안 됩니다. 반드시 이미지에 딱 맞게 박스를 그려주어야 검수에 통과할 수 있습니다.

이미지가 2개 이상인 경우 각 이미지에 바운딩 박스를 그려주고 작업대상이 무엇인지 구별할 수 있도록 <태깅>을 달아주어야 합니다. 태깅이란? 대표할 수 있는 키워드를 달아줌으로써 대상을 분류하는 작업입니다. 예를 들어 <축구공>, <사람> 등입니다.

2. 감정분석

감정분석은 이미지에 있는 사람의 사진을 보고 이 사람의 표정이 어떤 감정을 나타내는지를 추론하는 것입니다. 감정에는 즐거움, 화남, 놀람, 우울함, 아픔, 만족, 등 다양하게 있습니다. 사진을 보고 해당되는 감정을 선택하거나 글로 감정표현을 묘사하는 방식으로 작업을 진행합니다.

감정분류 작업

 

감정 카테고리

3. 키포인트

키포인트는 이미지를 보고 작업대상의 특정 지점에 마우스를 클릭해서 포인트를 찍는 작업입니다. 대상의 각 특징점을 비교해서 이미지를 매칭하거나 특징되는 점들을 연결하여 골격을 추출하는 기술에 주로 이용됩니다.

4. 얼굴 랜드마크

마우스로 눈, 코, 입, 등 얼굴의 주요 부위에 점을 찍는 방법으로 작업합니다. 사람의 안면인식과 표정변화를 통한 감정인식 기술에 주로 활용됩니다.

5. OCR 광학 문자 인식 (Optical Character Recongnition)

인공지능 AI가 영상, 이미지 안의 텍스트를 읽을 수 있도록 문자로 변환하는 라벨링 작업입니다. 이미지 안의 텍스트를 마우스로 바운딩 박스를 친다음 텍스트를 대표할 수 있는 태깅( 대표 키워드)을 달거나 전사(이미지 안의 텍스트를 타이핑해서 옮겨 적는 작업)합니다. OCR은 주로 번역, 비대면 인증, 고서의 데이터베이스화 등에 활용되고 있습니다.

6. 폴리곤

이미지에 있는 작업대상의 외곽선을 따라 점을 찍어 라벨링 하는 기법입니다. 작업대상의 테두리를 점으로 찍어 첫 번째 시작점과 마지막 끝점이 연결하여 대상 전체를 평면으로 선택합니다.

폴리곤 작업

7. 폴리라인

이미지 안의 작업대상을 점으로 찍어 선으로 연결하는 라벨링 기법입니다.

주로 선으로 된 이미지를 라벨링 할 때 사용됩니다.

---

영상 데이터 라벨링 방법

작업대상과 기준에 맞추어 영상을 찍어서 올리는 라벨링기법입니다. 저작권 문제 때문에 작업화면에서 카메라를 바로 작동시켜서 그 자리에서 촬영해 올립니다. 영상 데이터 라벨링기법에는 바운딩, 스켈레톤 추출, 특정 구간 추출, 시멘틱 세그멘테이션 등이 있습니다.

1. 바운딩

바운딩은 영상에 있는 작업대상을 박스에 넣어주는 데이터 라벨링 기법입니다.

2. 스켈레톤 추출

스켈레톤 추출은 작업대상의 행동 패턴을 분석하기 위한 것으로 대상의 특정 부위에 점을 찍어 연결해 주는 라벨링 기법입니다.

3. 특정 구간 추출

특정 구간 추출은 작업 대상이 사전에 제시된 기준에 해당하는 말이나 행동을 할 때의 구간을 선택해서 추출해 주는 라벨링 기법입니다.

4. 시멘틱 세그멘테이션

시멘틱 세그멘테이션은 이미지 속 대상의 위치와 공간적 특성을 동시에 추출해 내는 라벨링 기법입니다.

폴리곤이나 폴리라인, 브러시, 등을 사용해서 경계를 나누어 분할해 주어 이미지 안에 있는 모든 대상의 위치와 모양, 등을 영역으로 분류해 내는 작업입니다.

---

텍스트 데이터 라벨링 방법

텍스트 데이터 라벨링은 텍스트 가운데 포함된 인간이 말하고자 하는 내용을 인공지능 AI가 더 잘 인식하고 이해할 수 있게 하기 위한 라벨링 방법입니다. 텍스트, 즉 문자로 구성된 데이터로 인터넷 자동완성 기능이나 연관 검색어가 해당되며 챗봇 서비스에도 활용되고 있습니다.

텍스트 데이터 수집

수집은 제시된 내용에 적절한 질문을 작성하거나 Q&A 대화를 만드는 작업이 해당됩니다.

1. 문장 의미 비교

제시된 문장이 같은 의미인지, 아니면 서로 다른 의미인지를 선택(태깅)하는 라벨링 기법입니다.

2. 감정 태깅

제시된 문장을 읽었을 때 작업자가 느껴지는 감정을 선택(태깅)하는 라벨링 기법입니다.

3. 키워드 찾기

대화 내용을 보고 핵심이 되는 키워드를 찾는 라벨링 기법입니다.

4. 문장 요약

제시된 문장을 읽고 핵심이 되는 내용을 요약하여 핵심 문장을 만드는 라벨링 기법입니다.

---

음성 데이터 라벨링 방법

음성 데이터는 자동 번역, 영상 자막, 상황별 맞춤 대화, 음성을 문서로 변환해 주는 음성인식 서비스, 등 활용도가 높습니다.

음성 데이터 수집

음성 데이터는 휴대폰으로 음성이나 소리를 녹음하여 바로 업로드하는 방식으로 작업합니다. 작업 시 주변의 다른 소리와 섞이지 않도록 조용한 곳에서 녹음을 해야 합니다.

1. 화자 구분

제시되는 음성을 다 듣고 같은 사람은 목소리인지 아닌지를 판단해서 태깅하는 라벨링 기법입니다.

2. 음성 받아쓰기

제시되는 음성을 듣고 그대로 받아쓰는 라벨링 기법입니다.

작업 방법에는 일반 전사와 이중 전사가 있습니다.

일반 전사

일반 전사는 제시되는 음성을 듣고 그대로 텍스트로 적는 방법입니다.

일반 전사란?  사람이 말한 그대로 문자화하여 전사하는 방법

이중 전사

이중 전사는 제시되는 음성을 듣고 들리는 것과 맞춤법에 따른 두 가지 모두 기재하는 라벨링 기법입니다.

이중 전사란? 한글 맞춤법 표기에 따른 발음과 차이가 있는 경우에 <발음 전사>와 <철자 전사>를 병행하여 작성하는 방법

---

데이터 라벨링 방법에는 위에 있는 이미지, 동영상, 텍스트, 음성 외에도  3D 라벨링, 멀티모달 라벨링이 있습니다. 모든 라벨링 기법은 각각 따로 적용되기도 하지만 다른 유형에도 같이 적용될 수 있습니다.

오늘 이렇게 인공지능 AI 학습에 필요한 데이터 라벨링을 하는 유형에 대하여 알아보았습니다.

---