2022 AI-Hub 학습데이터 기반 해커톤 대회 - 금상 수상, 프로젝트 회고

프로젝트 명 : 딥러닝 기반 벌 종류 분류 시스템

---

개요

• 본 프로젝트는 양봉 농부들에게 도움이 되고자 진행하게 되었다. 하나의 벌통에는 한 마리의 여왕벌이 존재해야 하며, 벌들의 종류 또한 섞이면 안된다. 따라서 벌들의 종류를 정확히 파악하고 분류해야 할 필요가 있다. 또한 벌통 청소, 꿀 채취, 농약 살포 등을 위해 1년에 최소 6회는 여왕벌을 찾아야 할 필요가 있다. 그리고 꿀을 저장하는 먹이장과 알을 낳는 산란장은 관리를 위해 구분되어져야 하는데, 여왕벌이 먹이장으로 이동하여 산란을 하게 되면 여왕벌을 찾아 산란장으로 다시 이동시켜야 하며 산란된 알들을 찾아 옮겨줘야 한다. 하지만 여러 마리의 벌들 속에서 여왕벌을 정확히 찾기는 상당한 시간이 소요될 뿐만 아니라 조그만 알들을 찾아 옮겨주는 일 또한 양봉사업가의 노동이 필요하다. 본 프로젝트에서 벌들의 종류와 알, 애벌레, 번데기 등 딥러닝을 이용하여 정확히 분류하는 것이 목표이며 최종적으로 높은 정확도를 통해 벌들을 정확히 구분함으로써 양봉 산업의 발전에 기여하고자 한다.

 

• 최근 양봉 시스템의 자동화와 같은 스마트양봉시스템이 활발하게 개발되고 있다. 따라서 양봉 산업의 스마트 시스템화를 위해 본 프로젝트를 제안한다. 하나의 벌통에 여왕벌이2마리가 있는 경우, 한 마리가 살아남을 때까지 싸우게 되는데 이는 곧 양봉 산업에서 치명적이다. 평균적으로 여왕벌은3-5년을 살고, 생애 첫2-3년 동안 연간200,000개의 알을 낳을 수 있다. 양봉 산업에서 여왕벌을 벌통 하나에 한 마리만 배치함으로써 벌집의 번성을 이루어 나갈 수 있고 이는 곧 양봉을 진행하는데 있어서 필수적이다. 또한 효율적인 관리를 위해 여왕벌이 산란장이 아닌 다른 소비장으로 이동하여 산란할 경우 여왕벌과 산란된 알들을 옮겨줘야 하는데 수많은 벌들 중에서 여왕벌과 조그만 알들을 찾는 일은 번거로운 작업이다. 따라서 한 벌통에 정확히 한 마리의 여왕벌만 존재하는 환경을 만들어주기 위한 여왕벌 분류, 벌들의 종류가 섞이지 않게 하기 위한 벌들의 종류 분류, 효율적으로 소비장을 관리하기 위한 알, 애벌레, 번데기 분류, 총3가지 목적을 가지고 프로젝트를 진행하였다.

 

• 본 프로젝트는 단순히 여왕벌인지 아닌 지로 분류하는 것이 아닌 총 11개의 클래스로 분류하는 것이 가능하며, 한 장의 사진 속에 여러 종류의 벌들과 알, 애벌레, 번데기 등이 포함되어 있어도 이를 분류한다. 따라서 이 학습된 모델로 수 일벌인지 여왕벌인지 분류가 가능할 뿐만 아니라, 알, 애벌레, 번데기, 그리고 어떤 종류의 벌 인지 출력이 가능하다. 

---

프로젝트 구현

데이터셋 구조 및 내용

• 데이터는 라벨링데이터와 원천데이터로 구분되어 있으며, 라벨링데이터는 JSON 파일로 BBOX정보를 포함하고 있다. 원천데이터는 JPG(Fig. 2(d))로 이미지파일을 포함하고 있다. 해당 프로젝트는 라벨링데이터(JSON)와 원천데이터(JPG)의 실제데이터를 사용하여(Fig. 2 (a, b)) 진행하였다. 데이터는 총 11개의 Class로 해당 클래스에 대해 고유한 라벨 제목으로 존재하였다. 따라서 고유 라벨 값을 그대로 클래스를 구분하였으며 Fig. 4와 같이 왼쪽 열의 값들을 기준으로 분류를 진행하였다. 각각의 클래스마다 10000장의 JPG IMAGE와 JSON 파일이 있었으며 총 110000장의 데이터를 확보하였다.

데이터 전처리

 

총 데이터 수

• 데이터 중 일부에는 JSON 파일의 BBOX 정보가 존재하지 않았다. 이는 학습에 불필요한 요소라고 판단되어 제거 후 학습을 진행하였다.최종적으로는 109948개의 데이터를 이용하였다.
• 최종적으로 109948개의 데이터를 이용하였다. 또한 Yolo v4 학습을 위해 BBOX와 Class정보를 사전 처리하여 텍스트 파일로 변환하였다(Fig. 6). 클래스 정보는 Fig. 5의 클래스 순서대로 0부터 10으로 정의하였다.

 

추가한 텍스트 파일 정보

• 109948개의 데이터를 Train Set은 87959개, Test Set은 21989개로 지정하였다. 학습된 환경은 Window i5-12400F CPU와 RTX 3060 GPU이며 87959개의 데이터셋을 학습시키는 데에 약 5.26 시간이 소요되었다.

모델 선정

 

본 프로젝트에서 선정한 모델에 대한 세부 내용으로 제공된 양봉 데이터를 이용하여 벌들의 종류를 구분하기 위한 딥러닝 기술로 YOLO v4를 사용하였다. Darknet 프레임워크를 이용한 YOLO v4는 빠른 추론 속도와 상당한 정확도를 자랑하는 Object Detection 모델일 뿐만 아니라, 시스템에서 빠른 작동 속도를 가져가면서도 병렬적으로 최적화된 계산이 가능하다. YOLO v4를 선정한 자세한 이유는 다음과 같다.

 

  1. 효율적이고 높은 성능을 보이는 object detector를 이용하여 고가의 그래픽카드가 아닌 환경에서도 빠르고 정확하게 훈련이 가능하다

  2. Bag of freebies: 오프라인 환경에서 훈련되는 모델에서 훈련 방법만 변경하거나 훈련 비용만 증가시켜 정확도를 높일 수 있다.

  3. Bag of specials: 플러그인 모듈과 전처리를 통해 cost를 약간 증가시키지만 정확도를 크게 향상시킬 수 있다.

 

정확하게 벌들의 종류를 분류하는 것이 중요한 만큼 가장 효율적이고 정확한 모델을 선정할 필요가 있었다. 따라서 본 프로젝트에서는 위와 같은 이유로 YOLO v4를 선정하여 벌들의 종류를 구분한다.

 

결과

 

각각의 성능은 Object detection model의 대표 도구인 IoU(Inter section of Union)으로 평가하였다. IoU의 정의를 뜻하며 통상적으로 IoU가 0.5 일 경우를 Threshold 값으로 사용하고 있다.

IoU

수일벌 – 호박벌 사진의 모델 테스트 결과이며 각각의 벌 detection IoU score은 첫 번째 수일벌 – 호박벌 개체에 대해 0.95, 두 번째 개체에 대해 0.28, 세 번째 개체에 대해 0.30으로 예측하였다.

 

수일벌 - 호박벌

 

수일벌 – 한봉 Test Set 결과로 3개의 객체에 대해 IoU score는 0.66, 0.49, 0.57이었다.

수일벌 - 한봉

수일벌 – 카니올란 Test Set 결과로 3개의 객체에 대해 IoU score는 0.66, 0.49, 0.57이었다.

수일벌 - 카니올란

사업화 방안

색인어	객체 검출, 딥러닝, 인공지능
사업 개요	1. 양봉 사업에 있어서 하나의 벌통에는 한 마리의 여왕벌이 존재해야 한다. 하나의 벌통에 두 마리의 여왕벌이 있는 경우 한 마리가 살아남을 때까지 싸우게 되는데 평균적으로 연간 200,000개의 알을 낳는 여왕벌의 손실은 양봉 사업에 치명적이다. 여왕벌을 찾는 과정에 있어 양봉 사업가의 노동을 줄이고 양봉 사업의 발전에 기여하고자 본 프로젝트의 사업화 방안을 제시한다.   2. 본 프로젝트에서 제안하는 객체 검출을 통해 위에서 제안한 목적 이외에도 다른 다양한 기능을 수행한다. 그 이유는 다음과 같다.    여왕벌의 객체 검출 뿐만 아니라 벌통 내부를 수시로 관찰하여 벌에 이상이 있는지, 벌통에 문제가 없는지 확인하는 것은 굉장히 중요하다. 벌통 내부를 세밀하게 살펴봄으로써 일벌의 수 확인, 벌통의 위생 상태, 여왕벌의 유무 및 건강 상태, 산란 및 애벌레 상태, 질병 여부, 죽은 벌 확인, 꿀 저장 상태 등 모니터링 시스템을 통해 다양한 기능을 수행할 수 있다.    벌통 내부를 살피는 기간은 적어도 1주에 한번 씩은 필요한 작업이며, 본 프로젝트의 사업화를 통해 작업의 노동을 줄이고, 좀 더 편리하고 효율적으로 관리할 수 있음을 제안한다.   3. 밀원식물이 없을 때 도봉이 생기는데, 도봉은 벌이 남의 벌통에 들어가서 벌꿀을 훔쳐가는 벌을 뜻한다. 따라서 농부는 도봉이 생기지 않도록 조심하고 꿀벌들이 활동하는 시간에 일을 중단하고 다음에 하기도 한다. 도봉이 와서 꿀만 훔쳐가는 경우도 있지만, 대군이 침투를 하면 여왕벌부터 공격을 하기 때문에 도봉으로 생기는 피해는 상상 이상으로 클 수도 있다. 도봉이 발생하면 벌들은 본인의 집을 지키기 위해 싸움을 하고 피해가 크기 때문에 특히 신경을 더 써야한다.    본 프로젝트를 통해 벌집 내부에 도봉이 발생하는지 다른 종류의 벌들을 객체 검출을 통해 인식함으로써 도봉을 사전에 예방할 수 있다. 벌집 주변이나 벌집 내부에 실시간 모니터링을 통해 다른 벌들의 종류가 들어오는 것을 확인할 수 있으며, 농부는 이러한 사태에 재빠르게 대처가 가능하게 된다.   4. 인공수분이 어려운 현화식물의 수분을 돕기 위해 주로 벌들을 이용해 수분과정을 진행한다. 보통 대농장에서 벌을 이용해 수분을 진행할 경우 여러 명의 양봉업자를 불러 진행하게 되는데, 이 과정에서 타 종류의 벌들의 질병에 감염되거나 싸울 수 있는 위험성이 있다.  따라서 벌들의 종류를 감지할 수 있는 딥러닝 모델을 통해 인공수분 과정에서 벌들의 위험성을 줄일 수 있으며 사전에 벌들의 종류에 대해 확인 후 수분을 진행하는 등 사전적인 조치가 가능하다.   위 4가지 개요를 바탕으로 객체 검출을 통한 벌 종류 분류 프로젝트는 양봉 사업에 다양한 이점을 가져올 것이라는 근거로 사업화 방안을 제시한다.
추가적인 개발 목표 및 필요성	개요 및 목표에서 제안된 기능을 수행하기 위해서 추가적인 데이터의 확보를 필요로 한다. 사용자에게 제공하기 위해서는 그만큼 정확한 성능을 보여야하고, 외부 요소에 의한 변수가 적어야 한다. 따라서 대량의 데이터를 확보하여 학습해야 할 필요가 있다. 대량의 데이터를 학습시킴으로써 특정 환경에 의해 인식이 되지 않거나, 분류를 부정확하게 하는 상황을 최소화할 수 있다.
최종 결과물	[결과물 1] 결국 사용자에게 서비스를 제공하기 위해서는 본 프로젝트의 기능을 정확히 수행하고, 사용자에게 쉬운 접근성의 결과물이 필요로 한다. 따라서 카메라 센서를 통해 위 기능을 수행하고자 한다.   1. 카메라 센서는 가격이 저렴하고 데이터 처리가 편리하여 객체 검출에 용이하다는 장점이 있다. 따라서 객체 검출이 자주 사용되는 자동차, 로봇 등 분야에 자주 사용된다. 따라서 고가인 라이다가 아닌 비교적 사용이 쉽고 구현하기 쉬운 단안 카메라 기반의 객체 검출을 목표로 한다.   2. 구체적인 단안 카메라 구현 과정은 아래와 같다. 1) 실시간 영상 데이터를 처리해야 하므로 계산 량을 줄일 필요가 있다. 2) YOLO v4에서 사용된 레이어의 개수를 줄임으로써 계산 량을 줄여 연산 속도를 높인다. 3) 벌들의 크기가 작은 것을 고려하여 보다 정확한 검출을 위해 해상도를 기존의 해상도보다 높인 해상도로 학습한다. 4) 위 환경으로 YOLOv4 모델에 입력 영상을 넣고 벌들에 대한 정보를 검출한다. 5) 검출한 좌표 값과 영상 데이터를 데이터베이스에 저장하여 추가적인 데이터를 확보한다.

 

기대효과

  본 프로젝트를 통해 사용자들의 노동을 줄이고 안정적인 양봉 산업이 가능할 것이라고 예상한다. 벌통 청소, 꿀 채취, 농약 살포 등을 위해 여왕벌을 찾아야하는 과정의 시간을 단축시키고, 육안으로 구분하기 어려운 벌들에 대해 쉽게 구분할 수 있다.

  벌통의 내부의 개체 수 감소와 같은 내부에서 발생하는 사건 사고들은 양봉 소유자가 실시간으로 파악하기 쉽지 않으며, 이에 대한 대처가 늦어지면 양봉 사업에 큰 영향을 끼칠 수도 있다. 본 프로젝트를 활용하여 양봉 농부는 주기적으로 벌통 내부를 세밀하게 살펴봄으로써 벌 섞임 방지, 도봉 예방, 일벌의 수 확인, 벌통의 위생 상태, 여왕벌의 유무 및 건강 상태, 산란 및 애벌레 상태 등 모니터링 시스템을 통해 다양한 기능을 수행할 수 있다.

  위와 같은 기능들을 바탕으로 소비장 증소 시기 예측, 여왕벌 교체 시기 예측 등 다양한 방법으로 활용하여 양봉 분야 인공지능 적용에 기여할 수 있을 것이라 기대한다.

 

---

개발 팀원 : 3명

개발 기간 : 2022. 11. 01 ~ 2022. 11. 07 (약 1주)

역할 

• 주제 선정 및 모델 탐색 (60%)
• 프로젝트 제안서 보고서 작성 (70%)
• Yolo 모델 학습 (30%)

아쉬운점

• 제공된 데이터셋을 좀 더 활용하였으면 성능적인 부분이 더 좋지 않았을까라는 생각을 하였다. Polygon 데이터와 파괴 데이터를 사용하여 사진 속 벌들의 정확한 위치를 포함한 정보를 더욱 추가하여 정확도를 높였으면하는 아쉬움이 남았다.
• 촉박한 시간으로 인해 이것저것 다양한 모델들을 돌려보지 못하였다. 기본적인 CNN(성능 저조)이랑 Yolo v4 두 모델밖에 못돌려봤다는 점이 아쉬웠다.

수상 결과