목록두산 로보틱스 부트캠프 ROKEY/실무 프로젝트 (40)
printf("ho_tari\n");
[지능] Vision AI 기반 컨베이어 벨트 객체 인식 딥러닝 모델 최적화 4일차
2024.12.06 4일차부터는 YOLOv6의 M모델과 L모델의 객체 탐지 정확도를 향상시키기 위해 계속해서 여러 데이터들을 만들고 학습시키는 것을 반복하였다. 학습 데이터의 수를 다르게 해보며 모델을 학습시켰다. 데이터의 수를 조금씩 늘려가보기도 하고 데이터의 경향성을 일관되게 만들어보기도 하였다. YOLOv6-M모델의 L모델보다 더 정확도가 높다고 판단하여 M 모델을 사용하기로 결정하였고 계속해서 M 모델을 발전시키려고 하였다. M 모델의 mAP 수치는 80% 후반으로 계속해서 높게 나왔지만 이미지에 대해 객체를 탐지하는 정확도가 높지 않았고 그 원인에 대해 분석을 하고 해결해보려고 하였지만 쉽게 해결되지 않았다.
[지능] Vision AI 기반 컨베이어 벨트 객체 인식 딥러닝 모델 최적화 3일차
2024.12.05 3일차에는 프로젝트를 진행하기 위해 필요한 데이터들을 직접 수집하고 라벨링하고 모델에 학습시켜 예측 결과를 확인해보았다. 먼저 라즈베리 피코안에 설계되어 있는 여러 센서들을 탐지하기 위해 라벨링해야할 데이터를 컨베이어 벨트를 이용하여 촬영하고 저장하여 수집하였다. https://youtube.com/shorts/iStBSuXnV2U import timeimport serialimport requestsimport numpyfrom io import BytesIOfrom pprint import pprintimport osimport cv2ser = serial.Serial("/dev/ttyACM0", 9600)# API endpointapi_url = ""def get_img(): ..
[지능] Vision AI 기반 컨베이어 벨트 객체 인식 딥러닝 모델 최적화 2일차
2024.12.04 2일차에는 1일차 때 라벨링 한 샘플 데이터를 YOLOv6-n 모델을 이용하여 학습시킨 뒤 prediction을 해보았다. 샘플 데이터의 화질이 매우 좋지 않아서 그런지 확실히 객체를 정확하게 탐지하지 못하는 것 같다. 파이썬 코드를 작성하여 수집한 이미지 데이터에 학습하여 생성한 YOLOv6 모델을 적용시켜 객체 탐지 박스가 생성된 이미지를 생성하여 저장하도록 하였다. import cv2import requestsfrom requests.auth import HTTPBasicAuthimport osimport globimport jsonimport randomfrom collections import Counter# ------------------------------# 1. ..
[지능] Vision AI 기반 컨베이어 벨트 객체 인식 딥러닝 모델 최적화 1일차
2024.12.03 새로운 프로젝트가 다시 시작 되었다. 이번 프로젝트의 주제는 컨베이어 벨트를 이용해 객체를 이동시키고 카메라를 통해 이동되는 객체 안의 다양한 센서들을 YOLO를 활용해서 탐지하고 객체 박스를 생성하는 것이다. 전체적으로 주제가 간단한만큼 모델의 객체 탐지 정확도를 향상시키는 것에 집중을 해야할 것 같다. 1일차에는 superb-ai에서 제공하는 데이터 라벨링 플랫폼을 이용하여 바운딩 박스, 폴리곤, keypoint 등을 이용하여 라벨링 해보는 실습을 하였다. 이렇게 superb-ai의 라벨링 플랫폼의 사용법을 익힌 뒤, 미리 제공받은 데이터 샘플들을 라벨링해보고 YOLOv6 모델을 이용하여 객체 탐지 학습을 시키기 위한 train, validation 데이터를 준비하였다.
2024.12.02 프로젝트의 마지막 날로 터틀봇의 자율 주행 및 자동 mapping의 최종 구현을 하는 날이다. https://youtu.be/wAiD0L0nBgo 최종 구현에서 쓰인 코드와 자료는 다음과 같다.
[주행] SLAM 모델 기반 다중이용시설 로봇 주행 환경 장애물 인식 모델 개발 4일차
2024.11.29 4일차부터는 본격적으로 터틀봇4를 이용하여 미리 제작해놓은 map 안에서 터틀봇4가 자율 이동을 하며 동시에 자동으로 mapping을 해야하는 프로젝트를 진행하였다. ros2 launch turtlebot4_viz view_robot.launch.py이 명령어를 통해 rviz 프로그램을 실행시키고 ros2 launch turtlebot4_navigation slam.launch.py params:='/home/parkseongho/slam.yaml'이 명령어를 통해 slam을 기반으로 주행을 하며 라이다 센서의 데이터를 가지고 mapping을 할 수 있도록 하였다. slam.yaml 파일의 경로를 넣어 직접 수정한 파라미터 값들이 설정되어 있는 slam.yaml 파일을 가지고 sla..
[주행] SLAM 모델 기반 다중이용시설 로봇 주행 환경 장애물 인식 모델 개발 3일차
2024.11.28 3일차에는 2일차에 Camera, Visual Feature, Visual Odometry 관해 배웠던 내용들을 바탕으로 직접 찍은 사진들을 이용하여 파노라마 이미지를 구현해보는 실습을 하였다. 이어서 SLAM에 대해 이해하기 위한 기초적인 이론 지식 중 Sensor Fusion, LiDAR 센서에 대해 배웠다. 이렇게 2일차와 3일차에 거쳐 SLAM을 이해하기 위해 필요한 기초 지식들을 배웠고 이를 바탕으로 로봇의 자율 이동 및 mapping에 대해 실습을 할 준비를 하였다.
[주행] SLAM 모델 기반 다중이용시설 로봇 주행 환경 장애물 인식 모델 개발 2일차
2024.11.27 2일차에는 이제 다른 조로부터 받은 과업지시서의 내용을 바탕으로 카메라와 라이다 센서로부터 얻은 데이터들을 직접 라벨링해보는 시간을 가졌다. 다른 조로부터 받은 과업지시서의 내용에 의하면 실내 주차장에서 차량의 종류별로, 주차 공간의 종류별로 클래스를 지정하고 구별하여 라벨링을 하는 작업이 필요하였다. 그 후에는 앞으로 SLAM을 기반으로 자율 주행 중 주변 환경 방애물 인식 모델 개발을 위해 필요한 기초적인 지식을 배우는 시간을 가졌다. SLAM에 대해 알기 위해 기본적으로 알아야할 내용들에 대해 학습을 하였다.