[2022 Fall] Capstone Design Project
XR기반 홈트레이닝 시스템 및 근전도 센서를 활용한 게이미피케이션
전세계가 함께 팬데믹 사태를 겪으며 각자의 집에서 보내는 시간이 굉장히 많아졌다. 그에 따라 자연스럽게 집에서 자신의 건강을 위해 운동하는 홈 트레이닝이 주목받고 있다. 혼자서 하는 경우가 많은 홈트레이닝 특성상 자신의 자세가 옳은 자세인지 피드백을 받기는 쉽지 않고, 또한 지루하기도 하다. 이에 근전도 센서를 이용해 각각의 자세에 따라 어느정도 자극을 근육이 느끼는지 측정하고, 해당 근육의 자극정도를 통해 정자세로 운동을 수행하는지 피드백을 주고자 한다. 이때, XR을 이용한 게임적 요소를 결합하여 이용자들이 더 자연스럽게 더 높은강도로 또 정자세로 운동을 할 수 있도록 하는 Controller와 소프트웨어를 구현하고, 이를 통해 상세한 게임적 요소와 피드백이 우리의 운동강도에 미치는 영향을 연구해 보고자 한다.
Health Battle on the Lake
게임 속 캐릭터가 되어 게임 속 친구와 집에서 운동하며 스타를 모아 승리한다.
Microsoft Windows, MacOS
체감형 캐주얼 게임
홈 트레이닝에 관심있는 전 연령
 |
 |
|---|---|
| Leonard (Boy) | Haley (Girl) |
- 시간: 1980년 - 2000년 초반
- 장소: 호수를 둘러싸고 있는 마을
- 1980.09.24
- 쌍둥이 Leonard & Haley 탄생
- 1991.12.03
- 마을에 큰 폭동 발생
- Leonard 납치
- 2001.04.01
- 10년간 준비한 Haley의 복수의 날
- 폭동족들과 함께 행복한 삶을 살고 있는 Leonard에게 배신감을 느끼고 결투 신청
호수를 둘러싸고 있는 마을을 배경으로 Haley와 Leonard가 결투를 벌인다.
-
Barraduda 에서 제공하는 Supported Platforms
-
Windows, MacOS 기반 웹캠과 GPU가 있는 노트북 혹은 데스크탑을 타겟으로 한다.
- NN기반 pose estimation을 실시간으로 수행하는 기능이 필요하기에 GPU가 필요함.
- Engine: Unity Engine
- Programming Language: C#, Python
- Library: Barracuda, Photon PUN, Mediapipe
제스처 기반 사용자 입력을 처리하기 위한 Mirror View 카메라와 pose Estimation을 위한 탑뷰 카메라로 사용자를 촬영합니다. 탑뷰 카메라로 부터 받은 input source는 unity내에서 실행되는 Resnet 기반 동작 인식 모듈인 Barracua로 전송됩니다.
- Unity Version: 2020.3.41f1
git lfs install
git clone https://github.com/haram1117/HomeTrainingGame.git
- https://github.com/haram1117/hand-gesture-recognition-mediapipe
- Check Requirements
https://github.com/haram1117/hand-gesture-recognition-mediapipe.git
- Open the Unity Project
- Need 2 Cameras
- 0: Pose Estimation
- 1: Hand Gesture Recognition
python app.py
| 이름 | 학번 | 이메일 |
|---|---|---|
| 김승찬 | 2018102174 | [email protected] |
| 노현욱 | 2017103983 | [email protected] |
| 박하람 | 2019102181 | [email protected] |