재미있는 연구들 <최근에 찾음>

지루한 이야기는 관두고, 오늘은 좀 재밌는 연구를 찾아봤다 

지금 당장 학부생이라 무의미 하지만, 향후 석+박 을 한다면 도움이 될 까 해서 적는다.

아무래도 석사를 하게 된다면 야간대학원으로 하게 될거 같아서 아쉽다.

 

 

 

특히, 두피에서 측정되는 비침습적 뇌파인 EEG 신호를 활용한

좌/우 운동 상상(Left-Right Hand MI) 

 

그러니까, 뇌파 -> Deep learning 확장 -> 로봇 조종 

 

 

앵 이거, 완전 사이코 프레임 아니냐? 

---

 

 

 

건담 보면 뉴타입들이 생각만으로 로봇 움직이고, 더 쩌는 애들은 '판넬' 날리면서 다수의 드론 무기를 생각만으로 동시 조종하잖아. 현실의 공돌이들도 이 짓을 하고 있더라. 단순히 로봇 팔 하나 움직이는 걸 넘어서, 뇌파 데이터랑 딥러닝을 섞어 다량의 드론 군집(Swarm Drones)을 생각만으로 조종하는 연구까지 확장되고 있음.

 

최근에 내 전공(Software Development + Deep Learning) 살려서 관련 논문 4개 정도 싹 훑어봤다.

 

결론부터 말하면, 딥러닝 모델 자체는 엄청 발전했는데 이걸 실제 드론에 연결해서 '지연 없이' 굴리는 데이터 파이프라인 관점에서는 아직은 아쉬움이 있다 

 

전통적 머신러닝 vs 딥러닝(CNN)

옛날에는 뇌파에서 특징 뽑아내고 머신러닝 돌렸는데, 요즘은 그냥 CNN(합성곱 신경망)으로 다 패고 다닌다.

논문 하나 보니까 기존 머신러닝은 정확도 52% 나오던 게, 원시 뇌파 신호에 CNN 때려 박으니까 69%까지 떡상함. 특히 기존 방식으로는 뇌파 제어 안 되던 똥손(?) 유저들도 딥러닝 쓰니까 제어가 가능해졌다고 함. 또 다른 논문은 사람마다 뇌파가 다 달라서 생기는 문제(개인차)를 아키텍처 비틀어서 80~90% 정확도까지 끌어올렸더라.

 

논문들 읽으면서 느낀 건데, 얘네들 연구실 밖으로 나오면 바로 박살 날 것 같다. 실제 상용화나 다중 드론 제어 시스템에 쓰기엔 치명적인 문제가 3개 있음.

 

첫 번째, 노이즈 필터링 파이프라인이 없다. 뇌파 데이터는 진짜 더럽다. 눈 한 번 깜빡이거나 턱 움직이면 노이즈 튀는데, 논문들은 그냥 데이터 통째로 넣거나 대충 필터만 거침. 야외에서 드론 날리면서 뇌파 쏘는데 이렇게 한다? 명시적인 데이터 전처리 파이프라인 없으면 드론 바로 땅에 꼬라박음.

 

두 번째, 시계열 데이터를 2D 이미지로 잘 안 쓴다. 뇌파는 다채널 시계열 데이터인데, CNN 성능 100% 뽑으려면 이걸 스펙트로그램 같은 2D 이미지로 바꿔서 넣어야 됨. 일부 연구만 그렇게 하고 아직 이 변환 기법이 표준화가 안 되어 있더라.

 

세 번째, 실시간(Real-time) 테스트를 안 한다.

 

 

이게 제일 어이없는 부분. 다들 이미 예쁘게 정제된 오프라인 데이터셋으로만 돌려보고 "정확도 높음 ㅅㄱ" 이러고 있음. 다수의 드론을 조종하려면 뇌파 수집 -> 전처리 -> 추론 -> 드론 제어까지 0.1초 단위로 실시간으로 돌아가야 되는데, 엣지 환경에서 이게 되는지 고민한 흔적이 없음.

 

 

내가 생각하는 차세대 판넬(다중 드론) 조종 아키텍처

이거 보니까 다음에 석박을 하게 된다면, 때 내가 뭘 해야 할지 견적을 대충 짜. 그냥 정확도 높은 모델 깎는 짓은 안 하고, 현실에서 바로 쓸 수 있는 '다중 드론 뇌파 제어용 실시간 데이터 파이프라인'을 짜볼까 함.

• 빡센 데이터 파이프라인: 원시 뇌파 스트리밍 받자마자 눈 깜빡임 노이즈 실시간으로 날려버리는 전처리 자동화 모듈 (Data Engineering 등판).
• 신호 2D 변환: 정제된 시계열 데이터를 실시간 주파수 변환해서 2D 이미지로 굽기.
• 다중 객체 제어용 CNN: 변환된 이미지 가벼운 딥러닝 모델에 태워서 좌, 우, 상, 하 및 드론 군집의 확산/밀집 같은 복합 명령 실시간 추론.
• 클라우드/엣지 서빙: 수십 대 드론에 딜레이 없이 명령 쏠 수 있게 AWS나 로컬 엣지 환경에서 병목 없는 아키텍처 구축.

결어

 

알고리즘 짜는 연구자들이 모델 아키텍처 최적화할 때, 이걸 드론 같은 실제 하드웨어랑 매끄럽게 이어주는

'데이터 엔지니어링 파이프라인'은 아직 개꿀 블루오션인 것 같다. AI 로 빠르게 발전은 하고 있지만은, edge computing 입장에서는 아직 까지는 좀 아쉬움 

건담에서 뛰어난 파일럿들이 생각만으로 판넬 수십 개를 날리려면,

결국 데이터를 미친 듯이 효율적으로 다루고 시스템 아키텍처를 짜는 Data & ML Engineer가 멱살 잡고 캐리해야 됨.

언젠가 내 손으로 진짜 사이코 프레임이랑 드론 군집 제어 시스템을 코드로 짜는 날을 상상하면서,

 

일단 이번 학기 딥러닝이랑 데이터 엔지니어링 프로젝트나 빡세게 굴러봐야겠다.