slow paper

=====================================================================

벽 뒤 사람의 모습을 볼 수 있을까?

이번 논문은 벽이나 장애물 뒤에 있는 사람의 모습을 정확히 포착하는 기술에 대해 설명합니다. 우리가 흔히 사용하는 wifi 와 같은 무선신호를 사용해 벽을 회절, 사람의 몸에서 반사되는 정도를 측정해서 말입니다. 최신 vision 모델인 open pose와 무선신호를 동기화해서 모델을 훈련시키고, 훈련된 모델은 무선신호만으로 사람의 모습을 판단하고 있습니다.

2.Related Work
(a) Computer Vision
RGB 이미지 데이터로 사람의 자세를 측정하는 방법에는 크게 2가지 방식이 있습니다. 이미지에 있는 사람들을 먼저 찾고 개개인의 키포인트를 찾아 세밀하게 보는 방식(Top-down 방식), 이미지에 나온 모든 키포인트를 찾고 연관된 키포인트들을 통해 사람을 추정하는 (Bottom-up) 방식입니다.
cross-modal 방식은 서로 다른 방식 — 여기서는 이미지 정보와 RF신호 — 을 상호보완적으로 활용해서 정보를 추정하는 걸 말합니다.

(b) Wireless Systems
무선신호는 크게 2가지 방식으로 나뉩니다. 고주파는 공항검색대의 스캐너와 같이 물체의 표면을 정확하게 인식할 수 있습니다. 직진성은 높으나 회절율이 좋지않아 벽이나 장애물을 넘기가 힘듭니다. 반대로 저주파는 회절율이 좋아서 벽이나 장애물 뒤의 물체나 사람을 감지할 수 있습니다. 쉬운예로 5G wifi 의 경우 공유기 근처에서는 신호가 잘 잡히지만 화장실이나 밀폐된 공간에서는 신호세기가 낮아지는 걸 들 수 있습니다.

3. RF Signals Acquisition and Properties
저전력의 RF 신호를 보내고 신호가 반사되는 것을 이용해 사람의 자세를 측정합니다. FMCW와 안테나 배열에서 사용하는 기술과 비슷합니다. FMCW는 연속된 파장을 보내면 이 파장이 물체에 반사되어 돌아오는 시간을 이용해 거리를 측정하는 방식입니다. 논문에서는 수직, 수평의 2차원 안테나 배열을 사용하여 2차원의 히트맵을 생성합니다.

빨간색일수록 큰 값을, 파란색일 수록 적은 값을 나타냅니다. (물체가 해당 위치에 있을 확률)

4. Method

사람의 모습을 측정하는데 있어서 가장 큰 어려움은 RF 신호에서 라벨링 데이터가 부족하다는 점이었습니다. 이를 해결하기 위해 cross-modal teacher-student network를 고안하였습니다. 먼저 RGB 이미지들을 통해 사람의 위치를 keypoint confidence maps 형태로 변환시켜 지도학습을 시킵니다: Teacher(I) -그림 상단부분
그리고 RF 신호로만 만든 수직, 수평선의 히트맵을 통해 동일하게 keypoint confidence maps 을 만들어 Teacher 네트워크의 값과 비교하여, 수정보완하는 작업을 합니다 : Student(R)-그림 하단부분
keypoint는 사람의 인체부위를 14개로 나누어 측정했습니다. (머리, 목, 어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목)

student 네트워크의 목표는 예측된 S(R)과 teacher 네트워크의 예측값 T(I)의 차이를 최소화 시키는 것입니다.

eq. (1)

RF 신호는 공간 해상도가 낮기때문에 여러장의 RF 프레임을 사용, 연속된 프레임은 시간의 변화에 따라 사람의 움직임이 변화하는 것을 측정하게 되었습니다. 이를 spatio-temoral convolutions 라 하며 student 네트워크의 기본적인 블록으로 사용하였습니다. student 네트워크는 수직과 수평의 히트맵 인코딩 네트워크들(Eh, Ev)과 이를 입력값으로 받아 keypoint confidence maps을 예측하는 pose 디코딩 네트워크 (D)로 이루어져 있습니다.

8.Conclusion
사람이 철제 캐비닛에 가려져있거나 사람이 측정기기와 너무 가까이 있을때 일부 오류를 보이긴 하지만 무선신호를 사용해서 벽이나 장애물 뒤의 사람의 모습을 예측하는 놀라운 가능성을 보였습니다.

아래는 논문의 저자중 한명인 Dina Katabi 의 TED 영상입니다.
무선신호 기술을 통해 만성질환을 앓고 있는 사람들의 건강신호를 측정하는 장비를 만들었고 이러한 기술을 통해 수많은 위험환자들을 도울 수 있으리라 예상됩니다. 기술의 발전이 실제 우리 생활에서 이롭게 사용될수있으니 멋진일이 아닐수 없습니다.