서강대학교 전자공학과

강석주 교수 연구팀(양창희, 강찬희, 오하니), 

computer vision 분야 Top conference ‘CVPR 2024’ 논문 채택

 ▲(왼쪽부터) 전자공학과 강석주 교수, 양창희, 강찬희, 오하니 석사과정, 부산대학교 공경보 교수

전자공학과 강석주 교수 연구팀(양창희 석사과정, 강찬희 석사과정, 오하니 석사과정)이 부산대학교 공경보 교수팀과 공동으로 computer vision 분야 Top conference인 CVPR 2024에 발표한 논문이 최종 채택되었다.

IEEE/CVF에서 주관하는 CVPR(Computer Vision and Pattern Recognition Conference)은 컴퓨터 비전 및 인공지능-패턴인식 분야에서 최고 권위의 학회이다. CVPR 2024는 오는 6월 19일부터 6월 21일까지 시애틀 컨벤션 센터에서 개최될 예정이다.

논문 제목은 ‘Person in Place: Generating Associative Skeleton-Guidance Maps for Human-Object Interaction Image Editing’으로, 연구팀은 입력 이미지에 맞는 사람의 골격을 자동으로 생성하고, 생성된 골격과 입력 텍스트를 바탕으로 이미지를 편집하는 프레임워크를 최초로 제안하였다.

이 논문에서 제안한 방법은 입력된 배경 이미지에서 물체가 있는 부분을 선택하고 사람이 생성되기 원하는 부분을 선택하면 배경의 물체와 상호작용하는 사람의 골격을 생성한다. 이 생성된 골격을 이용하여 inpainint 모델을 이용하여 이미지를 편집하는 기술을 소개한다. 이 논문에서는 이러한 방법론 뿐만 아니라, associative attention이라는 새로운 방법의 사람의 자세를 생성할 때, 쓰이는 모델을 제안하기도 하였다. 이는 물체의 feature와 사람의 feature를 고려하여 물체와 상호작용하는 사람 생성 시, 관절에 weight를 전파(propagate)하는 방식으로 작동한다.

이번 연구에 참여한 오하니 석사과정생은 “강석주 교수님께서 사려 깊게 지도해주시고 연구실 선배들이 아낌없는 도움을 주셔서 좋은 결실을 맺을 수 있었다. 대학원 첫 학기에 CVPR 등재가 확정되어 매우 기쁜 마음이며, 앞으로도 더 많은 연구실 학생들이 국제 학회에 논문이 등재되는 좋은 결과를 맺기를 기원한다.”라고 소감을 전했다.

논문에서 제안한 프레임워크 구조

골격을 생성하고 이를 기반으로 이미지 편집을 하게 된다.

논문의 방법론을 적용하는 과정

배경 이미지를 입력으로 하고 순차적으로 물체와 상호작용을 하는 사람을 생성한다.