연구원들은 인간처럼 더 많은 것을 배우기 위해 자산 열차 기계를 식별합니다.

공원 벤치에 앉아 누군가가 지나가는 모습을 지켜본다고 상상해 보세요. 사람이 걸을 때 장면이 끊임없이 바뀔 수 있지만, 인간의 두뇌는 시간이 지남에 따라 역동적인 시각적 정보를 보다 안정적인 표현으로 변환할 수 있습니다. 지각 직선화라고 알려진 이 능력은 걷는 사람의 궤적을 예측하는 데 도움이 됩니다. 인간과 달리 컴퓨터 비전 모델은 일반적으로 지각 직선성을 나타내지 않으므로 매우 예측할 수 없는 방식으로 시각적 정보를 표현하는 방법을 배웁니다. 그러나 기계 학습 모델에 이러한 능력이 있다면 물체나 사람이 어떻게 움직일지 더 잘 예측할 수 있을 것입니다. MIT 연구자들은 특정 훈련 방법이 컴퓨터 비전 모델이 인간처럼 보다 지각적으로 직선적인 표현을 학습하는 데 도움이 될 수 있다는 것을 발견했습니다. 훈련에는 작업을 학습할 수 있도록 기계 학습 모델에 수백만 개의 예를 보여주는 것이 포함됩니다. 연구자들은 이미지에 추가된 작은 오류에 덜 반응하게 만드는 적대적 훈련이라는 기술을 사용하여 컴퓨터 비전 모델을 훈련하면 모델의 지각 능력이 향상된다는 사실을 발견했습니다. 또한 팀은 지각적 직선성이 모델을 훈련하여 수행하는 작업에 영향을 받는다는 사실도 발견했습니다. 이미지 분류와 같은 추상적인 작업을 수행하도록 훈련된 모델은 이미지의 모든 픽셀을 카테고리에 할당하는 것과 같은 보다 세분화된 작업을 수행하도록 훈련된 모델보다 더 지각적으로 직선적인 표현을 학습합니다. 예를 들어, 모델 내의 노드에는 "개"를 나타내는 내부 활성화가 있어 모델이 개의 이미지를 볼 때 개를 감지할 수 있습니다. 지각적으로 직선 표현은 이미지에 작은 변화가 있을 때 보다 안정적인 "개" 표현을 유지합니다. 이를 통해 더욱 강력해집니다. 연구자들은 컴퓨터 비전의 지각 직선성에 대한 더 나은 이해를 통해 보다 정확한 예측을 하는 모델을 개발하는 데 도움이 될 수 있는 통찰력을 발견하기를 희망합니다. 예를 들어, 이 속성은 보행자, 자전거 타는 사람 및 기타 차량의 궤적을 예측하기 위해 컴퓨터 비전 모델을 사용하는 자율 차량의 안전성을 향상시킬 수 있습니다." 여기서 중요한 메시지 중 하나는 인간과 같은 생물학적 시스템에서 영감을 얻는다는 것입니다. 비전은 특정 사물이 왜 그렇게 작동하는지에 대한 통찰력을 제공하고 신경망을 개선하기 위한 아이디어에 영감을 줄 수 있습니다."라고 MIT 박사후 연구원이자 컴퓨터 비전의 지각 직선성을 탐구하는 논문의 공동 저자인 Vasha DuTell은 말합니다. DuTell에 합류 이 논문에는 전기 공학 및 컴퓨터 과학부(EECS) 대학원생인 수석 저자 Anne Harrington이 있습니다. 박사후 연구원인 Ayush Tewari; 대학원생 마크 해밀턴(Mark Hamilton); Woven Planet의 연구 관리자인 Simon Stent; 뇌 및 인지 과학부의 수석 연구 과학자이자 CSAIL(컴퓨터 과학 및 인공 지능 연구소)의 회원인 Ruth Rosenholtz; 선임 저자인 William T. Freeman, 전기 공학 및 컴퓨터 과학 분야의 Thomas and Gerd Perkins 교수이자 CSAIL 회원입니다. 이 연구는 학습 표현에 관한 국제 컨퍼런스에서 발표되고 있습니다. 인간의 지각 직선성에 관한 뉴욕 대학 연구팀의 2019년 논문을 읽은 후 DuTell, Harrington 및 동료들은 해당 속성이 컴퓨터 비전에 유용할 수 있는지 궁금해했습니다. 모델도 마찬가지입니다. 그들은 다양한 유형의 컴퓨터 비전 모델이 학습한 시각적 표현을 직선화하는지 여부를 결정하기 시작했습니다. 그들은 비디오의 각 모델 프레임을 제공한 다음 학습 과정의 여러 단계에서 표현을 조사했습니다. 모델의 표현이 비디오 프레임 전체에서 예측 가능한 방식으로 변경되면 해당 모델은 직선화됩니다. 결국, 출력 표현은 입력 표현보다 더 안정적이어야 합니다." 표현을 매우 곡선으로 시작하는 선으로 생각할 수 있습니다. 직선화하는 모델은 비디오에서 곡선 선을 가져와서 비디오를 통해 직선화할 수 있습니다. DuTell은 처리 단계를 설명합니다. 테스트한 대부분의 모델은 직선화되지 않았습니다. 그렇게 한 소수 중에서 가장 효과적으로 직선화한 것들은 적대적 훈련이라는 기술을 사용하여 분류 작업을 위해 훈련되었습니다. 적대적 훈련에는 각 픽셀을 약간 변경하여 이미지를 미묘하게 수정하는 작업이 포함됩니다. 인간은 차이점을 알아차리지 못하지만 이러한 사소한 변화로 인해 기계가 속여서 이미지를 잘못 분류할 수 있습니다. 적대적 훈련은 모델을 더욱 강력하게 만들어 이러한 조작에 속지 않도록 합니다. 적대적 훈련은 모델이 이미지의 사소한 변화에 덜 반응하도록 가르치기 때문에 시간이 지남에 따라 더 예측 가능한 표현을 학습하는 데 도움이 된다고 Harrington은 설명합니다. ."사람들은 이미 적대적 훈련이 모델을 인간과 더 비슷하게 만드는 데 도움이 될 수 있다는 생각을 갖고 있었습니다. 그리고 이것이 사람들이 이전에 테스트하지 않은 다른 속성으로까지 이어지는 것을 보는 것은 흥미로웠습니다."라고 그녀는 말합니다. 연구원들은 적대적으로 훈련된 모델이 전체 이미지를 카테고리로 분류하는 것과 같은 광범위한 작업을 위해 훈련될 때만 직선화하는 방법을 학습한다는 사실을 발견했습니다. 이미지의 모든 픽셀에 특정 클래스로 레이블을 지정하는 분할 작업을 수행하는 모델은 적대적으로 훈련을 받은 경우에도 직선화되지 않았습니다. 일관된 분류 연구원들은 비디오를 보여줌으로써 이러한 이미지 분류 모델을 테스트했습니다. 그들은 지각적으로 직선적 표현을 학습한 모델이 비디오의 개체를 보다 일관되게 올바르게 분류하는 경향이 있다는 것을 발견했습니다. DuTell은 "여전히 어느 정도의 직선화를 보여줍니다."라고 DuTell은 말합니다. 연구원들은 적대적 훈련 프로세스에서 컴퓨터 비전 모델이 직선화되도록 하는 것이 무엇인지 정확히 알지 못하지만, 그 결과는 더 강력한 훈련 방식으로 인해 모델이 더 직선화된다는 것을 시사한다고 그녀는 설명합니다. .이 작업을 바탕으로 연구원들은 모델에 이 속성을 명시적으로 제공하는 새로운 훈련 계획을 만들기 위해 배운 내용을 사용하려고 합니다. 그들은 또한 이 프로세스가 모델의 직선화에 도움이 되는 이유를 이해하기 위해 적대적 훈련에 대해 더 깊이 파고들기를 원합니다." 생물학적 관점에서 적대적 훈련은 반드시 의미가 있는 것은 아닙니다. 인간이 세상을 이해하는 방식도 아닙니다. Dana-Farber Cancer의 조교수인 Bill Lotter는 "이 훈련 과정이 모델이 인간처럼 행동하는 데 도움이 되는 이유는 무엇입니까?"라고 Harrington은 말합니다. "심층 신경망에서 학습한 표현을 이해하는 것은 견고성 및 일반화와 같은 속성을 개선하는 데 중요합니다." 이 연구에 참여하지 않은 연구소와 하버드 의과대학. "Harrington 등은 자연 비디오를 처리할 때 시간이 지남에 따라 컴퓨터 비전 모델의 표현이 어떻게 변하는지에 대한 광범위한 평가를 수행하여 이러한 궤적의 곡률이 모델 아키텍처, 훈련 속성 및 작업에 따라 크게 달라진다는 것을 보여줍니다. 이러한 결과는 다음과 같은 정보를 제공할 수 있습니다. 개선된 모델을 개발하고 생물학적 시각 처리에 대한 통찰력도 제공합니다.""이 논문은 자연스러운 비디오를 직선화하는 것이 인간 시각 시스템에 의해 표시되는 상당히 독특한 속성임을 확인합니다. 적대적으로 훈련된 네트워크만이 이를 표시하며, 이는 또 다른 시그니처와의 흥미로운 연결을 제공합니다. 인간의 인식: 자연적이든 인공적이든 다양한 이미지 변환에 대한 견고성"이라고 DeepMind의 연구 과학자이자 이 연구에는 참여하지 않은 Olivier Hénaff는 말합니다. "적대적으로 훈련된 장면 분할 모델조차도 입력을 직선화하지 않는다는 점은 향후 작업에 중요한 질문을 제기합니다. 인간은 컴퓨터 비전 모델과 동일한 방식으로 자연 장면을 구문 분석합니까? 움직임에 민감한 상태를 유지하면서 움직이는 물체의 궤적을 어떻게 표현하고 예측할 수 있습니까? 공간적 세부 사항? 직선화 가설을 시각적 행동의 다른 측면과 연결함으로써 이 논문은 보다 통일된 인식 이론의 토대를 마련합니다." 이 연구는 부분적으로 Toyota Research Institute, MIT CSAIL METEOR Fellowship, National the National 사이언스 파운데이션, 미 공군 연구소, 미 공군 인공지능 가속기.