XMem 다운로드 XMem 소스 코드 다운로드

XMem

파이썬

v1.0

다운로드

XMEM : Atkinson-Shiffrin 메모리 모델을 사용한 장기 비디오 객체 분할

새로운 VOS 프로젝트 : 객체를 비디오 객체 세그먼트에 다시 넣는다 : https://github.com/hkchengrex/cutie

새로운 프로젝트 : XMEM을 사용한 오픈 월드 비디오 세그먼트 : https://github.com/hkchengrex/tracking-shing-with-deva

호 케이 청, 알렉산더 슈핑

일리노이 대학교 Urbana-Champaign

[ARXIV] [PDF] [프로젝트 페이지]

데모

장기 폐색 처리 :

cans_crf20.mp4

매우 긴 비디오; 마스크 층 삽입 :

breakdance_soft_crf20.mp4

출처 : https://www.youtube.com/watch?v=q5xr0f4a0iu

도메인 외의 경우 :

Fujiwara_chika.mp4

출처 : Kaguya -Sama : 사랑은 전쟁 - 천재의 사랑과 두뇌의 전투 -Ep.3; A-1 사진

[실패 사례]

특징

제한된 GPU 메모리 사용으로 매우 긴 비디오를 처리하십시오.
꽤 빠릅니다. 긴 비디오 (하드웨어 종속)에서도 ~ 20 fps를 기대하십시오.
GUI (Mivos에서 수정)와 함께 제공하십시오.

소개

우리는 메모리 문제로 비디오 객체 세분화 (VOS)를 가장 먼저 프레임합니다. 이전 작업은 주로 단일 유형의 기능 메모리를 사용합니다. 이것은 네트워크 가중치 (예 : 온라인 학습), 마지막 프레임 세분화 (예 : Masktrack), 공간 숨겨진 표현 (예 : Conv-RNN 기반 방법), 공간 정보 기능 (예 : STM, STCN, AOT) 또는 일부 장기 압축 기능 (예 : AFB-URR)의 형태 일 수 있습니다.

메모리 범위가 짧은 방법은 변경에 강력하지 않으며, 메모리 뱅크가 큰 방법은 계산 및 GPU 메모리 사용이 치명적으로 증가합니다. AFB-URR 압축과 같은 장기적인주의 VO를 시도하면 생성되는 즉시 열심히 특징이있어 기능 해상도가 손실됩니다.

우리의 방법은 감각 메모리 , 작업 메모리 및 장기 기억이 있는 Atkinson-Shiffrin Human Memory 모델에서 영감을 얻었습니다. 이 메모리 저장소는 임시 척도가 다르며 메모리 읽기 메커니즘에서 서로를 보완합니다. 단기 및 장기 비디오 데이터 세트 모두에서 잘 작동하여 10,000 프레임 이상의 비디오를 쉽게 처리합니다.

훈련/추론

먼저 Gettratted.md에 이어 필요한 Python 패키지 및 데이터 세트를 설치하십시오.

훈련은 훈련을 참조하십시오 .md.

추론은 추론을 참조하십시오 .md.

소환

이 repo가 유용하다고 생각되면 논문을 인용하십시오!

 @inproceedings { cheng2022xmem ,
  title = { {XMem}: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model } ,
  author = { Cheng, Ho Kei and Alexander G. Schwing } ,
  booktitle = { ECCV } ,
  year = { 2022 }
}

이 백서가 개발 한 관련 프로젝트 :

 @inproceedings { cheng2021stcn ,
  title = { Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation } ,
  author = { Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { NeurIPS } ,
  year = { 2021 }
}

@inproceedings { cheng2021mivos ,
  title = { Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion } ,
  author = { Cheng, Ho Kei and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2021 }
}

대화식 데모에서 https://github.com/saic-vul/fbrs_interactive_segmentation에서 F-BRS를 사용합니다

데이터 세트를 인용하려면 다음과 같습니다.

Bibtex

 @inproceedings { shi2015hierarchicalECSSD ,
  title = { Hierarchical image saliency detection on extended CSSD } ,
  author = { Shi, Jianping and Yan, Qiong and Xu, Li and Jia, Jiaya } ,
  booktitle = { TPAMI } ,
  year = { 2015 } ,
}

@inproceedings { wang2017DUTS ,
  title = { Learning to Detect Salient Objects with Image-level Supervision } ,
  author = { Wang, Lijun and Lu, Huchuan and Wang, Yifan and Feng, Mengyang 
  and Wang, Dong, and Yin, Baocai and Ruan, Xiang } , 
  booktitle = { CVPR } ,
  year = { 2017 }
}

@inproceedings { FSS1000 ,
  title = { FSS-1000: A 1000-Class Dataset for Few-Shot Segmentation } ,
  author = { Li, Xiang and Wei, Tianhan and Chen, Yau Pun and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}

@inproceedings { zeng2019towardsHRSOD ,
  title = { Towards High-Resolution Salient Object Detection } ,
  author = { Zeng, Yi and Zhang, Pingping and Zhang, Jianming and Lin, Zhe and Lu, Huchuan } ,
  booktitle = { ICCV } ,
  year = { 2019 }
}

@inproceedings { cheng2020cascadepsp ,
  title = { {CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement } ,
  author = { Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung } ,
  booktitle = { CVPR } ,
  year = { 2020 }
}

@inproceedings { xu2018youtubeVOS ,
  title = { Youtube-vos: A large-scale video object segmentation benchmark } ,
  author = { Xu, Ning and Yang, Linjie and Fan, Yuchen and Yue, Dingcheng and Liang, Yuchen and Yang, Jianchao and Huang, Thomas } ,
  booktitle = { ECCV } ,
  year = { 2018 }
}

@inproceedings { perazzi2016benchmark ,
  title = { A benchmark dataset and evaluation methodology for video object segmentation } ,
  author = { Perazzi, Federico and Pont-Tuset, Jordi and McWilliams, Brian and Van Gool, Luc and Gross, Markus and Sorkine-Hornung, Alexander } ,
  booktitle = { CVPR } ,
  year = { 2016 }
}

@inproceedings { denninger2019blenderproc ,
  title = { BlenderProc } ,
  author = { Denninger, Maximilian and Sundermeyer, Martin and Winkelbauer, Dominik and Zidan, Youssef and Olefir, Dmitry and Elbadrawy, Mohamad and Lodhi, Ahsan and Katam, Harinandan } ,
  booktitle = { arXiv:1911.01911 } ,
  year = { 2019 }
}

@inproceedings { shapenet2015 ,
  title       = { {ShapeNet: An Information-Rich 3D Model Repository} } ,
  author      = { Chang, Angel Xuan and Funkhouser, Thomas and Guibas, Leonidas and Hanrahan, Pat and Huang, Qixing and Li, Zimo and Savarese, Silvio and Savva, Manolis and Song, Shuran and Su, Hao and Xiao, Jianxiong and Yi, Li and Yu, Fisher } ,
  booktitle   = { arXiv:1512.03012 } ,
  year        = { 2015 }
}