Final year project deep learning models
V1
프리 핸드 스케치 객체 인식을위한 딥 러닝
이 프로젝트에서 우리는 프리 핸드 스케치 객체 인식에서 최첨단 결과를 달성하는 새로운 딥 러닝 아키텍처를 제안합니다. 스케치 객체의 매우 상징적이고 추상적 인 특성으로 인해 컴퓨터 알고리즘이 인식하기 어려운 작업이됩니다. 스케치 인식은 컴퓨터 비전의 새로운 개념이 아니기 때문에 프로젝트 도메인과 관련된 이전 작품에 대한 자세한 연구를 수행했습니다. 손으로 만들어진 모델은 스케치의 상징적 인 특성을 캡처하지 못했습니다. 기존의 딥 러닝 아키텍처는 사진 이미지에 맞게 조정되며 스케치 객체에 존재하는 다양한 수준의 추상화에 채택되지 않습니다. 이로 인해 인적 수준의 정확도를 능가하는 Sketch-a-Net이 발생했습니다. Sketch-a-Net은 스케치 객체를 정확하게 인식하기 위해 뇌졸중 주문 정보가 필요합니다. 이 프레임 워크는 실시간 스케치 입력 만 고려하고 온라인으로 사용할 수있는 스케치 객체의 대형 데이터 세트를 처리 할 수 없습니다. 위의 모든 연구 발견은 스케치 인식을 해결하기 위해 조정 된 새로운 딥 러닝 아키텍처를 채택하도록 강조했습니다.
우리의 모델은 함께 결합 된 뉴런이 함께 활성화된다는 것을 나타내는 Hebbian 원리에 대해 설계되었습니다. 우리는 새로운 딥 러닝 모델 설계와 관련하여 이전 작품에서 간과 된 일반적인 문제를 다룹니다. 우리는 모델에 컨볼 루션 블록의 희소 구조를 도입하여 더 넓은 네트워크의 과적 문제를 해결합니다. 우리는 많은 수의 훈련 샘플을 사용하여 스케치 객체 상징적이고 추상적 인 특성을 해결하도록 모델을 설계합니다. 우리의 모델은 250 개 카테고리의 20,000 개 객체로 구성된 Tu-Berlin 스케치 데이터 세트에 대한 교육을받습니다. 우리는 데이터 세트에 데이터를 구분하는 기술을 적용하여 크기를 엘라스틱으로 증가시킵니다. 우리의 모델은 84.7%의 획기적인 인식 정확도를 달성하며, 이는 이전 모델보다 ~ 10% 더 높습니다. 그런 다음 클라우드 플랫폼에 모델을 배포하고 스케치 인식 요청을 처리하기 위해 웹 응용 프로그램을 설정합니다. 모델이 높은 정확도를 달성하지만 여전히 클래스 내 변형을 인식하지 못합니다. 이것은 우리 모델에 여전히 개선의 여지가 있음을 지적합니다.
스케치 인식을 성공적으로 해결함으로써 이제 스케치 쿼리 및 컴퓨터 비전에서 가장 인기있는 트렌드를 기반으로 다중 객체 인식, 스케치 객체 세분화, 이미지 검색, 생성 적대 네트워크를 사용하여 스케치 객체를 합성하거나 완전한 사진 현실 이미지를 합성하기 위해 스케치 객체를 사용하는 것을 해결할 수 있습니다. 이 도메인의 가능성은 끝이 없으며 앞으로 프리 핸드 스케치 객체에 대한 딥 러닝에 대한 연구를 방문하고 계속할 계획입니다.
GPU 클러스터에 로그인하고 Condor 작업 파일을 공개 모험에 배치하십시오.
Condor 작업을 실행하려면 다음 명령을 사용하십시오.
condor_submit sketch.sub
cat sketch.out
cat sketch.log
cat skecth.error
condor_q # get job ID
kill job_id
웹 응용 프로그램 폴더로 이동하여 터미널을 열고 아래 코드를 실행하십시오.
python manage.py runserver
Django 애플리케이션을위한 공개 IP를 설정하려면 Ngrok을 열고 각각의 포트 번호 (응용 프로그램 특정 포트 번호)에 대한 다음 명령을 발굴합니다.
ngrok port_number
[1] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke 및 A. Rabinovich, "컨벤션으로 더 깊어지고있다", 컴퓨터 비전 및 패턴 인식에 관한 IEEE 회의 (CVPR), pp. 1-9, 2015.
[2] R. Hua 및 J. Collomosse, "스케치 기반을위한 그라디언트 필드 돼지 설명자의 성능 평가", 컴퓨터 비전 및 이미지 이해, vol. 볼륨 117, 아니오. 7, pp. 790-806, 2013.
[3] S. Ouyang, T. Hospedales, Y.-Z. Song and X. Li, "교차 모달 얼굴 매칭 : 너머의 스케치", 컴퓨터 비전-Accv 2014, vol. 9004, pp. 210-225, 2014.
[4] RG Schneider 및 T. Tuytelaars, "Fisher 벡터를 사용한 스케치 및 분류 중심 분석", Tog ACM Trans. 그래프. 그래픽에 대한 ACM 거래, pp. 1-9, 2014.
[5] Y. Lecun, L. Bottou, Y. Bengio 및 P. Haffner, "문서 인식에 적용된 그라디언트 기반 학습", IEEE의 절차, vol. 86, 아니요. 11, pp. 2278-2324, 1998.
[6] Yu, Yang, Song, Xiang 및 Hospedales, "인간을이긴 스케치-네트", British Machine Vision Conference 2015, 2015의 절차.
[7] L. T, T. C, S. F 및 C. S, 2015 년 새로운 인식 모델.
[8] J. G, G. MD, H. J 및 Y.-Ld E, 디자인 스케치에 대한 계산 지원 검토. 인간 컴퓨터 상호 작용의 기초 및 동향, 2009.
[9] J. MFA, R. MSM, O. NZS 및 J. Z, "CAD 도면에서 CAD 데이터의 추출 및 인식 방법에 대한 비교 연구", Information Information Management and Engineering, 2009.
[10] Eitz, M. a. 헤이즈, J. a. Alexa와 Marc, "인간은 어떻게 대상을 스케치합니까?"ACM Trans. 그래프. (Proc. Siggraph), Vol. 31, 아니오. 4, pp. 44 : 1-44 : 10, 2012.
[11] R. Galiazzi Schneider와 T. Tuytelaars, "Fisher 벡터를 사용한 스케치 분류 및 분류 중심 분석", Siggraph Asia 2014의 절차, vol. 33, 아니요. 6, pp. 1-9, 2014.
[12] Z. Sun, C. Wang, L. Zhang 및 L. Zhang, "무료 손으로 그린 스케치 세분화", Microsoft Research Asia, Beijing, 2012.
[13] A. Krizhevsky, I. Sutskever 및 Ge Hinton, "신경 정보 처리 시스템의 발전에서"심층 컨볼 루션 신경망을 통한 Imagenet 분류 ", 2012.
[14] A. Krizhevsky, I. Sutskever and Ge Hinton, "ImageNetclassificationwithepconvolutional Neuralnetworks", NIPS (Neural Informational Neuralnetworks), 2012 년.
[15] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke 및 A. Rabinovich, "Going DeeperwithConvolutions,"컴퓨터 비전 및 Patteren 인식, 2015.
[16] K. Simonyan과 A. Zisserman, "대규모 이미지 인식을위한 매우 깊은 컨볼 루션 네트워크", 2015 년 학습 대표 컨퍼런스, 2015.
[17] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhouck 및 A. Rabinovich, "컨벤션으로 더 깊이 가고있다", CVPR, 2015.
[18] M.-M. . 똥과 R. Fitzsimonds, "시냅스의 발달 및 변형에서의 역행 신호", Psychological Reviews, vol. , 아니요. , p. ,.
[19] S. Arora, A. Bhaskara, R. Ge and T. Ma, "ProtableBoundsforLearningsomeDeepResentations", Corr, 2013.
[20] DP Kingma and J. Ba, "Adam : 확률 적 최적화를위한 방법", 2015 년 샌디에고 3 차 국제 학습 대표 컨퍼런스.
[21] L. Fei-Fei, J. Deng 및 K. Li, "Imagenet : 대규모 이미지 데이터베이스 구성", Journal of Vision, Vol. 9, 아니오. 8, pp. 1037-1037, 2010.
[22] P. Dollar, "구조화 된 산림을 사용한 빠른 에지 탐지", 패턴 분석 및 기계 인텔리전스에 대한 IEEE 트랜잭션, Vol. 37, 아니요. 8, pp. 1558-1570, 2015.
[23] 아나콘다 소프트웨어 배포, 컴퓨터 소프트웨어. vers. 2-2.4.0. Continuum Analytics, 2016. [24] F. Chollet, Keras, url {https://github.com/fchollet/keras}, 2015.
[25] Ge Krasner와 St Pope, "SmallTalk-80의 Model-View Controller 사용자 인터페이스 패러다임 사용을위한 요리 책", Journal of Object Technology, Vol. , 아니요. , p. ,.
[26] DL PARNA 및 PC CLEMENTS, "합리적인 설계 프로세스 : 어떻게 그리고 왜 가짜를 속이는 지", 소프트웨어 엔지니어링, IEEE Transactions, Vol. , 아니요. , p. 251–257,.
[27] Jdonahue, Jiayq, Vinyals, Jhoffman, Nzhang, Etzeng 및 Trevor, "Decaf : 깊은 컨볼 루션 활성화 기능", 2013.
[28] R. Girshick, J. Donahue, T. Darrell 및 J. Malik, "정확한 객체 탐지 및 시맨틱 세분화를위한 풍부한 기능 계층", Tech Report, UC Berkely, Berkely, 2014.
[29] J. Uijlings, "객체 인식을위한 선택적 검색", IJCV, 네덜란드, 2012.
[30] "글로벌 인프라",. [온라인]. 사용 가능 : https://aws.amazon.com/about-aws/global-infrastructure/. [접근 1 4 2017].
[31] M. a. hj a. Am Eitz, "인간은 어떻게 대상을 스케치합니까?"ACM Trans. 그래프. (Proc. Siggraph), Vol. 31, 아니오. 4, pp. 44 : 1-44 : 10, 2012.
[32] Y .. Lecun, "Lenet-5, Convolutional Neural Networks",. [온라인]. 사용 가능 : http://yann.lecun.com/exdb/lenet/. [접근 2 4 2017].
[33] H. Li Y, S. TM 및 Gs Y, "멀티 커널 학습에 의한 프리 핸드 스케치 인식", CVIU, 2015.
[34] S. Li Y 및 Gs Y, "구조화 된 특징의 앙상블 매칭에 의한 스케치 인식"BMVC, 2013.
