Final year project deep learning models
V1
Pembelajaran mendalam untuk pengakuan objek sketsa gratis
Dalam proyek ini, kami mengusulkan arsitektur pembelajaran mendalam baru yang mencapai hasil canggih dalam pengenalan objek sketsa gratis. Sifat objek sketsa yang sangat ikonik dan abstrak menjadikannya tugas sulit bagi algoritma komputer untuk mengenalinya. Karena pengenalan sketsa bukanlah konsep baru dalam visi komputer, kami melakukan studi terperinci tentang karya -karya sebelumnya yang terkait dengan domain proyek kami. Model kerajinan tangan gagal menangkap sifat ikonik sketsa. Dan arsitektur pembelajaran mendalam yang ada dirancang untuk gambar foto dan tidak mengadopsi ke berbagai tingkat abstraksi yang ada dalam objek sketsa. Ini menghasilkan sketsa-a-net yang melampaui akurasi tingkat manusia. Sketch-a-net membutuhkan informasi pesanan stroke untuk secara akurat mengenali objek sketsa. Kerangka kerja hanya mempertimbangkan input sketsa waktu nyata dan tidak dapat menangani dataset besar objek sketsa yang tersedia secara online. Semua penemuan penelitian di atas sangat menekankan untuk mengadopsi arsitektur pembelajaran mendalam baru yang dirancang untuk menyelesaikan pengakuan sketsa.
Model kami dirancang berdasarkan prinsip Hebbian yang menyatakan bahwa neuron yang digabungkan bersama, diaktifkan bersama. Kami membahas masalah umum yang diabaikan dalam karya sebelumnya mengenai desain model pembelajaran mendalam baru. Kami memecahkan masalah overfitting dari jaringan yang lebih luas dengan memperkenalkan struktur blok konvolusional yang jarang dalam model kami. Kami merekayasa model untuk menyelesaikan sketsa objek ikon dan abstrak dengan menggunakan sejumlah besar sampel pelatihan. Model kami dilatih pada dataset sketsa Tu-Berlin yang terdiri dari 20.000 objek dari 250 kategori. Kami menerapkan teknik data-augmentasi pada dataset untuk meningkatkan ukurannya secara elastis. Model kami mencapai akurasi pengakuan pemecahan tanah sebesar 84,7% yang ~ 10% lebih banyak dari pendahulunya. Kemudian, kami menggunakan model kami di platform cloud dan mengatur aplikasi web untuk memproses permintaan pengakuan sketsa. Meskipun model kami mencapai akurasi tinggi, ia masih gagal mengenali deformasi intra-kelas. Ini menunjukkan bahwa model kami masih memiliki ruang untuk perbaikan.
Dengan berhasil memecahkan pengakuan sketsa, kita sekarang dapat bergerak menuju pemecahan pengenalan multi-objek, segmentasi objek sketsa, pengambilan gambar berdasarkan kueri sketsa dan tren terkini yang paling populer dalam visi komputer, penggunaan jaringan permusuhan generatif untuk sintesis membuat objek sketsa atau menggunakan objek sketsa untuk sintesis gambar realistis lengkap. Kemungkinan dalam domain ini tidak ada habisnya dan kami berencana untuk mengunjungi dan melanjutkan penelitian kami dalam pembelajaran mendalam untuk objek sketsa tangan bebas di masa depan.
Masuk ke GPU Cluster dan letakkan file pekerjaan Condor di forlder publik Anda.
Untuk menjalankan pekerjaan Condor, gunakan perintah berikut:
condor_submit sketch.sub
cat sketch.out
cat sketch.log
cat skecth.error
condor_q # get job ID
kill job_id
Arahkan ke folder aplikasi web dan buka terminal dan jalankan kode di bawah ini:
python manage.py runserver
Untuk mengatur IP publik untuk aplikasi Django, kami membuka NGROK dan menggantikan perintah berikut untuk nomor port masing -masing (nomor port spesifik aplikasi):
ngrok port_number
[1] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke dan A. Rabinovich, "Menjadi lebih dalam dengan Convolutions," Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola (CVPR), hlm. 1-9, 2015.
[2] R. Hua dan J. Collomosse, "Evaluasi Kinerja Deskriptor Hog Field Gradient untuk Sketsa Berbasis," Visi Komputer dan Pemahaman Gambar, Vol. Volume 117, no. 7, hlm. 790-806, 2013.
[3] S. Ouyang, T. Hospedales, Y.-Z. Song dan X. Li, "Cross-Modal Face Matching: Beyond Viewed Sketches," Computer Vision-ACCV 2014, Vol. 9004, hlm. 210-225, 2014.
[4] RG Schneider dan T. Tuytelaars, "Sketsa Klasifikasi dan Analisis Berbasis Klasifikasi Menggunakan Vektor Fisher," Tog Acm Trans. Grafik. Transaksi ACM pada Grafik, hlm. 1-9, 2014.
[5] Y. Lecun, L. Bottou, Y. Bengio dan P. Haffner, "Pembelajaran berbasis gradien diterapkan untuk pengakuan dokumen," Prosiding IEEE, Vol. 86, no. 11, hlm. 2278-2324, 1998.
[6] Yu, Yang, Song, Xiang dan Hospedales, "Sketch-A-Net That Beats Humans," Proseding dari British Machine Vision Conference 2015, 2015.
[7] L. T, T. C, S. F dan C. S, model pengakuan baru untuk, 2015.
[8] J. G, G. MD, H. J dan Y.-Ld E, Dukungan Komputasi untuk Membuat Sketsa dalam Desain A Review. Yayasan dan Tren dalam Interaksi Manusia-Komputer, 2009.
[9] J. MFA, R. MSM, O. NZS dan J. Z, "Studi komparatif tentang metode ekstraksi dan pengakuan data CAD dari gambar CAD.," Dalam Konferensi Internasional tentang Manajemen Informasi dan Teknik, 2009.
[10] Eitz, M. a. Hays, J. A. Alexa dan Marc, "Bagaimana manusia membuat sketsa objek?," ACM Trans. Grafik. (Proc. Siggraph), vol. 31, no. 4, hlm. 44: 1--44: 10, 2012.
[11] R. Galiazzi Schneider dan T. Tuytelaars, "Sketsa Klasifikasi dan Analisis Berbasis Klasifikasi Menggunakan Vektor Fisher," Prosiding Siggraph Asia 2014, vol. 33, tidak. 6, hlm. 1-9, 2014.
[12] Z. Sun, C. Wang, L. Zhang dan L. Zhang, "Segmentasi Sketsa Gratis Tangan," Microsoft Research Asia, Beijing, 2012.
[13] A. Krizhevsky, I. Sutskever dan Ge Hinton, "Klasifikasi Imagenet dengan jaringan saraf konvolusional yang mendalam," dalam kemajuan dalam sistem pemrosesan informasi saraf, 2012.
[14] A. Krizhevsky, I. Sutskever dan Ge Hinton, "Imagenetclassifation dengan NeuralNetWorks NeuralNetworks," Konferensi Sistem Pemrosesan Informasi Saraf (NIP), 2012.
[15] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke dan A. Rabinovich, "GoingDeeperwithConvolutions," Visi Komputer dan Pengenalan Patteren, 2015.
[16] K. Simonyan dan A. Zisserman, "Jaringan konvolusional yang sangat dalam untuk pengakuan gambar skala besar," Konferensi Internasional tentang Representasi Pembelajaran, 2015.
[17] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. VanHouck dan A. Rabinovich, "Going Inter With Convolutions," CVPR, 2015.
[18] M.-M. . POO dan R .. Fitzsimonds, "Pensinyalan Retrograde dalam Pengembangan dan Modifikasi Sinapsis," Psikologis Ulasan, Vol. , TIDAK. , P. ,.
[19] S. Arora, A. Bhaskara, R. Ge dan T. Ma, "ProvableBoundsForlearningSomeDeePepresentations," Corr, 2013.
[20] DP Kingma dan J. Ba, "Adam: Metode untuk Optimalisasi Stokastik," dalam Konferensi Internasional ke -3 untuk Representasi Pembelajaran, San Diego, 2015.
[21] L. Fei-Fei, J. Deng dan K. Li, "Imagenet: Membangun Basis Data Gambar Skala Besar," Journal of Vision, vol. 9, tidak. 8, hlm. 1037-1037, 2010.
[22] P. Dolar, "Deteksi Tepi Cepat Menggunakan Hutan Terstruktur," Transaksi IEEE tentang Analisis Pola dan Intelijen Mesin, Vol. 37, tidak. 8, hlm. 1558-1570, 2015.
[23] Distribusi Perangkat Lunak Anaconda, Perangkat Lunak Komputer. Vers. 2-2.4.0. Continuum Analytics, 2016. [24] F. Chollet, Keras, url {https://github.com/fchollet/keras}, 2015.
[25] Ge Krasner dan St Pope, "Buku Masakan untuk Menggunakan Paradigma Antarmuka Pengguna Model-View Controller di SmallTalk-80," The Journal of Object Technology, vol. , TIDAK. , P. ,.
[26] DL Parnas dan PC Clements, "Proses Desain Rasional: Bagaimana dan Mengapa Palsu," Rekayasa Perangkat Lunak, Transaksi IEEE, Vol. , TIDAK. , P. 251–257 ,.
[27] JDonahue, Jiayq, Vinyals, Jhoffman, Nzhang, Etzeng dan Trevor, "DECAF: Fitur Aktivasi Konvolusi yang mendalam," 2013.
[28] R. Girshick, J. Donahue, T. Darrell dan J. Malik, "Hirarki Fitur Kaya untuk Deteksi Objek dan Segmentasi Semantik yang Akurat," Laporan Teknologi, UC Berkely, Berkely, 2014.
[29] J. Uijlings, "Pencarian Selektif untuk Pengenalan Objek," IJCV, Belanda, 2012.
[30] "Infrastruktur Global," ,. [On line]. Tersedia: https://aws.amazon.com/about-aws/global-infrastructure/. [Diakses 1 4 2017].
[31] M. a. Hj a. Apakah Eitz, "Bagaimana manusia membuat sketsa objek?," ACM Trans. Grafik. (Proc. Siggraph), vol. 31, no. 4, hlm. 44: 1--44: 10, 2012.
[32] Y .. Lecun, "Lenet-5, Jaringan Saraf Konvolusional,",. [On line]. Tersedia: http://yann.lecun.com/exdb/lenet/. [Diakses 2 4 2017].
[33] H. Li Y, S. TM dan GS Y, "Pengakuan Sketsa Freehand oleh Multi-Kernel Learning," CVIU, 2015.
[34] S. Li Y dan GS Y, "pengakuan sketsa dengan pencocokan ensemble fitur terstruktur," BMVC, 2013.
