Transferring GANs

การถ่ายโอน GANS สร้างภาพจากข้อมูลที่ จำกัด

เชิงนามธรรม:

การถ่ายโอนความรู้เกี่ยวกับเครือข่ายที่ผ่านการฝึกอบรมไปยังโดเมนใหม่โดยใช้วิธีการ finetuning เป็นวิธีปฏิบัติที่ใช้กันอย่างแพร่หลายสำหรับแอปพลิเคชันตามแบบจำลองการเลือกปฏิบัติ เพื่อความรู้ที่ดีที่สุดของเราการปฏิบัตินี้ยังไม่ได้รับการศึกษาในบริบทของเครือข่ายลึก ดังนั้นเราจึงศึกษาการปรับโดเมนที่ใช้กับการสร้างภาพด้วยเครือข่ายที่มีความเป็นปฏิปักษ์ เราประเมินหลายแง่มุมของการปรับตัวของโดเมนรวมถึงผลกระทบของขนาดโดเมนเป้าหมายระยะทางสัมพัทธ์ระหว่างแหล่งกำเนิดและโดเมนเป้าหมายและการเริ่มต้นของ GANs แบบมีเงื่อนไข ผลลัพธ์ของเราแสดงให้เห็นว่าการใช้ความรู้จากเครือข่ายที่ผ่านการฝึกอบรมสามารถทำให้เวลาการลู่เข้าสั้นลงและสามารถปรับปรุงคุณภาพของภาพที่สร้างขึ้นได้อย่างมีนัยสำคัญโดยเฉพาะอย่างยิ่งเมื่อข้อมูลเป้าหมายมี จำกัด เราแสดงให้เห็นว่าข้อสรุปเหล่านี้ยังสามารถดึงสำหรับ Gans แบบมีเงื่อนไขแม้ว่าแบบจำลองที่ผ่านการฝึกอบรมจะได้รับการฝึกฝนโดยไม่มีการปรับสภาพ ผลลัพธ์ของเรายังชี้ให้เห็นว่าความหนาแน่นอาจมีความสำคัญมากกว่าความหลากหลายและชุดข้อมูลที่มีคลาสตัวอย่างที่มีความหนาแน่นหนึ่งหรือไม่กี่ตัวอาจเป็นรูปแบบแหล่งที่ดีกว่าชุดข้อมูลที่หลากหลายเช่น ImageNet หรือสถานที่

ภาพรวม

• การพึ่งพาอาศัยกัน
• การติดตั้ง
• คำแนะนำ
• ผลลัพธ์
• การอ้างอิง
• ติดต่อ

การพึ่งพาอาศัยกัน

• Python2.7, Numpy, Scipy, Nvidia GPU
• Tensorflow: เวอร์ชันควรมีมากกว่า 1.0 (https://www.tensorflow.org/)
• ชุดข้อมูล: lsun-bedroom (http://lsun.cs.princeton.edu/2017/) หรือชุดข้อมูลของคุณ

การติดตั้ง

• ติดตั้ง tensorflow
• opencv

คำแนะนำ

• การใช้ 'git clone https://github.com/yaxingwang/transferring-gans'

  คุณจะได้รับโฟลเดอร์ใหม่ที่มีชื่อ 'Transfering-Gans' ในเส้นทางปัจจุบันของคุณจากนั้นใช้ 'CD Transfering-Gans' เพื่อป้อนโฟลเดอร์ใหม่ที่ดาวน์โหลด

• ดาวน์โหลดไดรเวอร์ pretrain models -google; tencent qcloud

  โฟลเดอร์ดาวน์โหลดที่ไม่บีบอัดไปยังโฟลเดอร์ปัจจุบันจากนั้นคุณมีโฟลเดอร์ใหม่ 'Transfer_Model' ซึ่งมีสองโฟลเดอร์: 'เงื่อนไข', 'ไม่มีเงื่อนไข' ซึ่งแต่ละโฟลเดอร์มีสี่โฟลเดอร์: 'Imagenet', 'Places', 'Celeba', 'ห้องนอน'

• ดาวน์โหลดชุดข้อมูลหรือใช้ชุดข้อมูลของคุณ

  ฉันได้แสดงตัวอย่างหนึ่งและคุณสามารถทำมันด้วยรูปแบบเดียวกัน

• เรียกใช้ 'python transfer_gan.py'

  การรันรหัสด้วยการตั้งค่าเริ่มต้น แบบจำลองที่ผ่านการฝึกอบรมสามารถเลือกได้โดยการเปลี่ยนพารามิเตอร์ 'target_domain'

• GaN แบบมีเงื่อนไขหากคุณสนใจใช้แบบจำลองเงื่อนไขเพียงแค่ตั้งค่าพารามิเตอร์ 'acgan = true'

ผลลัพธ์

การใช้โมเดลที่ผ่านการฝึกอบรมไม่เพียง แต่มีประสิทธิภาพสูงเท่านั้น แต่ยังแนบการบรรจบกันอย่างรวดเร็ว ในรูปต่อไปนี้เราแสดงการตั้งค่าแบบมีเงื่อนไขและไม่มีเงื่อนไข

การอ้างอิง

• [1] 'การฝึกอบรมที่ดีขึ้นของ Wasserstein Gans' โดย Ishaan Gulrajani และ AL, https://arxiv.org/abs/1704.00028, (https://github.com/igul2222/improved_wgan_training)
• [2] 'Gans ที่ได้รับการฝึกฝนโดยกฎการอัพเดทสองครั้งที่มาบรรจบกันเป็นสมดุลของแนชในท้องถิ่น' โดย Martin Heusel ET al, https://arxiv.org/abs/1704.00028

ติดต่อ

หากคุณพบปัญหาใด ๆ กับรหัสนี้โปรดส่งรายงานข้อผิดพลาดในเว็บไซต์ GitHub ของโครงการ สำหรับคนอื่น ๆ ที่ขอร้องติดต่อกับฉัน: [email protected]