LiTr

Litr

LITR (ออกเสียงว่า "LAI-TR") เป็นเครื่องมือการแปลงวิดีโอ/เสียงที่มีน้ำหนักเบาซึ่งรองรับแทร็กวิดีโอและเสียงที่มีการปรับเปลี่ยนเฟรมเสริม

ในการทำซ้ำปัจจุบัน LITR รองรับ:

• การเปลี่ยนความละเอียดและ/หรือบิตเรตของแทร็กวิดีโอ
• การเปลี่ยนอัตราการสุ่มตัวอย่างจำนวนช่องและ/หรือบิตเรตของแทร็กเสียง
• การซ้อนทับบิตแมปลายน้ำลงบนแทร็กวิดีโอ
• การใช้เอฟเฟกต์ที่แตกต่างกัน (ความสว่าง/ความคมชัด, ความอิ่มตัว/สี, เบลอ ฯลฯ ) กับพิกเซลวิดีโอ
• รวมถึง/ยกเว้นแทร็กซึ่งอนุญาตให้มีแทร็ก muxing/demuxing
• การแปลงแทร็กเป็นรายบุคคล (เช่นใช้การซ้อนทับกับแทร็กวิดีโอหนึ่งแทร็ก แต่ไม่ใช่เพลงอื่น ๆ )
• เฟรมวิดีโอแหล่งที่มาของตำแหน่งโดยพลการลงบนเฟรมวิดีโอเป้าหมายโดยพลการ
• ตัดแต่งวิดีโอ/เสียง
• การสร้างวิดีโอ "ว่าง" หรือวิดีโอจากภาพเดียว
• บันทึกเสียง
• การสร้าง Bitmap (S) (พร้อมตัวกรองที่ใช้) ที่การประทับเวลาเฉพาะ (FilmStrip)
• การเขียนเสียงดิบลงในคอนเทนเนอร์ WAV
• บันทึกวิดีโอโดยใช้ Camera2 API
• ใช้ ffmpeg-muxers (opt-in) เพื่อเขียนลงในคอนเทนเนอร์ MediaCodec Stack ไม่สนับสนุน (ยัง) เช่น MP4 ที่แยกส่วน

โดยค่าเริ่มต้น LITR ใช้ Android MediaCodec Stack สำหรับฮาร์ดแวร์เร่งการถอดรหัส/การเข้ารหัสและ OpenGL สำหรับการแสดงผล นอกจากนี้ยังใช้ MediaExtractor และ MediaMuxer เพื่ออ่าน/เขียนสื่อ

เริ่มต้น

เพียงแค่คว้าผ่าน Gradle:

 implementation ' com.linkedin.android.litr:litr:1.5.7 '

... หรือ Maven:

< dependency >
  < groupId >com.linkedin.android.litr</ groupId >
  < artifactId >litr</ artifactId >
  < version >1.5.7</ version >
</ dependency >

วิธีการแปลงวิดีโอ

ขั้นแรกให้อินสแตนซ์ MediaTransformer ด้วย Context ที่สามารถเข้าถึง Uri ที่คุณจะใช้สำหรับอินพุตและเอาต์พุต โดยทั่วไปจะเป็นบริบทของแอปพลิเคชัน

 MediaTransformer mediaTransformer = new MediaTransformer ( getApplicationContext ());

จากนั้นเพียงแค่เรียกใช้วิธี transform เพื่อแปลงวิดีโอของคุณ:

 mediaTransformer . transform ( requestId ,
                           sourceVideoUri ,
                           targetVideoFilePath ,
                           targetVideoFormat ,
                           targetAudioFormat ,
                           videoTransformationListener ,
                           transformationOptions );

มีสิ่งที่น่าสังเกตน้อยมากที่เกี่ยวข้องกับการเปลี่ยนแปลง:

• ตรวจสอบให้แน่ใจว่าได้ให้ requestId ที่ไม่ซ้ำกันมันจะถูกใช้เมื่อโทรกลับไปที่ผู้ฟังหรือจำเป็นเมื่อยกเลิกการแปลงอย่างต่อเนื่อง
• รูปแบบเป้าหมายจะถูกนำไปใช้กับแทร็กทั้งหมดของประเภทนั้นแทร็กวิดีโอหรือเสียงจะถูกคัดลอก "ตามที่เป็นอยู่"
• การผ่านรูปแบบเป้าหมาย null หมายความว่าคุณไม่ต้องการแก้ไขแทร็กของประเภทนั้น
• การเปลี่ยนแปลงจะดำเนินการแบบอะซิงโครนัสผู้ฟังจะถูกเรียกด้วยความคืบหน้าการเปลี่ยนแปลงหรือการเปลี่ยนแปลงของรัฐ
• โดยค่าเริ่มต้นการโทรกลับของผู้ฟังจะเกิดขึ้นในเธรด UI มันปลอดภัยที่จะอัปเดต UI ในการใช้งานผู้ฟัง นอกจากนี้ยังเป็นไปได้ที่จะให้พวกเขาอยู่ในหัวข้อการแปลงที่ไม่ใช่ UI ตัวอย่างเช่นหากจำเป็นต้องมีงาน "หนัก" ในการใช้งานผู้ฟัง
• หากคุณต้องการแก้ไขเฟรมวิดีโอให้ส่งผ่านรายการของ GlFilter s ใน TransformationOptions ซึ่งจะนำไปใช้ตามลำดับ
• หากคุณต้องการแก้ไขเฟรมเสียงให้ส่งผ่านรายการของ BufferFilter s ใน TransformationOptions ซึ่งจะนำไปใช้ตามลำดับ
• ไคลเอนต์สามารถโทร transform หลายครั้งเพื่อขอคิวการเปลี่ยนแปลง
• วิดีโอจะถูกเขียนลงในคอนเทนเนอร์ MP4 เราขอแนะนำให้ใช้ H.264 ("วิดีโอ/AVC" ประเภท MIME) สำหรับการเข้ารหัสเป้าหมาย หากใช้ประเภท MIME VP8 หรือ VP9 สำหรับแทร็กวิดีโอเป้าหมายแทร็กเสียงจะถูกเข้ารหัสโดยใช้ Opus Codec และแทร็กจะถูกเขียนลงในคอนเทนเนอร์ Webm
• ความคืบหน้าการอัปเดตความละเอียดเป็น 100 โดยค่าเริ่มต้นเพื่อให้ตรงกับเปอร์เซ็นต์และสามารถตั้งค่าใน TransformationOptions
• สื่อสามารถถูกตัดแต่งได้โดยการระบุ MediaRange ใน TransformationOptions

การแปลงอย่างต่อเนื่องสามารถยกเลิกได้โดยการโทร cancel ด้วย requestId ของมัน:

 mediaTransformer . cancel ( requestId );

เมื่อคุณไม่ต้องการ MediaTransformer อีกต่อไปโปรดปล่อยมัน โปรดทราบว่าอินสแตนซ์ของ MediaTransformer นั้นไม่สามารถใช้งานได้หลังจากที่คุณปล่อยมันคุณจะต้องสร้างอินสแตนซ์ใหม่

 mediaTransformer . release ();

การจัดการข้อผิดพลาด

เมื่อการเปลี่ยนแปลงล้มเหลวข้อยกเว้นจะไม่ถูกโยนทิ้ง แต่ให้ไว้ใน TransformationListener.onError callback LITR กำหนดข้อยกเว้นของตัวเองสำหรับสถานการณ์ที่แตกต่างกัน สำหรับ API> = 23 ข้อยกเว้น LITR จะมี MediaCodec.CodecException เป็นสาเหตุ

สถิติการรายงาน

เมื่อเป็นไปได้สถิติการแปลงจะมีให้ในการโทรกลับผู้ฟัง สถิติรวมถึงรูปแบบการติดตามแหล่งที่มาและเป้าหมายตัวแปลงสัญญาณที่ใช้และผลลัพธ์การแปลงและเวลาสำหรับแต่ละแทร็ก

เกินค่าเริ่มต้น

โดยค่าเริ่มต้น LITR ใช้ Android MediaCodec สแต็กเพื่อทำงานสื่อทั้งหมดและ OpenGL สำหรับการแสดงผล แต่นี่ไม่ได้ตั้งอยู่ในหิน

ในระดับสูง LITR แบ่งการเปลี่ยนแปลงออกเป็นห้าขั้นตอนสำคัญ:

• การอ่านเฟรมที่เข้ารหัสจากคอนเทนเนอร์แหล่งที่มา
• เฟรมการถอดรหัส
• การเรนเดอร์เฟรมต้นทางไปยังเฟรมเป้าหมายเป็นทางเลือกในการแก้ไข (ตัวอย่างเช่นการซ้อนทับบิตแมป)
• การเข้ารหัสกรอบเป้าหมาย
• การเขียนเฟรมเป้าหมายที่เข้ารหัสลงในคอนเทนเนอร์เป้าหมาย

แต่ละขั้นตอนการแปลงจะดำเนินการโดยส่วนประกอบ แต่ละส่วนประกอบจะถูกแยกออกเป็นอินเทอร์เฟซ:

• MediaSource
• Decoder
• Renderer
• Encoder
• MediaTarget

เมื่อใช้การใช้งานส่วนประกอบของคุณเองตรวจสอบให้แน่ใจว่าเอาต์พุตของส่วนประกอบตรงกับอินพุตที่คาดหวังของส่วนประกอบถัดไป ตัวอย่างเช่นหากคุณใช้ Encoder แบบกำหนดเอง (AV1?) ตรวจสอบให้แน่ใจว่ายอมรับรูปแบบของเฟรมใดก็ตาม Renderer ผลิต ( GlSurface , ByteBuffer ) และส่งออกสิ่งที่ MediaTarget คาดว่าจะเป็นอินพุต

ส่วนประกอบที่กำหนดเองสามารถใช้ใน TrackTransform S ในวิธีการแปลง "ระดับต่ำ" ด้านล่าง:

 transform ( requestId ,
         List < TrackTransform > trackTransforms ,
         listener ,
         granularity )

API นี้อนุญาตให้กำหนดส่วนประกอบและพารามิเตอร์ต่อการติดตามสื่อจึงช่วยให้การดำเนินการตามแทร็กเช่นแทร็ก muxing/demuxing, transcoding แทร็กที่แตกต่างกันเปลี่ยนลำดับการติดตาม ฯลฯ ฯลฯ

ใช้ตัวกรอง

คุณสามารถใช้ตัวกรองที่กำหนดเองเพื่อแก้ไขเฟรมวิดีโอ/เสียง หากคุณกำลังเขียนตัวกรองวิดีโอที่กำหนดเองให้ใช้อินเทอร์เฟซ GlFilter เพื่อดำเนินการ Draw OpenGL เพิ่มเติม หากคุณต้องการเปลี่ยนวิธีการแสดงเฟรมวิดีโอต้นฉบับลงบนเฟรมวิดีโอเป้าหมายให้ใช้อินเทอร์เฟซ GlFrameRender สำหรับตัวกรองเสียงให้ใช้ BufferFilter

ตอนนี้ LITR มีตัวกรองวิดีโอแบบเร่งความเร็ว GPU 40 ตัวที่พอร์ตจากโครงการ MP4composer-Android และ Android-Gpuimage นอกจากนี้คุณยังสามารถสร้างตัวกรองของคุณเองได้ง่ายๆโดยกำหนดค่า VideoFramerenderFilter ด้วย shader ที่กำหนดเองของคุณโดยไม่มีการเข้ารหัสเพิ่มเติม!

ตัวกรองวิดีโอ/เสียงทั้งหมดอยู่ในไลบรารี "Filter Pack" ซึ่งมีให้ผ่าน Gradle:

 implementation ' com.linkedin.android.litr:litr-filters:1.5.7 '

... หรือ Maven:

< dependency >
    < groupId >com.linkedin.android.litr</ groupId >
    < artifactId >litr-filters</ artifactId >
    < version >1.5.7</ version >
</ dependency >

คุณสามารถส่งผ่านรายการตัวกรองเมื่อเปลี่ยนวิดีโอหรือแทร็กเสียง โปรดทราบว่าตัวกรองจะถูกนำไปใช้ในลำดับที่พวกเขาอยู่ในรายการดังนั้นการสั่งซื้อเรื่อง

ใช้ในการทดสอบ

MediaTransformer นั้นไม่ได้ตั้งใจอย่างมากที่จะทำให้การเยาะเย้ยอย่างง่ายดายในการทดสอบหน่วย นอกจากนี้ยังมี MockMediaTransformer สำหรับการทดสอบ UI ซึ่งสามารถซิงโครนัส "เล่นกลับ" ลำดับของการเรียกผู้ฟัง

การทดสอบ

ตรรกะธุรกิจหลักใน LITR ได้รับการคุ้มครองอย่างดีจากการทดสอบหน่วย LITR ได้รับการออกแบบมาเพื่อใช้รูปแบบการฉีดพึ่งพาซึ่งทำให้ง่ายต่อการเขียนการทดสอบ JVM ด้วยการพึ่งพาการเยาะเย้ย เราใช้เฟรมเวิร์ก Mockito เพื่อเยาะเย้ย

แอพสาธิต

LITR มาพร้อมกับแอพสาธิตที่มีประโยชน์ซึ่งช่วยให้คุณสามารถแทร็กวิดีโอ/เสียงที่มีพารามิเตอร์ที่แตกต่างกันนอกเหนือจากการให้รหัสตัวอย่าง

การบริจาค

โปรดอ่านรายละเอียดเกี่ยวกับจรรยาบรรณของเราและกระบวนการในการส่งคำขอดึงให้เรา

การกำหนดเวอร์ชัน

สำหรับเวอร์ชันที่มีให้ดูที่แท็กในที่เก็บนี้

ภาพรวม

คุณสามารถใช้ Snapshot Builds เพื่อทดสอบการเปลี่ยนแปลงล่าสุดที่ยังไม่เผยแพร่ สแน็ปช็อตใหม่ได้รับการเผยแพร่หลังจากทุกการรวมเข้ากับสาขาหลักโดย Workflow การดำเนินการ Snapshot GitHub

เพียงเพิ่มที่เก็บสแน็ปช็อต sonatype ลงในสคริปต์ Gradle ของคุณ:

 repositories {
    maven {
        url " https://oss.sonatype.org/content/repositories/snapshots/ "
    }
}

คุณสามารถค้นหาเวอร์ชันสแน็ปช็อตล่าสุดที่ใช้ในไฟล์ gradle.properties

ผู้เขียน

• Izzat Bahadirov - งานเริ่มต้น - LITR

ดูรายชื่อผู้สนับสนุนที่เข้าร่วมในโครงการนี้

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต BSD 2 -cluse - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

กิตติกรรมประกาศ

• ขอบคุณมากสำหรับ Ypresto สำหรับงานบุกเบิกของเขาในโครงการ Android-Transcoder ซึ่งเป็นแรงบันดาลใจและอิทธิพลอย่างมากต่อ LITR
• ขอขอบคุณเป็นพิเศษสำหรับ Masayukisuda สำหรับงานของเขาในโครงการ MP4composer-Android ซึ่งตอนนี้ฟิลเตอร์ Power Litr และสำหรับการทำงานของเขาในโครงการ ExoplayerFilter ซึ่งเป็นรากฐานสำหรับฟังก์ชั่นการแสดงตัวอย่างตัวกรองใน LITR
• ขอขอบคุณเป็นพิเศษสำหรับโครงการ Android-Gpuimage สำหรับคอลเลกชันตัวกรองที่น่าทึ่ง
• ขอขอบคุณเป็นพิเศษสำหรับ Iandbird สำหรับงานมหัศจรรย์ของเขาในการทำให้ LITR สามารถทำงานเป็นเครื่องบันทึกวิดีโอ/เสียงได้เช่นเดียวกับการมีส่วนร่วมอย่างต่อเนื่องของเขา
• ขอขอบคุณทีมงาน AOSP CTS ของ Google สำหรับการเขียนพื้นผิวเพื่อนำไปใช้การแสดงผลพื้นผิวใน OpenGL ซึ่งกลายเป็นรากฐานสำหรับ glrenderer ใน LITR
• ขอขอบคุณโครงการ Google Oboe สำหรับการใช้งานการส่งสัญญาณเสียงที่มีคุณภาพสูงซึ่งกลายเป็นรากฐานของการประมวลผลเสียงใน LITR
• ตะโกนออกไปหาเพื่อนร่วมงานที่ยอดเยี่ยมของฉัน Amita Sahasrabudhe, Long Peng, Keerthi Korrapati และ Vasiliy Kulakov สำหรับการบริจาคและรีวิวรหัส
• เสียงโห่ร้องให้เพื่อนร่วมงานของฉัน Vidhya Pandurangan สำหรับการตัดแต่งวิดีโอต้นแบบซึ่งตอนนี้กลายเป็นฟีเจอร์
• เสียงตะโกนออกไปที่ Mauroof Ahmed นักออกแบบของเราที่ให้ Identity ภาพ LITR
• ตะโกนออกไปที่ Purplebooth สำหรับเทมเพลต readme.md ที่มีประโยชน์มาก
• ตะโกนออกไปที่ Ma7moudhatem สำหรับการมีส่วนร่วมอันล้ำค่าของเขาในการ litr