การเข้ารหัสและบรรจุเทคโนโลยีการถ่ายทอดสด

ความหมายของการเข้ารหัสวิดีโอ

พื้นที่เก็บข้อมูลขนาดใหญ่สำหรับข้อมูลวิดีโอต้นฉบับวิดีโอ 1080P 7 วินาทีต้องใช้ 817 MB
การส่งข้อมูลวิดีโอดั้งเดิมใช้แบนด์วิดท์ขนาดใหญ่และใช้เวลา 11 นาทีในการส่งวิดีโอ 7 วินาทีข้างต้นด้วยแบนด์วิดท์ 10 Mbps
หลังจากการเข้ารหัสและบีบอัด H.264 วิดีโอจะมีขนาดเพียง 708 k และแบนด์วิดท์ 10 Mbps ต้องการเพียง 500 ms ซึ่งสามารถตอบสนองความต้องการในการส่งแบบเรียลไทม์ ดังนั้นวิดีโอต้นฉบับที่รวบรวมจากเซ็นเซอร์การได้มาของวิดีโอจะต้องได้รับการเข้ารหัสวิดีโอ

พื้นฐาน

เหตุใดวิดีโอต้นฉบับขนาดใหญ่จึงสามารถเข้ารหัสเป็นวิดีโอขนาดเล็กมากได้? เทคโนโลยีในนี้คืออะไร? ก่อนที่จะพูดถึงเทคโนโลยีอันดับแรกเราควรกำหนดแนวคิดของวิดีโอที่เป็นรูปภาพต่อเนื่อง

แนวคิดหลักคือการลบข้อมูลที่ซ้ำซ้อน:

ความซ้ำซ้อนเชิงพื้นที่: มีความสัมพันธ์กันอย่างมากระหว่างพิกเซลที่อยู่ติดกันของรูปภาพ
ความซ้ำซ้อนชั่วคราว: เนื้อหาที่คล้ายกันระหว่างรูปภาพที่อยู่ติดกันในลำดับวิดีโอ
ความซ้ำซ้อนในการเข้ารหัส: ค่าพิกเซลที่แตกต่างกันมีความน่าจะเป็นที่แตกต่างกัน
ความซ้ำซ้อนของภาพ: ระบบภาพของมนุษย์ไม่อ่อนไหวต่อรายละเอียดบางอย่าง
ความซ้ำซ้อนของความรู้: โครงสร้างของความสม่ำเสมอสามารถหาได้จากความรู้เดิมและความรู้พื้นฐาน
วิดีโอเป็นชุดของรูปภาพที่เล่นอย่างต่อเนื่องและรวดเร็วดังนั้นวิธีที่ง่ายที่สุดในการบีบอัดวิดีโอคือการบีบอัดรูปภาพแต่ละเฟรม ตัวอย่างเช่นการเข้ารหัส MJPEG แบบเก่าคือการบีบอัดแต่ละเฟรมของรูปภาพในวิดีโอ วิธีการเข้ารหัสนี้มีเพียงการเข้ารหัสภายในเฟรมซึ่งใช้การคาดคะเนตัวอย่างเชิงพื้นที่ในการเขียนโค้ด การเปรียบเทียบภาพคือการใช้แต่ละเฟรมเป็นรูปภาพและใช้รูปแบบการเข้ารหัส JPEG เพื่อบีบอัดรูปภาพ การเข้ารหัสประเภทนี้จะพิจารณาเฉพาะการบีบอัดข้อมูลที่ซ้ำซ้อนในรูปภาพ

อย่างไรก็ตามเนื่องจากความสัมพันธ์ของเวลาระหว่างเฟรมจึงมีการพัฒนาตัวเข้ารหัสขั้นสูงบางตัวที่สามารถใช้การเข้ารหัสระหว่างเฟรมได้ พูดง่ายๆก็คือพื้นที่บางส่วนบนเฟรมจะถูกเลือกผ่านอัลกอริทึมการค้นหาจากนั้นจึงคำนวณเฟรมปัจจุบันซึ่งเป็นรูปแบบของการเข้ารหัสที่มีความแตกต่างของเวกเตอร์ระหว่างกรอบอ้างอิงด้านหน้าและด้านหลัง จากสองเฟรมต่อเนื่องต่อไปนี้ในรูปที่ 2 เราจะเห็นว่านักเล่นสกีกำลังเคลื่อนที่ไปข้างหน้า แต่ในความเป็นจริงแล้วฉากหิมะกำลังเลื่อนไปข้างหลังและเฟรม P อ้างอิงเฟรม (I หรือเฟรม P อื่น ๆ ) สามารถเข้ารหัสได้ขนาด หลังจากการเข้ารหัสมีขนาดเล็กมากและอัตราส่วนการบีบอัดสูงมาก

ลิงค์อ้างอิงเกี่ยวกับ กรอบ http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww

นักเรียนบางคนอาจสนใจว่าภาพสองภาพนี้มีที่มาอย่างไร นี่คือคำสั่ง FFmpeg สองบรรทัดเพื่อให้บรรลุ สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับ FFmpeg โปรดดูบทต่อไปนี้:

บรรทัดแรกสร้างวิดีโอที่มีเวกเตอร์เคลื่อนที่
บรรทัดที่สองจะแสดงผลแต่ละเฟรมเป็นรูปภาพ
ใช้คำสั่ง

ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4

ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
　　　

นอกเหนือจากความซ้ำซ้อนเชิงพื้นที่และการบีบอัดซ้ำซ้อนชั่วคราวแล้วยังมีการบีบอัดการเข้ารหัสและการบีบอัดภาพเป็นหลัก ต่อไปนี้เป็นผังงานหลักของตัวเข้ารหัส:

รูปที่ 3 และรูปที่ 4 เป็นสองกระบวนการ รูปที่ 3 คือการเข้ารหัสภายในเฟรมและรูปที่ 4 คือการเข้ารหัสระหว่างเฟรม ความแตกต่างหลักที่เห็นจากรูปคือขั้นตอนแรกแตกต่างกัน ในความเป็นจริงแล้วกระบวนการทั้งสองนี้จะรวมเข้าด้วยกันด้วย โดยทั่วไปแล้ว I frame และ P frame ใช้การเข้ารหัสภายในเฟรมและการเข้ารหัสระหว่างเฟรมตามลำดับ

การเลือกตัวเข้ารหัส

ฉันได้แยกแยะหลักการและกระบวนการพื้นฐานของตัวเข้ารหัสแล้ว ตัวเข้ารหัสมีประสบการณ์ในการพัฒนามานานหลายทศวรรษ มีการพัฒนาจากการสนับสนุนเฉพาะการเข้ารหัสภายในเฟรมไปจนถึงตัวเข้ารหัสรุ่นใหม่ที่แสดงโดย H.265 และ VP9 ในปัจจุบัน ในปัจจุบันมีการวิเคราะห์ตัวเข้ารหัสทั่วไปบางตัวและเราจะพาคุณไปสำรวจโลกของตัวเข้ารหัส

H.264

บทนำ

โครงการ H.264 / AVC ตั้งใจที่จะสร้างมาตรฐานวิดีโอ เมื่อเทียบกับมาตรฐานเดิมสามารถให้วิดีโอคุณภาพสูงด้วยแบนด์วิดท์ที่ต่ำกว่า (กล่าวอีกนัยหนึ่งแบนด์วิดท์เพียงครึ่งเดียวของ MPEG-2, H.263 หรือ MPEG-4 Part 2 หรือน้อยกว่า) โดยไม่ต้องเพิ่มความซับซ้อนในการออกแบบมากเกินไป เป็นไปไม่ได้ที่จะบรรลุหรือต้นทุนในการดำเนินการสูงเกินไป จุดประสงค์อีกประการหนึ่งคือเพื่อให้มีความยืดหยุ่นเพียงพอที่จะใช้ในแอปพลิเคชันเครือข่ายและระบบต่างๆรวมถึงแบนด์วิดท์สูงและต่ำความละเอียดวิดีโอสูงและต่ำการแพร่ภาพการจัดเก็บดีวีดีเครือข่าย RTP / IP และระบบโทรศัพท์มัลติมีเดีย ITU-T

H.264 / AVC มีคุณลักษณะใหม่ ๆ มากมายทำให้ไม่เพียง แต่มีประสิทธิภาพมากกว่าตัวแปลงสัญญาณรุ่นก่อนหน้านี้เท่านั้น แต่ยังสามารถใช้ในแอปพลิเคชันในสภาพแวดล้อมเครือข่ายต่างๆได้อีกด้วย พื้นฐานทางเทคนิคนี้ทำให้ H.264 กลายเป็นตัวแปลงสัญญาณหลักที่ บริษัท วิดีโอออนไลน์ใช้รวมถึง YouTube แต่การใช้งานนั้นไม่ใช่เรื่องง่าย ตามทฤษฎีแล้วการใช้ H.264 ต้องใช้เงินจำนวนมาก ค่าธรรมเนียมสิทธิบัตร

ใบอนุญาตสิทธิบัตร

เช่นเดียวกับส่วนแรกและส่วนที่สองของ MPEG-2 และส่วนที่สองของ MPEG-4 ผู้ผลิตผลิตภัณฑ์และผู้ให้บริการที่ใช้ H.264 / AVC จำเป็นต้องจ่ายค่าธรรมเนียมใบอนุญาตสิทธิบัตรให้กับผู้ถือสิทธิบัตร แหล่งที่มาหลักของใบอนุญาตสิทธิบัตรเหล่านี้คือองค์กรเอกชนชื่อ MPEG-LA LLC องค์กรนี้ไม่มีส่วนเกี่ยวข้องกับ MPEG Standardization Organization แต่องค์กรนี้ยังจัดการระบบ MPEG-2 Part One, Part Two Video และ MPEG-4 Part One วิดีโอสองส่วนและใบอนุญาตสิทธิบัตรเทคโนโลยีอื่น ๆ
ใบอนุญาตสิทธิบัตรอื่น ๆ จำเป็นต้องใช้กับองค์กรเอกชนอื่นที่เรียกว่า VIA Licensing ซึ่งจัดการใบอนุญาตสิทธิบัตรสำหรับมาตรฐานการบีบอัดเสียงเช่น MPEG-2 AAC และ MPEG-4 Audio

การใช้งานโอเพ่นซอร์สของ H.264

openh264 เป็นโปรแกรมเข้ารหัสแบบโอเพ่นซอร์ส H.264 ที่ Cisco นำมาใช้ แม้ว่า H.264 จะต้องมีค่าธรรมเนียมสิทธิบัตรสูง แต่ก็มีการ จำกัด ค่าธรรมเนียมสิทธิบัตรรายปี หลังจากที่ Cisco จ่ายค่าธรรมเนียมสิทธิบัตรรายปีสำหรับ OpenH264 แล้ว OpenH264 นั้นฟรีใช้งานได้อย่างอิสระ

x264 เป็นซอฟต์แวร์ฟรีสำหรับการเข้ารหัสวิดีโอที่ได้รับอนุญาตภายใต้ GPL หน้าที่หลักของ x264 คือทำการเข้ารหัสวิดีโอ H.264 / MPEG-4 AVC ไม่ใช่เป็นตัวถอดรหัส

ไม่รวมปัญหาค่าใช้จ่ายสำหรับการเปรียบเทียบ:
การใช้งาน CPU ของ openh264 นั้นต่ำกว่า x264 มาก
openh264 รองรับเฉพาะโปรไฟล์พื้นฐาน x264 รองรับโปรไฟล์เพิ่มเติม

HEVC / H.265

บทนำ

High Efficiency Video Coding (HEVC) เป็นมาตรฐานการบีบอัดวิดีโอ (เรียกอีกอย่างว่า H.265) ซึ่งถือได้ว่าเป็นตัวต่อของมาตรฐาน ITU-T H.264 / MPEG-4 AVC ในปี 2004 ISO / IEC Moving Picture Experts Group (MPEG) และ ITU-T Video Coding Experts Group (VCEG) ได้เริ่มพัฒนาเป็น ISO / IEC 23008-2 MPEG-H Part 2 หรือ ITU-T H.265 มาตรฐานการบีบอัดวิดีโอ HEVC / H.265 เวอร์ชันแรกได้รับการยอมรับว่าเป็นมาตรฐานอย่างเป็นทางการของสหภาพโทรคมนาคมระหว่างประเทศ (ITU-T) เมื่อวันที่ 13 เมษายน 2013 HEVC ไม่เพียง แต่ปรับปรุงคุณภาพของวิดีโอเท่านั้น อัตราการบีบอัด H.264 / MPEG-4 AVC (เทียบเท่ากับอัตราบิตที่ลดลง 50% ภายใต้คุณภาพของภาพเดียวกัน) และสามารถรองรับความละเอียด 4K และแม้แต่ทีวีความละเอียดสูงพิเศษ (UHDTV) ความละเอียดสูงสุดก็สามารถทำได้ ถึง 8192 × 4320 (ความละเอียด 8K)

ใบอนุญาตสิทธิบัตร

HEVC กำหนดให้ผู้ผลิตเนื้อหาทั้งหมดที่ใช้เทคโนโลยี H.265 รวมถึง Apple, YouTube, Netflix, Facebook และ Amazon จ่าย 0.5% ของรายได้เนื้อหาเป็นค่าธรรมเนียมการใช้เทคโนโลยี ตลาดสื่อสตรีมมิ่งทั้งหมดมีมูลค่าถึงประมาณ 100 แสนล้านดอลลาร์สหรัฐในแต่ละปีและยังคงเติบโตอย่างต่อเนื่องการจัดเก็บ 0.5% เป็นค่าธรรมเนียมที่มาก และพวกเขาไม่ยอมทิ้งผู้ผลิตอุปกรณ์ซึ่งผู้ผลิตทีวีต้องจ่าย 1.5 ดอลลาร์สหรัฐต่อหน่วยและผู้ผลิตอุปกรณ์มือถือ 0.8 ดอลลาร์สหรัฐต่อหน่วยในค่าธรรมเนียมสิทธิบัตร พวกเขาไม่ได้ปล่อยมือจากผู้ผลิตเช่นเครื่องเล่นบลูเรย์เครื่องเล่นเกมและเครื่องบันทึกวิดีโอซึ่งต้องจ่าย $ 1.1 ต่อคน

การใช้งานโอเพ่นซอร์สของ H.265 / HEVC

libde265 HEVC จัดทำโดย บริษัท struktur ภายใต้ใบอนุญาตโอเพนซอร์ส GNU Lesser General Public License (LGPL) และผู้ชมสามารถเพลิดเพลินกับภาพที่มีคุณภาพสูงสุดด้วยความเร็วอินเทอร์เน็ตที่ช้าลง เมื่อเทียบกับตัวถอดรหัสก่อนหน้านี้ตามมาตรฐาน H.264 ตัวถอดรหัส libde265 HEVC สามารถนำเนื้อหา Full HD ของคุณไปสู่ผู้ชมได้มากถึงสองเท่าหรือลดแบนด์วิดท์ที่จำเป็นสำหรับการสตรีมลง 50%

x265 ได้รับการพัฒนาโดย MulticoreWare และเป็นแบบโอเพ่นซอร์สภายใต้ข้อตกลง GPL

VP8

บทนำ

VP8 เป็นรูปแบบการบีบอัดวิดีโอแบบเปิดที่พัฒนาโดย On2 Technologies เป็นครั้งแรกและเผยแพร่โดย Google ในเวลาเดียวกัน Google ยังได้เปิดตัวไลบรารีการใช้งานรหัส VP8: libvpx ซึ่งเผยแพร่ในรูปแบบของเงื่อนไขใบอนุญาต BSD และต่อมาได้เพิ่มสิทธิ์ในการใช้สิทธิบัตร หลังจากมีข้อโต้แย้งในที่สุดการอนุญาต VP8 ก็ได้รับการยืนยันว่าเป็นการอนุญาตโอเพนซอร์ส

ปัจจุบันเว็บเบราว์เซอร์ที่รองรับ VP8 ได้แก่ Opera, Firefox และ Chrome

ใบอนุญาตสิทธิบัตร

ในเดือนมีนาคม 2013 Google บรรลุข้อตกลงกับ MPEG LA และผู้ถือสิทธิบัตร 11 รายเพื่อให้ Google ได้รับ VP8 และ VPx ก่อนหน้าและการเข้ารหัสอื่น ๆ ที่อาจละเมิดสิทธิบัตร ในขณะเดียวกัน Google ยังสามารถให้สิทธิ์สิทธิบัตรที่เกี่ยวข้องอีกครั้งแก่ผู้ใช้ VP8 ได้โดยไม่เสียค่าใช้จ่าย ข้อตกลงนี้ยังเหมาะสำหรับการเข้ารหัส VPx รุ่นต่อไป จนถึงขณะนี้ MPEG LA ได้ยกเลิกการจัดตั้งพันธมิตรการออกใบอนุญาตแบบรวมศูนย์สิทธิบัตร VP8 แล้วและผู้ใช้ VP8 จะสามารถกำหนดให้ใช้รหัสนี้ได้โดยไม่เสียค่าใช้จ่ายโดยไม่ต้องกังวลเกี่ยวกับค่าลิขสิทธิ์การละเมิดสิทธิบัตรที่อาจเกิดขึ้น

การใช้งานโอเพนซอร์สของ VP8

Libvpx เป็นเพียงการใช้งานโอเพนซอร์สของ VP8 ได้รับการพัฒนาโดย On2 Technologies หลังจาก Google ได้มาแล้วก็เปิดซอร์สโค้ด ใบอนุญาตหลวมมากและสามารถใช้งานได้อย่างอิสระ

VP9

บทนำ

การพัฒนา VP9 เริ่มขึ้นในไตรมาสที่สามของปี 2011 เป้าหมายคือการลดขนาดไฟล์ลง 50% เมื่อเทียบกับการเข้ารหัส VP8 ภายใต้คุณภาพของภาพเดียวกัน เป้าหมายอีกประการหนึ่งคือการเข้ารหัส HEVC ที่เหนือกว่าประสิทธิภาพในการเข้ารหัส

ในวันที่ 13 ธันวาคม 2012 เบราว์เซอร์ Chromium ได้เพิ่มการรองรับการเข้ารหัส VP9 เบราว์เซอร์ Chrome เริ่มรองรับการเล่นวิดีโอที่เข้ารหัส VP9 เมื่อวันที่ 21 กุมภาพันธ์ 2013

Google ประกาศว่าจะพัฒนาโค้ด VP9 ให้เสร็จสมบูรณ์ในวันที่ 17 มิถุนายน 2013 เมื่อเบราว์เซอร์ Chrome จะแนะนำโค้ด VP9 ตามค่าเริ่มต้น เมื่อวันที่ 18 มีนาคม 2014 Mozilla ได้เพิ่มการรองรับ VP9 ในเบราว์เซอร์ Firefox

เมื่อวันที่ 3 เมษายน 2015 Google ได้เปิดตัว libvpx1.4.0 ซึ่งเพิ่มการรองรับความลึก 10 บิตและ 12 บิตการสุ่มตัวอย่างโครมา 4: 2: 2 และ 4: 4: 4 และการเข้ารหัส / ถอดรหัสแบบมัลติคอร์ VP9

ใบอนุญาตสิทธิบัตร

VP9 เป็นรูปแบบการเข้ารหัสวิดีโอแบบเปิดที่ไม่มีค่าลิขสิทธิ์

การใช้งานโอเพนซอร์สของ VP9

libvpx เป็นเพียงการใช้งานโอเพนซอร์สของ VP9 ซึ่งพัฒนาและดูแลโดย Google รหัสบางส่วนใช้ร่วมกันโดย VP8 และ VP9 และส่วนที่เหลือเป็นการใช้งานตัวแปลงสัญญาณของ VP8 และ VP9 ตามลำดับ

เปรียบเทียบ VP9 และ H.264 และ HEVC
การเปรียบเทียบ HEVC และ H.264 ที่ความละเอียดต่างกัน
เมื่อเทียบกับ H.264 / MPEG-4 การลดอัตราบิตเฉลี่ยของ HEVC คือ:

จะเห็นได้ว่าอัตราบิตลดลงมากกว่า 60%

HEVC (H.265) มีข้อได้เปรียบมากกว่าในการประหยัดอัตราบิตสำหรับ VP9 และ H.264 ประหยัด 48.3% และ 75.8% ตามลำดับภายใต้ PSNR เดียวกัน
H.264 มีข้อได้เปรียบอย่างมากในการเข้ารหัสเวลา เมื่อเทียบกับ VP9 และ HEVC (H.265) แล้ว HEVC เป็น 6 เท่าของ VP9 และ VP9 เกือบ 40 เท่าของ H.264