비디오 코딩의 의미
원본 비디오 데이터를위한 대용량 저장 공간, 1080P 7 초 비디오에는 817MB 필요
원본 비디오 데이터 전송은 큰 대역폭을 차지하며 11Mbps 대역폭으로 7 초 이상의 비디오를 전송하는 데 10 분이 걸립니다.
H.264 인코딩 및 압축 후 비디오 크기는 708k에 불과하고 10Mbps 대역폭은 500ms 만 필요하므로 실시간 전송 요구 사항을 충족 할 수 있습니다. 따라서 비디오 수집 센서에서 수집 된 원본 비디오는 비디오 인코딩되어야합니다.
기본적인
그렇다면 왜 거대한 원본 비디오를 아주 작은 비디오로 인코딩 할 수 있습니까? 이것의 기술은 무엇입니까? 기술에 대해 이야기하기 전에 먼저 연속 사진이라는 비디오 개념을 설정해야합니다.
핵심 아이디어는 중복 정보를 제거하는 것입니다.
공간 중복 : 사진의 인접한 픽셀간에 강한 상관 관계가 있습니다.
일시적 중복 : 비디오 시퀀스에서 인접한 사진 사이의 유사한 콘텐츠
코딩 중복 : 다른 픽셀 값은 다른 확률을 가짐
시각적 중복성 : 인간의 시각 시스템은 특정 세부 사항에 민감하지 않습니다.
지식 중복 : 규칙적인 구조는 사전 지식과 배경 지식에서 얻을 수 있습니다.
비디오는 기본적으로 연속적이고 빠르게 재생되는 일련의 사진이므로 비디오를 압축하는 가장 쉬운 방법은 각 사진 프레임을 압축하는 것입니다. 예를 들어, 이전 MJPEG 인코딩은 비디오의 각 사진 프레임을 압축하는 것입니다. 이 인코딩 방법은 공간 샘플 예측을 사용하여 코딩하는 프레임 내 코딩 만 있습니다. 이미지 비유는 각 프레임을 그림으로 취급하고 JPEG 인코딩 형식을 사용하여 그림을 압축하는 것입니다. 이러한 종류의 인코딩은 사진의 중복 정보 압축만을 고려합니다.
그러나 프레임 간의 시간 상관 관계로 인해 프레임 간 코딩을 사용할 수있는 일부 고급 인코더가 개발되었습니다. 간단히 말해서 검색 알고리즘을 통해 프레임의 특정 영역을 선택하고 현재 프레임을 계산하는 방식으로 앞뒤 기준 프레임의 벡터 차이를 이용한 인코딩 형태입니다. 그림 2의 다음 두 연속 프레임을 통해 스키어가 앞으로 이동하고 있음을 알 수 있지만 실제로 설경이 뒤로 이동하고 P 프레임이 참조됩니다. 프레임 (I 또는 다른 P 프레임)을 인코딩 할 수 있습니다. 인코딩 후 매우 작고 압축 비율이 매우 높습니다.
참조 링크 프레임 http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
어떤 학생들은이 두 사진의 출처에 관심이있을 수 있습니다. 다음은 두 줄의 FFmpeg 명령입니다. FFmpeg에 대한 자세한 내용은 다음 장을 참조하십시오.
첫 번째 줄은 움직이는 벡터가있는 비디오를 생성합니다.
두 번째 줄은 각 프레임을 그림으로 출력합니다.
명령 사용
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal- % 03d.bmp '
공간 중복 및 시간 중복 압축 외에도 주로 인코딩 압축 및 시각적 압축이 있습니다. 다음은 인코더의 주요 순서도입니다.
그림 3과 그림 4는 두 가지 프로세스입니다. 그림 3은 프레임 내 코딩이고 그림 4는 프레임 간 코딩입니다. 그림에서 볼 수있는 주요 차이점은 첫 번째 단계가 다르다는 것입니다. 실제로이 두 프로세스도 결합됩니다. 일반적으로 I 프레임과 P 프레임은 각각 프레임 내 코딩과 프레임 간 코딩을 사용합니다.
인코더 선택
인코더의 원리와 기본 과정을 정리했습니다. 인코더는 수십 년 동안 개발되었습니다. 프레임 내 인코딩 만 지원하던 것에서 오늘날 H.265 및 VP9로 대표되는 차세대 인코더로 발전했습니다. 현재 몇 가지 일반적인 인코더가 분석되어 인코더의 세계를 살펴 보도록하겠습니다.
H.264
개요
H.264 / AVC 프로젝트는 비디오 표준을 만들려고합니다. 이전 표준에 비해 설계 복잡성을 너무 많이 추가하지 않고도 낮은 대역폭 (즉, MPEG-2, H.263 또는 MPEG-4 Part 2 대역폭의 절반 이하)에서 고품질 비디오를 제공 할 수 있습니다. 달성이 불가능하거나 구현 비용이 너무 높습니다. 또 다른 목적은 고 / 저 대역폭, 고 / 저 비디오 해상도, 방송, DVD 스토리지, RTP / IP 네트워크 및 ITU-T 멀티미디어 전화 시스템을 포함한 다양한 애플리케이션, 네트워크 및 시스템에서 사용할 수있는 충분한 유연성을 제공하는 것입니다.
H.264 / AVC에는 일련의 새로운 기능이 포함되어있어 이전 코덱보다 효율적일뿐만 아니라 다양한 네트워크 환경의 응용 프로그램에서도 사용할 수 있습니다. 이러한 기술 기반 덕분에 H.264는 YouTube를 비롯한 온라인 비디오 회사에서 사용하는 주요 코덱이되었지만 사용은 그리 쉬운 일이 아닙니다. 이론적으로 H.264를 사용하려면 많은 돈이 필요합니다. 특허 수수료.
특허 라이선스
MPEG-2의 첫 번째 및 두 번째 부분과 MPEG-4의 두 번째 부분과 마찬가지로 H.264 / AVC를 사용하는 제품 제조업체 및 서비스 제공 업체는 특허 보유자에게 특허 라이선스 비용을 지불해야합니다. 이러한 특허 라이센스의 주요 출처는 MPEG-LA LLC라는 민간 조직입니다. 이 조직은 MPEG 표준화 조직과 관련이 없지만이 조직은 MPEG-2 Part One 시스템, Part Two Video 및 MPEG-4 Part One도 관리합니다. 두 부분으로 구성된 비디오 및 기타 기술 특허 라이센스.
MPEG-2 AAC 및 MPEG-4 Audio와 같은 오디오 압축 표준에 대한 특허 라이선스도 관리하는 VIA Licensing이라는 다른 민간 조직에 다른 특허 라이선스를 적용해야합니다.
H.264의 오픈 소스 구현
openh264는 Cisco에서 구현 한 오픈 소스 H.264 인코딩 프로그램입니다. H.264는 높은 특허료를 요구하지만 연간 특허료 한도가 있습니다. Cisco가 OpenH264에 대한 연간 특허료를 지불 한 후 OpenH264는 실제로 무료입니다.
x264는 GPL에 따라 라이센스가 부여 된 비디오 코딩 무료 소프트웨어입니다. x264의 주요 기능은 디코더가 아닌 H.264 / MPEG-4 AVC 비디오 인코딩을 수행하는 것입니다.
비교를 위해 비용 문제 제외 :
openh264의 CPU 사용량은 x264의 CPU 사용량보다 훨씬 낮습니다.
openh264는 기준 프로필 만 지원하고 x264는 더 많은 프로필을 지원합니다.
HEVC / H.265
개요
HEVC (High Efficiency Video Coding)는 ITU-T H.265 / MPEG-264 AVC 표준의 후속으로 간주되는 비디오 압축 표준 (H.4라고도 함)입니다. 2004 년에 ISO / IEC MPEG (Moving Picture Experts Group)와 ITU-T Video Coding Experts Group (VCEG)은 ISO / IEC 23008-2 MPEG-H Part 2 또는 ITU-T H.265로 개발하기 시작했습니다. HEVC / H.265 비디오 압축 표준의 첫 번째 버전은 13 년 2013 월 264 일 국제 전기 통신 연합 (ITU-T)의 공식 표준으로 승인되었습니다. HEVC는 비디오 품질을 향상시킬뿐만 아니라 두 배를 달성하는 것으로 간주됩니다. H.4 / MPEG-50 AVC의 압축률 (동일한 화질에서 비트 전송률이 4 % 감소)이며 8192K 해상도와 초 고화질 TV (UHDTV)도 지원할 수 있습니다. 4320 × 8 (XNUMXK 해상도)에 도달합니다.
특허 라이선스
HEVC는 Apple, YouTube, Netflix, Facebook, Amazon을 포함하여 H.265 기술을 사용하는 모든 콘텐츠 제조업체가 콘텐츠 수익의 0.5 %를 기술 사용료로 지불하도록 요구합니다. 전체 스트리밍 미디어 시장은 매년 약 100 억 달러에 이르며 계속 성장하고 있습니다. 0.5 %의 부과금은 확실히 엄청난 수수료입니다. 그리고 그들은 장비 제조업체를 포기하지 않았는데, 그중 TV 제조업체는 단위당 1.5 달러, 모바일 장치 제조업체는 단위당 0.8 달러의 특허료를 지불해야합니다. 그들은 블루 레이 장치 플레이어, 게임 콘솔, 비디오 레코더와 같은 제조업체를 놓지 않았으며, 각각 $ 1.1를 지불해야합니다.
H.265 / HEVC의 오픈 소스 구현
libde265 HEVC는 오픈 소스 라이선스 GNU Lesser General Public License (LGPL)에 따라 struktur 회사에서 제공하며 시청자는 느린 인터넷 속도에서 최고 품질의 이미지를 즐길 수 있습니다. H.264 표준을 기반으로하는 이전 디코더와 비교하여 libde265 HEVC 디코더는 풀 HD 콘텐츠를 최대 50 배의 청중에게 제공하거나 스트리밍에 필요한 대역폭을 XNUMX %까지 줄일 수 있습니다.
x265는 MulticoreWare에서 개발했으며 GPL 계약에 따라 오픈 소스입니다.
VP8
개요
VP8은 On2 Technologies에서 처음 개발 한 후 Google에서 출시 한 개방형 비디오 압축 형식입니다. 동시에 구글은 VP8 코딩 된 구현 라이브러리 인 libvpx도 공개했다.이 라이브러리는 BSD 라이선스 조건의 형태로 출시되었고 이후에 특허 사용권을 추가했다. 몇 가지 논쟁 끝에 VP8의 승인이 마침내 오픈 소스 승인으로 확인되었습니다.
현재 VP8을 지원하는 웹 브라우저는 Opera, Firefox 및 Chrome입니다.
특허 라이선스
2013 년 11 월, Google은 MPEG LA 및 8 명의 특허 보유자와 계약을 맺어 Google이 VP8 및 이전 VPx 및 특허를 침해 할 수있는 기타 인코딩을 획득 할 수 있도록 허용했습니다. 동시에 Google은 VP8 사용자에게 관련 특허를 무료로 재 승인 할 수도 있습니다. ,이 계약은 차세대 VPx 인코딩에도 적합합니다. 지금까지 MPEG LA는 VP8 특허 중앙 집중식 라이선싱 연합의 설립을 포기했으며 VPXNUMX 사용자는 특허 침해 가능성에 대해 걱정하지 않고이 코드를 무료로 사용할 수 있습니다.
VP8의 오픈 소스 구현
Libvpx는 VP8의 유일한 오픈 소스 구현입니다. On2 Technologies에서 개발했습니다. 구글이이를 인수 한 후 소스 코드를 공개했다. 라이센스가 매우 느슨하며 자유롭게 사용할 수 있습니다.
VP9
개요
VP9의 개발은 2011 년 50 분기에 시작되었습니다. 목표는 동일한 이미지 품질에서 VP8 인코딩에 비해 파일 크기를 XNUMX % 줄이는 것입니다. 또 다른 목표는 인코딩 효율성에서 HEVC 인코딩을 능가하는 것입니다.
13 년 2012 월 9 일에 Chromium 브라우저는 VP9 인코딩에 대한 지원을 추가했습니다. Chrome 브라우저는 21 년 2013 월 XNUMX 일부터 VPXNUMX 인코딩 동영상 재생을 지원하기 시작했습니다.
Google은 9 년 17 월 2013 일 Chrome 브라우저가 기본적으로 VP9 코드를 안내하는 VP18 코드 개발을 완료한다고 발표했습니다. 2014 년 9 월 XNUMX 일 Mozilla는 Firefox 브라우저에 VPXNUMX 지원을 추가했습니다.
3 년 2015 월 1.4.0 일 Google은 10 비트 및 12 비트 비트 심도, 4 : 2 : 2 및 4 : 4 : 4 크로마 샘플링, VP9 멀티 코어 인코딩 / 디코딩에 대한 지원을 추가 한 libvpxXNUMX을 출시했습니다.
특허 라이선스
VP9는 로열티가없는 오픈 형식의 비디오 인코딩 형식입니다.
VP9의 오픈 소스 구현
libvpx는 Google에서 개발하고 유지 관리하는 VP9의 유일한 오픈 소스 구현입니다. 코드 중 일부는 VP8 및 VP9에서 공유하고 나머지는 각각 VP8 및 VP9의 코덱 구현입니다.
VP9, H.264 및 HEVC 비교
다른 해상도에서 HEVC와 H.264의 비교
H.264 / MPEG-4와 비교할 때 HEVC의 평균 비트 전송률 감소는 다음과 같습니다.
비트율이 60 % 이상 떨어졌음을 알 수 있습니다.
HEVC (H.265)는 VP9 및 H.264의 비트 전송률 절약에서 더 큰 이점을 제공하여 동일한 PSNR에서 각각 48.3 % 및 75.8 % 절약
H.264는 인코딩 시간에 큰 이점이 있습니다. VP9 및 HEVC (H.265)에 비해 HEVC는 VP6의 9 배, VP9는 H.40의 거의 264 배입니다.
