오디오 및 비디오 개발 및 학습

우리는 먼저 누군가가 오디오 및 비디오에 대한 기초가없고 디지털 신호 처리 관련 지식을 배운 적이 없다고 가정합니다. 수학적 기초는 기본적으로 고등학교 수준이지만, 그는 C / C ++ 개발에 익숙하며 적어도 특정 플랫폼에서의 IDE 컴파일 및 디버깅에 익숙합니다.

주로 ffmpeg의 비디오 부분과 webRTC의 오디오 부분을 살펴 보는 두 개의 오픈 소스 프로젝트 ffmpeg 및 webRTC에 초점을 맞 춥니 다.

우선, 비디오 디코딩으로 시작하십시오. 이것은 가장 간단한 것입니다. ffmpeg 비디오 디코딩을 호출하는 기본 코드는 약 100 줄입니다. 비디오 디코딩은 h.264, 80 % 이상의 장면이이 인코딩 형식으로되어 있고, 기본 H.264 sps pps NAL 및 기타 파일 형식 개념을 이해하고, YUV 이미지 형식의 원리를 이해하고, YUV에서 RGB 로의 변환을 이해하면됩니다. , 이미지 렌더링을 할 수 있으므로 간단한 비디오 플레이어를 얻을 수 있습니다. (기본적으로 첫 번째 단계)

그런 다음 비디오 코딩에 대해 알아 보려면 x264로 시작하는 것이 좋습니다. x264 인코딩 코드에 대한 간단한 호출은 100 줄 미만입니다. 인코딩은 디코딩에 매개 변수를 구성 할 필요가없고 인코딩에 구성해야하는 매개 변수가 많다는 점에서 디코딩보다 더 복잡합니다. 처음에는 프레임 속도, 일반적인 흐름 제어 방법 ABR CRF, GOP, I / B와 같은 몇 가지 기본 개념을 이해하십시오. / P 프레임은 각각 무엇을 의미합니까? (X264 인코딩에 다시 익숙 함)

오디오 부분의 코덱은 비디오의 코덱과 유사합니다. 초기 단계에서는 두 인코더 EAAC + 및 Silk를 이해하고 사운드 채널, 샘플링 속도 등의 개념을 이해하고 Wave 파일 형식을 이해하면됩니다. 간단한 오디오 플레이어가 될 수 있습니다. (오디오 플레이어 만들기)

오디오의 복잡한 부분은 코덱이 아니라 사운드 효과입니다. webRTC의 오디오 처리 모듈을 살펴보고 잡음 제거 NS, 에코 제거 AEC, 음소거 감지 VAD, 자동 이득 제어 AGC 및 내장 webRTC와 같은 개념을 이해하십시오. 알고리즘이 최고는 아니지만 90 % 이상의 문제를 해결할 수 있으며 학습 할 가치가 있습니다. (webrtc 오디오 처리 배우기)

이것을 배운 후에는 엔지니어링 경로를 택할 것인지 알고리즘 경로를 선택할 것인지에 대한 질문에 대해 생각해야합니다. 그것이 알고리즘 경로라면 나는 수학을 배워야합니다. 디지털 신호 처리 뒤에는 수많은 기본 수학적 이론이 있습니다. 엔지니어링 경로라면 크로스 플랫폼 개발을 배우고, 여러 플랫폼에서 오디오 및 비디오의 수집, 재생 및 처리를 배우고, 여러 플랫폼에서 어셈블리 언어 최적화를 배워야합니다. (플랫폼 관련)

오디오와 비디오는 매우 깊은 분야이며 평생 학습을 끝내지 못할 것입니다. 그러나이 분야는 지식 업데이트 속도가 상대적으로 느리고 배운 것들이 제거하기 쉽지 않으며 경험이 축적되는 장점이 있습니다. 매우 중요합니다 .v