키워드: 비동기 오디오 및 비디오 MPEG-2 PCR DTS PTS 인코더 디코더
우리나라에서 디지털 텔레비전의 급속한 발전과 도시 라디오 및 텔레비전 네트워크의 디지털 전환이 진행됨에 따라 점점 더 많은 사람들이 디지털 텔레비전 프로그램을 시청하기 위해 셋톱 박스를 사용하기 시작했습니다. 하지만 셋톱박스를 통해 TV 프로그램을 시청하는 과정에서 일부 오디오와 비디오의 싱크가 맞지 않는 경우가 있습니다. 이것 또한 우리의 관심을 끌었습니다.
현상 및 테스트
구이양시는 기본적으로 2007년 말에 라디오 및 텔레비전 네트워크의 디지털 전환을 완료했으며 구이저우 TV 방송국의 프로그램도 디지털 네트워크 전송에 진입했습니다. 디지털 네트워크에 들어간 후 우리 방송국의 여러 프로그램이 일부 지역에서 오디오와 비디오가 동기화되지 않는 현상이 있음을 발견했습니다. 특히 위성 비디오 채널과 피플 채널에서 뉴스가 방송될 때 더욱 그렇습니다. 문제가 어디에 있는지 알아보기 위해 프로그램의 전체 전송 경로에 대해 립싱크 테스트를 수행하기로 결정했습니다. 테스트에 사용된 장비는 Tektronix WFM7120입니다. 오디오/비디오 지연 측정을 수행할 때 TG700 DVG7을 통해 일련의 짧은 컬러 막대 비디오 신호를 생성해야 하며 오디오 시퀀스는 5초 간격으로 이 비디오 신호 그룹에 포함되어 이러한 신호를 다음으로 보냅니다. 테스트 중인 시스템에서 마지막으로 신호를 WFM7120으로 보내 오디오와 비디오 간의 타이밍 차이를 측정합니다.
방송관제센터 내부 테스트
그림 1과 같이 방송국 시스템에서 오디오/비디오 지연 차이가 있는지를 측정하기 위해 검사 시간을 이용하여 TG700에서 생성된 테스트 신호를 방송용 하드디스크에 기록하고, 하드디스크를 통해 재생하고, 지연기에 테스트 신호를 입력합니다. 프레임 동기화 모듈을 거쳐 한 채널에서 방송되고 전송부에서 네트워크 회사의 인코더로 신호를 전송하기 전에 이 세 가지 신호를 측정합니다. 측정 결과는 이 세 신호의 오디오/비디오 지연 차이가 12ms를 초과하지 않는다는 것을 보여줍니다.
다양한 셋톱박스 테스트
두 번째 측정 지점으로 네트워크 회사의 전산실을 선택했습니다. 여기에서는 그림 2와 같이 현재 중국에서 사용되는 주요 셋톱박스 브랜드를 테스트용으로 선택했습니다. TG700 테스트 신호를 우리가 사용하고 있는 원래의 인코더를 통해 인코딩한 후 현재 방송 중인 채널에 삽입합니다. 그런 다음 프런트 엔드 컴퓨터실의 셋톱 박스를 사용하여 TV 신호를 복조합니다. 디코딩된 오디오/비디오 신호는 Panasonic D7120 비디오 레코더를 통해 A/D 및 아날로그 신호 임베딩 후 측정을 위해 WFM950으로 전송됩니다. 측정 결과는 이러한 유형의 셋톱 박스의 오디오/비디오 지연 차이가 다르며 일부는 150ms 앞서고 일부는 300ms 지연됨을 보여줍니다. 이는 동일한 디지털 TV 신호를 복조 및 디코딩한 후 오디오/비디오 신호 간의 동기화 관계를 유지하기 위해 서로 다른 셋톱 박스가 서로 다른 기능을 가지고 있음을 보여줍니다.
다양한 인코더 테스트
그림 3에서 볼 수 있듯이 우리는 여전히 TG700 신호 발생기를 사용하여 다양한 인코더를 테스트하고 인코더, 변조기 및 셋톱 박스를 활성화하여 시뮬레이션된 방송/시청 환경을 구축합니다. 여기에서는 다양한 브랜드의 여러 인코더를 사용합니다. TG700의 테스트 신호를 인코딩한 후 동일한 변조기로 변조한 다음 동일한 셋톱 박스에서 신호를 디코딩합니다. 또한 D950에 의해 처리되고 측정을 위해 WFM7120으로 전송됩니다. 최종 측정 결과 오디오/비디오 지연 차이 중 일부는 30ms이고 일부는 300ms에 도달하여 다른 인코더가 셋톱 박스의 최종 시청 신호의 오디오/비디오 동기화에 더 큰 영향을 미친다는 것을 나타냅니다.
원인 분석
MPEG-2 시스템의 타이밍 원리
현재 우리나라의 디지털 TV 전송 시스템에서 MPEG-2 표준은 중요한 오디오 및 비디오 압축 표준입니다. 소스 측에서 프로그램 신호를 압축, 인코딩 및 다중화하고 수신 측에서 신호를 역다중화 및 디코딩합니다. 널리 사용되었습니다. 우리가 사용하고 있는 디지털 전송 시스템은 MPEG-2 표준을 기반으로 합니다. 그림 2와 같이 MPEG-4의 시스템 구조를 살펴보겠습니다.
압축 인코더에 의해 중복 정보가 제거된 후 오디오 및 비디오 신호가 기본 스트림을 형성한다는 것을 그림 4에서 볼 수 있습니다. 이 기본 코드 스트림은 직접 저장하거나 전송할 수 없습니다. 특정 패커에게 보내야 합니다. 기본 코드 스트림은 특정 형식에 따라 단락으로 나뉘고 특정 식별 문자가 추가되어 소위 압축 기본 코드 스트림(PES)을 형성합니다. PES 패킷은 길이가 가변적인 오디오 및 비디오 데이터 패킷입니다. 그런 다음 오디오 및 비디오 PES 패킷과 보조 데이터는 전송 하위 시스템으로 전송되며 고정 길이가 188b인 작은 데이터 패킷으로 분할되고 시분할 다중화에 의해 다중화됩니다. 하나의 TS 스트림이 형성되고 TS 스트림은 채널을 통해 전송된 후 수신단에 도달합니다.
우리 모두 알다시피 동기화는 올바른 TV 디스플레이를 위한 필수 조건입니다. 디지털 TV의 경우 압축 및 인코딩 과정에서 신호를 저장하기 위해 버퍼를 사용하기 때문에 멀티플렉서에서 신호의 시간축이 바뀌고 데이터 중복량이 다르고 압축률도 다르기 때문에 시간 축 큰 변화, 특히 프레임 그룹 레이어 처리에서 B 프레임과 P 프레임의 순서도 변경되었습니다. 이 모든 것이 디지털 TV 신호의 동기화로 인해 원래 시퀀스의 개념이 완전히 사라집니다. 동기화를 달성하는 효과적인 방법은 지정된 간격이 지날 때마다 신호 코드 스트림에 시간 레이블을 추가하는 것입니다. 이 태그를 사용하면 수신단은 표시 전 디코딩 프로세스 중에 이 시간 태그에 따라 재정렬할 수 있으며 압축 및 인코딩 전 이미지의 순서와 사운드와 이미지 간의 시간 관계를 재구성하여 이미지 동기화를 달성하고 사운드가 이미지와 동기화됩니다.
또한 그림 4에서 MPEG-27 인코더에 단일 공통 시스템 클록 STC(2MHz)가 있음을 알 수 있습니다. 이 클록은 오디오/비디오의 올바른 디코딩 및 디스플레이 타이밍을 나타내는 타임 스탬프를 생성하는 데 사용됩니다. 동시에 샘플링을 나타내는 데 사용할 수 있습니다. 순간 시스템 클록 시간의 순간 값입니다. 클록은 입력 비디오의 라인 동기화에 의해 위상이 고정됩니다. 입력이 SDI 신호일 때 엔코더의 시스템 클록은 클록을 10으로 나눈 값으로 생성됩니다. 엔코더에서 공통 시스템 클록의 출현은 물론 디코더에서 클록의 재생성 및 올바른 디코더에서 작업의 올바른 동기화를 위한 기반을 제공하는 타임 스탬프 사용. 코덱의 클록 동기화를 실현하기 위해 인코더에서 STC 시스템 클록을 카운트하고, 카운터의 샘플링 값을 선택된 TS 패킷의 어댑테이션 헤더에서 수신기로 일정한 전송 시간마다 디코딩으로 전송한다. 프로세서의 프로그램 클럭 참조 신호인 PCR입니다. PCR 유효 비트는 42b이며, 그 중 상위 33b는 27MHz 클럭과 클럭을 300으로 나눈 단위의 카운트 값인 PCR_Base이고, 하위 9b는 27MHz 클럭의 카운트 값인 PCR_Extension이다. 단위로. PCR 외에도 디코딩 시간 레이블 DTS 및 표시 시간 레이블 PTS도 매우 중요합니다. PCR_Base와 유사합니다. 또한 엔코더의 27MHz 시스템 클록을 단위 카운트 값으로 300으로 나눈 값으로 생성됩니다. 그 중 DTS는 수신된 이미지와 오디오 프레임을 디코딩할 때 디코더에게 지시하는 데 사용되며, PTS는 디코딩된 이미지 프레임을 표시할 때를 알리는 데 사용됩니다.
양방향 인코딩을 사용하는 경우 특정 이미지의 디코딩은 표시되기 전에 일정 시간 내에 수행되어야 B 프레임 이미지를 디코딩하기 위한 원본 데이터로 사용할 수 있습니다. 예를 들어 이미지의 표시 순서는 IBBP이지만 이미지의 전송 순서는 IPBB입니다. MPEG 참조 모델은 디코딩이 순간적으로 발생한다고 믿습니다. 즉, 디코딩과 디스플레이가 동시에 수행됩니다. 오디오 프레임과 이미지 B 프레임의 경우 디코딩 시간과 표시 시간이 같고 PTS는 DTS와 동일하므로 PTS만 전송하면 됩니다. 비디오 I 프레임과 P 프레임의 경우 프레임 재정렬로 인해 디코딩 시간과 표시 시간이 다르므로 PTS와 DTS를 동시에 전송해야 합니다. 디코더가 IPBB 이미지 시퀀스를 수신하면 첫 번째 B 프레임 이미지를 디코딩하기 전에 I 프레임 및 P 프레임 이미지를 디코딩해야 합니다. 디코더는 한 번에 한 프레임의 이미지만 디코딩할 수 있으므로 먼저 I 프레임 이미지를 디코딩하여 저장합니다. P 프레임 영상을 복호화하면 복호화된 I 프레임 영상을 출력하여 표시한 다음 B 프레임 영상을 복호화하여 표시한다. 표 1, 2, 3, 4는 인코더의 입력 및 출력 이미지의 순서, 각 프레임의 PTS 및 DTS 값, 디코더에 의한 이미지의 각 프레임의 디코딩 및 표시 순서를 나타낸다.
표 1에서 이미지의 13개 프레임이 이미지 그룹을 구성하고, 첫 번째 프레임 I 프레임은 인트라 프레임 코딩을 사용하고, 두 번째 및 세 번째 B 프레임은 첫 번째 및 네 번째 프레임에서 양방향 예측에 의해 획득되고, 네 번째 프레임 P 프레임은 첫 번째 프레임을 통과했습니다. 전방 예측에서 파생됩니다. 첫 번째 프레임을 인코딩한 후 인코더는 먼저 두 번째 및 세 번째 프레임을 버퍼링하고 네 번째 프레임을 인코딩한 다음 두 번째 및 세 번째 프레임을 인코딩하는 식으로 최종 인코딩된 출력 시퀀스는 표 2에 나와 있습니다.
표 3과 표 4에서 디코더가 I 프레임 이미지를 포함하는 특정 액세스 단위를 수신할 때 파일 데이터 패킷에는 DTS와 PTS가 포함되어야 하며 이 두 태그의 값 사이의 시간 간격은 1이라는 것을 알 수 있습니다. 이미지 기간. I 프레임 이미지가 P 프레임이 된 후 파일 데이터 패킷에도 DTS와 PTS가 있어야 하며 두 태그의 값 사이의 시간 간격은 2개의 이미지 기간입니다. 그런 다음 두 개의 B-프레임이 있으며 파일 데이터 패킷에는 PTS만 포함됩니다. 즉, I 프레임 이미지는 디코딩 후 한 프레임의 지연 후에 재생 및 표시됩니다. I 프레임이 표시되면 네 번째 프레임 P 프레임은 디코딩되지만 재생되지 않고 표시됩니다. 먼저 캐시되고 3I 프레임이 재생 및 표시된 후 4B 프레임을 즉시 디코딩 및 표시한 다음 7B 프레임을 표시한 다음 버퍼링된 1P 프레임을 표시하고 동시에 XNUMXP 프레임을 디코딩 및 버퍼링하는 식입니다. 디코딩되고 표시되는 이미지의 순서는 표 XNUMX의 이미지 입력 순서와 일치함을 알 수 있습니다.
디코더(셋톱박스)의 타이밍 원리
PTS와 DTS는 단지 33b 값입니다. PCR로 표현되는 시간축에 대한 참조가 없으면 이 값은 의미가 없습니다. 올바른 디코딩을 유지하려면 인코더와 디코더(셋톱 박스)의 시스템 클럭을 잠금 상태로 유지해야 합니다. 즉, 주파수가 동일하게 유지되고 각 카운터의 초기 값이 동일합니다.
디코더(셋톱박스)에는 약 27MHz의 주파수를 갖는 전압 제어 발진기(VCO)가 있습니다. 출력 신호는 현재 STC 샘플 값을 생성하기 위해 시스템 클럭으로 카운터로 전송되며 이는 PCR과 같은 42b 값입니다. 이 중 상위 33b는 27 pink 주파수 이후 300MHz 클럭 단위의 카운트 값이고, 하위 9b는 27MHz 클럭 단위의 카운트 값입니다. 새로운 프로그램이 디코더(셋톱박스)에 도착하면 디코더(셋톱박스)는 코드 스트림에서 PCR 값을 얻어 자신의 PCR_Extention 값을 현재 STC의 하위 9b비트와 비교하여 에러를 얻는다. 신호를 보낸 다음 위상 고정 루프 회로를 통과합니다. 디코더(셋톱 박스)의 시스템 클록 주파수가 인코더의 시스템 클록 주파수와 일치하도록 전압 제어 발진기를 조정합니다. 코드 스트림에서 순차적으로 각 프레임의 PTS 및 DTS 값을 획득하고 현재 STC 값의 상위 33b 비트와 비교합니다. DTS 값이 STC 값보다 크면 코드 스트림이 버퍼링되고 STC 값 변경이 동시에 모니터링됩니다. STC 값이 증가하여 DTS 값과 같아지면 프레임 코드 스트림이 디코딩됩니다. STC 값이 PTS 값과 같을 때 프레임을 재생합니다. 전송 네트워크의 버퍼 지연 지터로 인해 코드 스트림이 디코더(셋톱박스)에 도달할 때 PTS 값이 이미 STC 값보다 작은 경우 디코더(셋톱박스)는 이 프레임을 건너뛰고 프레임 데이터를 버립니다. PTS와 DTS는 PCR 값을 기준으로 생성되기 때문에 처음 얻은 PCR 값을 초기값으로 사용하여 디코더(셋탑박스)의 STC 카운터를 설정하여 값을 동일하게 만들어야 합니다. 시간축이 달라집니다. , 따라서 디코딩 오류. 오디오와 비디오의 처리는 비슷하지만 타이밍 재배열 문제는 없습니다. 그림 5는 디코더(셋톱박스) PCR의 작동원리도를 보여준다.
오디오와 비디오가 동기화되지 않는 이유
실제 응용 프로그램에서 일부 인코더는 입력 비디오 신호의 불안정한 시간축으로 인해 출력 클록에 지터를 일으키고 프레임 동기화 간격은 40ms가 아닙니다. 이들 인코더의 경우 PCR 및 버퍼링 지연에 따라 초기 DTS 값을 설정한 후 이전 DTS에 고정 값을 더하여 각 프레임의 DTS 값을 얻습니다(이 값은 다음과 같이 계산할 수 있습니다. 27MHz를 300으로 나눈 값입니다. 90kHz, PAL TV는 초당 25프레임이므로 값은 90000/25=3600)이며 프레임 종류와 GOP 종류에 따라 PTS 값을 계산한다. 그러나 이 기간 동안 PCR 값이 3600만큼 증가하지 않아 DTS와 PTS가 PCR에 비해 커지거나 작아지는 현상을 보였다. 일부 디코더(셋톱박스)는 전압 제어 발진기를 사용하지 않고 시스템 클럭이 27MHz로 고정되어 있지만 수신된 PCR 값을 사용하여 로컬 시스템 클럭 카운터의 값을 초기화합니다. 인코더와 디코더(셋톱 박스)는 엄격한 잠금을 유지할 수 없으므로 디코더(셋톱 박스)가 프레임을 드롭할 수 있습니다. 그러나 일부 디코더(셋톱 박스)는 더 이상 프레임 손실 후 DTS 및 PTS에 따라 엄격하게 디코딩 및 표시하지 않고 버퍼 상황에 따라 디코딩합니다. 비디오 및 오디오 인코딩의 지연이 다르기 때문에 오디오가 발생할 수 있습니다. 그림이 동기화되지 않았습니다.
또한 인코더에서 디코더(셋톱박스)로의 전송 과정에서 멀티플렉서, 변조기와 같은 가변 지연 버퍼 링크의 존재로 인해 PCR 패킷의 전송 지연이 일정하지 않고 큰 작은. PCR이 수정되지 않으면 위의 문제도 발생할 수 있습니다.
요약하기
위의 분석에서 인코더와 디코더(셋톱박스) 모두 오디오와 비디오의 비동기화 발생을 유발할 수 있음을 알 수 있습니다. 저희 스테이션은 다양한 브랜드의 인코더를 테스트한 후 테스트 지표가 더 좋은 인코더를 선택하고 원래 인코더를 교체하여 TV 오디오와 영상이 일치하지 않는 현상을 크게 개선했습니다. 다음 단계인 셋톱박스 도입에서도 방송사들은 시청률의 질을 높이기 위해 관련 지표 테스트를 강화한다. 물론 우리나라의 라디오와 텔레비전의 디지털화를 진행하는 과정에서 마침내 완전한 성공을 거두기 위해서는 여전히 텔레비전 노동자와 장비 제조업체의 공동 노력이 필요합니다.v
우리의 다른 제품 :
