AboutDataImtalking

return_timestamps=True가 없어도 pyannote.audio의 Pipeline을 이용해서 write_rttm

Kim성연 2025. 5. 13. 19:52

pyannote.audio의 Pipeline을 이용해서 write_rttm을 할 때 return_timestamps=True가 없어도 시작(start), 기간(duration) 항목이 나오는 이유는 다음과 같은 설계 방식 차이 때문이에요:

🔍 핵심 요점 요약

비교 대상 설명

pyannote.audio.Pipeline **화자 분리 (speaker diarization)**를 위한 모델. 모델의 기본 출력값이 start, duration, speaker 등을 포함하는 RTTM 형식의 정보.
whisper (openai/whisper, faster-whisper 등) **음성 인식 (speech-to-text)**을 위한 모델. return_timestamps=True를 줘야 시간 정보(chunk별 timestamp)가 포함된 결과를 반환함.

✅ pyannote.audio는 기본적으로 시계열 정보가 포함됨

pyannote.audio에서 pipeline()을 실행하면 리턴되는 결과는 기본적으로 화자의 발화 구간 정보를 포함한 segment-based 구조예요.

즉, 다음과 같은 구조가 기본값으로 제공됩니다:

for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"start={turn.start:.1f}s duration={turn.duration:.1f}s speaker={speaker}")

write_rttm() 함수도 이 정보를 자동으로 사용해서 다음과 같은 형식의 RTTM 파일을 생성합니다:

SPEAKER filename 1  0.00  2.45  <NA> <NA> speaker_00 <NA> <NA>

여기서 0.00은 시작 시간(start), 2.45는 duration(지속 시간)이에요.

즉, return_timestamps 같은 옵션이 필요하지 않아요. 기본 출력에 다 들어 있어요.

⛔ 반면 Whisper에서는...

Whisper는 기본적으로 텍스트만 반환합니다:

result = model.transcribe(audio)
print(result["text"])

이렇게 하면 timestamp 정보는 안 나와요.

chunks와 timestamp가 포함되게 하려면 **return_timestamps=True**를 명시해야 합니다.

🎯 결론

  • pyannote.audio: 기본 출력에 시작시간(start)과 기간(duration)이 포함됨 → return_timestamps 같은 옵션이 필요 없음.
  • whisper 계열: 기본 출력은 전체 텍스트 → 시간 정보가 필요하면 return_timestamps=True 옵션을 명시해야 함.

pyannote.audio에서 Pipeline()을 실행하면 리턴되는 결과는 다음과 같은 Annotation 객체입니다. 이 객체는 시간 기반으로 **화자(Speaker)**가 언제 말했는지에 대한 구간(segment) 정보를 담고 있어요.

🔍 예시: pipeline() 실행 후 얻은 diarization 객체의 구조

from pyannote.audio import Pipeline

# 파이프라인 로드
pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization")

# 오디오 파일 처리
diarization = pipeline("your_audio.wav")

📦 결과 구조 (Annotation 객체)

diarization 객체는 pyannote.core.Annotation 클래스의 인스턴스입니다.
구조를 아래와 같이 표현할 수 있어요:

from pyannote.core import Segment

for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"Start: {turn.start:.2f}s, End: {turn.end:.2f}s, Speaker: {speaker}")

✅ 출력 예시:

Start: 0.00s, End: 3.45s, Speaker: SPEAKER_00
Start: 3.45s, End: 7.80s, Speaker: SPEAKER_01
Start: 8.10s, End: 10.50s, Speaker: SPEAKER_00
...

🧱 내부적으로는 이런 식으로 구성되어 있어요:

# 구조 요약 (개념적 예시)
{
    Segment(0.00, 3.45): 'SPEAKER_00',
    Segment(3.45, 7.80): 'SPEAKER_01',
    Segment(8.10, 10.50): 'SPEAKER_00',
    ...
}
  • Segment(start_time, end_time): 시간 구간
  • 'SPEAKER_XX': 화자 레이블

📁 참고: write_rttm()도 이 구조를 기반으로 저장됨

with open("output.rttm", "w") as f:
    diarization.write_rttm(f)

이렇게 저장하면 RTTM 파일에는 위 구조가 텍스트로 변환되어 들어갑니다.

 

 

pyannote.audio에서 write_rttm() 함수로 RTTM 파일을 저장할 때, 출력되는 RTTM 파일에 나오는 NA는 해당 필드에 값이 없거나 적용되지 않는 경우를 의미하며, RTTM 포맷의 형식상 자리를 유지하기 위해 채워 넣는 **placeholder (자리채움)**입니다.

✅ RTTM 파일 형식 기본 구조

RTTM 포맷은 아래와 같이 10개의 필드를 가지고 있습니다:

TYPE    FILE    CHNL    START    DUR    ORT    SPKR_TYPE    NAME    CONF    SLAT

예시:

SPEAKER filename 1 119.759 7.779 <NA> <NA> SPEAKER_00 <NA> <NA>

각 항목의 의미는 다음과 같아요:

필드 위치 이름 설명

1 TYPE 항상 "SPEAKER"
2 FILE 오디오 파일 이름 또는 세션 ID
3 CHNL 채널 번호 (일반적으로 1)
4 START 발화 시작 시각 (초)
5 DUR 발화 길이 (초)
6 ORT Orthography field – 일반적으로 <NA>
7 SPKR_TYPE 화자 유형 – 일반적으로 <NA>
8 NAME 화자 이름 (예: SPEAKER_00)
9 CONF Confidence – 일반적으로 <NA>
10 SLAT Signal LookAhead Time – 일반적으로 <NA>

🔎 왜 <NA>가 들어가나요?

RTTM은 고정된 필드 개수를 요구합니다.
그러나 pyannote.audio는 대부분의 필드를 사용하지 않고 중요한 정보만 담습니다 (예: 시작 시간, 기간, 화자명 등).
그래서 나머지는 <NA>로 채워져 있는 거예요.

📝 요약

  • <NA>는 "해당 정보 없음"을 의미하는 placeholder입니다.
  • RTTM 포맷은 10개의 필드가 필요하므로, 사용하지 않는 필드도 형식 유지를 위해 <NA>로 채워집니다.
  • 실제 분석에서 중요한 건 주로 start, duration, speaker name입니다.