실시간 회의 전사·요약 시스템

음성 인식·발화자 검출 엔진을 묶어 회의를 실시간으로 받아쓰고 요약하는 시스템을 3개 차수에 걸쳐 개발했습니다. 데스크톱 클라이언트에서 시작해 브라우저 기반 서비스로 다시 만들었고, 마지막 차수에서는 평가용 독립 실행 시스템과 최종 산출물까지 전달했습니다.

회의 음성을 실시간으로 받아쓰고 화자를 구분해 회의록으로 정리하는 시스템입니다. 연차 과제로 3회에 걸쳐 범위를 넓혀 왔습니다.

차수별 범위

1차에서는 데스크톱 클라이언트와 GPU 서버로 골격을 만들었습니다.

2차에서는 서버 구성을 최신화하면서 클라이언트를 플랫폼에 매이지 않는 라이브러리 형태로 분리했습니다.

3차에서는 전체를 브라우저에서 도는 웹 응용으로 다시 만들어, 실시간 회의와 녹음 파일 분석·요약·세션 관리를 한 화면에서 처리하도록 했습니다.

3차(웹 응용) 구조

인식 엔진은 제공받은 것을 그대로 쓰고, 게이트웨이·병합·요약·화면을 만들었습니다.

3차 말미에는 발주 기관의 최종평가에 쓸 시스템을 별도 저장소로 따로 만들었습니다.

발화자 검출, 실시간 음원 분리, 화자별 음성 인식만 떼어 한 대에서 단독으로 기동하게 했습니다.

마이크 어레이 실녹음 샘플로 분리 결과의 인식 오류를 재어 보고했습니다.

웹 응용을 대체하지는 않는 Windows 단독 실행 앱도 함께 만들어 인식 엔진을 설치 없이 확인할 수 있게 했습니다.

최종평가용 시스템 구성

세 모듈만 떼어 단독으로 기동하고, 실녹음 샘플로 분리 결과의 인식 오류를 쟀습니다.

시험 중에 메인 화자 강조가 모든 참석자로 번지는 문제가 드러났습니다.

원인은 실시간 모드에서 영상 재생 시각과 백엔드 점수 시각의 원점이 달랐던 것입니다.

두 시간축의 원점을 맞추는 보정으로 바로잡았고, 시험 영상으로 동시 강조가 크게 줄어든 것을 확인했습니다.

문제 원인과 보정

증상만 막지 않고 두 시각의 원점 차이를 바로잡았습니다.

계약은 2026-10 에 마무리되어 보고서·사용 설명서·소스·가중치를 납품했고, 이후 발주 기관의 시험판 보완 요청에 대응하고 있습니다.