뇌 신호로 말이 된다, 자연 발화에 가까운 ‘인공 음성’ 구현의 첫걸음

말을 잃는다는 것은 단순히 소리를 내지 못하는 문제를 넘어, 사회적 관계와 정체성까지 위협하는 심각한 장애다. 최근 미국 국립보건원(NIH)의 뇌연구혁신사업(BRAIN Initiative) 지원을 받은 연구진이 인간의 뇌 신호를 이용해 자연스러운 말소리를 합성하는 데 성공하면서, 언어 장애 환자 치료와 소통 기술에 새로운 전기가 마련됐다.

 

이번 연구는 미국 캘리포니아대 샌프란시스코(UCSF) 연구팀이 간질 치료 과정에서 뇌 신호를 기록한 환자들의 데이터를 활용해 진행됐다. 연구진은 환자들에게 문장을 실제로 말하게 하거나 말하는 흉내를 내도록 요청했고, 이때 측정된 뇌 활동 신호를 바탕으로 컴퓨터가 음성을 생성하도록 프로그래밍했다. 그 결과 상당 부분에서 실제 사람의 발화와 유사한 음성이 구현됐다.

 

특히 주목할 점은 단어 하나하나를 선택하는 기존 보조 의사소통 기기와 달리, 이 기술은 말소리 자체를 합성한다는 데 있다. 현재 사용되는 시선 추적이나 버튼 기반 장치는 분당 10단어 수준의 느린 속도가 한계지만, 연구진이 목표로 하는 자연 발화는 분당 150단어에 이른다. 이는 소통의 질과 속도를 획기적으로 개선할 수 있는 접근이다.

 

연구진은 먼저 뇌가 입술, 혀, 턱, 성대 등 발성 기관을 어떻게 조절하는지를 정밀하게 분석해 ‘발성 지도’를 만들었다. 이후 이 지도를 음성 합성 알고리즘과 연결해 실제 말소리를 재현하는 방식으로 연구를 진행했다. 이 과정을 통해 컴퓨터는 단순한 문자 변환이 아닌, 인간 발화에 가까운 음향 패턴을 만들어냈다.

 

생성된 음성을 들은 일반 청취자들이 문장을 정확히 알아맞힌 비율은 절반을 넘었다. 아직 완벽하다고 할 수는 없지만, 초기 연구 단계임을 감안하면 매우 의미 있는 성과로 평가된다. 더 나아가 말하는 동작만 흉내 내도 유사한 음성이 생성됐다는 점은, 실제로 발성이 불가능한 환자에게도 적용 가능성이 있음을 시사한다.

 

이 기술은 뇌졸중, 루게릭병, 외상성 뇌손상 등으로 혀와 성대 근육이 마비된 환자들에게 특히 큰 희망이 될 수 있다. 연구진은 향후 언어 장애 환자를 대상으로 한 임상시험을 통해, 최소한의 뇌 신호만으로도 안정적인 음성 합성이 가능한지 검증할 계획이다.

 

전문가들은 이번 연구가 뇌과학, 공학, 언어학이 결합된 대표적인 융합 연구 사례라고 평가한다. 인간 뇌가 언어를 만들어내는 방식을 직접 읽어내고 이를 기술로 구현했다는 점에서, 향후 신경재활과 의사소통 보조기기 분야 전반에 큰 영향을 미칠 것으로 보인다.