Full Text

Введение. Автоматическая сегментация речи изучается уже более 30 лет [1] и является важной, если не сказать ключевой, частью многих систем распознавания речи. Под задачей сегментации речи подразумевается разделение речевого сигнала на части. Автоматическая сегментация важна для различных алгоритмов автоматизированной обработки речи: распознавание речи, создание лингвистических корпусов, голосовая верификация, а также для решения исследовательских задач в области обработки естественных языков [2, 3]. Традиционный подход в виде ручной сегментации неприемлем для все возрастающих объемов голосовой информации, которая требует обработки. Большие временные затраты, требовательность к вниманию человека, производящего сегментацию вручную, привели к широкому распространению различных автоматических методов сегментации. Можно назвать следующие из них: сегментация при помощи вейвлет-метода [4], методы, основанные на нечеткой логике [5], применение искусственных нейронных сетей [6], а также использование скрытых марковских цепей [7]. В данной статье будут разобраны способы сегментации, полученные в результате использования модифицированных версий методов k-средних, нечетких c-средних, а также алгоритма Оцу. Сегментация речи. Системы распознавания речи требуют разбиения голосового сигнала на дискретные, не перекрывающие друг друга звуковые единицы [8, 9]. Это могут быть звуки, слоги, слова, предложения или даже целые диалоги. Слова - наиболее предпочитаемая и естественная единица речи в силу того факта, что слова имеют явно выраженное звуковое представление. Таким образом, мы будем считать слово базовой единицей сегментации в рамках данной работы. Методы автоматической сегментации можно классифицировать по многим различным критериям, но один из самых простых вариантов - разделение на слепые и целевые алгоритмы сегментации [10]. Ключевым различием между этими двумя классами методов является то, насколько плодотворно метод использует ранее полученную информацию или информацию из внешних источников для обработки речи. Методы слепой сегментации отличаются тем, что не используют никаких источников внешних данных с информацией о языковых особенностях обрабатываемого звукового сигнала. Таким образом, в отсутствие каких-либо внешних данных на первой фазе сегментации эти методы полагаются на звуковые особенности обрабатываемых данных. Вторая фаза же обычно строится на использовании MFCC, LP-коэффициентов или чистого FFT-спектра [11]. В противоположность им целевые методы используют некоторые внешние языковые данные обрабатываемого сигнала для сегментации их на требуемые фрагменты. Кластеризация. Кластеризация - это процесс разбиения набора объектов на несколько групп, именуемых кластерами, таким образом, что объекты в одной группе сильнее похожи друг на друга, чем на объекты из других кластеров. Кластеризация очень широко применяется: распознавание образов [12], интеллектуальный анализ данных [13], машинное обучение [14] и так далее. Алгоритмы кластеризации могут быть классифицированы как четкие, нечеткие, возможностные и вероятностные [15]. Каждая из групп обладает своими особенностями. В данной работе будут использованы четкие и нечеткие алгоритмы кластеризации для получения оптимальных границ сегментов речи. Методы четкой кластеризации жестко ограничивают принадлежность каждого объекта данных к одному кластеру. Один из таких методов - метод k-средних. Методы нечеткой кластеризации позволяют объекту быть частью сразу нескольких различных кластеров, причем степень принадлежности варьируется от 0 до 1. Наиболее известный из таких методов - метод нечетких c-средних. Подготовка к сегментации речевого сигнала. Как методы кластеризации, так и метод Оцу используются для анализа не оригинального речевого сигнала, а его спектрограммы. В рамках данной работы будет произведен анализ спектрограммы речевого сигнала в наиболее распространенном ее представлении. Это двухмерная диаграмма, вертикальная ось которой является осью частот, горизонтальная - осью времени, интенсивность же каждой точки на спектрограмме характеризует амплитуду речевого сигнала на определенной частоте в определенный момент времени. Итак, оригинальный речевой сигнал представлен на рис. 1. Рис. 1. Оригинальный речевой сигнал На рис. 2 представлена спектрограмма речевого сигнала. Она представляет из себя изображение, состоящее из оттенков серого. Для того чтобы определить временные границы сегментов, необходимо преобразовать спектрограмму в черно-белое изображение, т.е. определить такой порог, ниже которого точка будет считаться черной, а выше - белой. Для этого могут быть использованы как методы кластеризации, так и метод Оцу. Рис. 2. Спектрограмма речевого сигнала Кластеризация методом k-средних. Метод k-средних является одним из классических методов кластерного анализа. Он используется для распределения m наблюдений по k кластерам таким образом, чтобы каждое из наблюдений принадлежало только одному кластеру, к центру которого она наиболее приближено. В данном случае под наблюдениями понимаются точки на спектрограмме, а количество кластеров равно 3. Как показано в работе [16], это наиболее оптимальное число кластеров для решения подобных задач. Для определения расстояния между наблюдением и центром кластера используется евклидово расстояние: (1) Суммарное квадратичное отклонение точек кластеров от их центров должно быть минимальным: , (2) где - центр кластера . Введя все необходимые понятия, можно перейти к формулированию модифицированного для вычисления порога алгоритма: 1. Выбор количества кластеров. 2. Центры данных кластеров выбираются согласно правилу, максимизирующему начальные расстояния между кластерами. 3. Вычисление расстояние от каждого наблюдения до центров всех кластеров. 4. Производим распределение наблюдений по кластерам согласно вычисленным расстояниям (наблюдение теперь относится к ближайшему кластеру). 5. Заново вычисляем центр i-го кластера, содержащего в себе элементов: (3) 6. Повторяем с пункта 3 до тех пор, пока центры кластеров, полученные в пункте 4, не изменятся при новом вычислении: (4) 7. Вычисляем необходимое нам пороговое значение, в простейшем случае это среднее между конечными значениями центров. Кластеризация методом нечетких c-средних. В то время как метод k-средних предполагает, что каждый объект принадлежит к одному и только одному кластеру, метод нечетких c-средних позволяет объекту принадлежать сразу к нескольким кластерам. Сумма степеней принадлежности каждого объекта равняется 1. Чем ближе объект к центру, тем выше эта степень. Для оценки расстояние между i-м наблюдением и j-м центром также используется евклидово расстояние , которое рассчитывается как в (1). Степень принадлежности i-го наблюдения к -му кластеру рассчитывается следующим образом: , (5) где - экспоненциальный вес. Он влияет на матрицу степеней принадлежности следующим образом: при все наблюдения будут принадлежать к каждому кластеру с одинаковой вероятностью. Обычно устанавливается равным 2. Введя необходимые дополнительные понятия, можно перейти к формулированию модифицированного для вычисления порога алгоритма: 1. Выбор количества кластеров. 2. Центры данных кластеров выбираются согласно правилу, максимизирующему начальные расстояния между кластерами. 3. Вычисление расстояние от каждого наблюдения до центров всех кластеров. 4. Расчет матрицы степеней принадлежности . 5. Заново вычисляем центр кластера, содержащего в себе элементов: . (6) 6. Повторяем с пункта 3 до тех пор, пока не будет удовлетворено одно из условий: , (7) где - некоторое пороговое значение, выбираемое заранее. Второе условие: функция потерь будет не отличаться от рассчитанной на предыдущем шаге: (8) Метод Оцу. Для применения метода необходимо заранее подготовить гистограмму спектрограммы речевого сигнала . Если допустить, что порог бинаризации находится на уровне , то относительные частоты для каждого из классов, на которые этот порог делит все точки изображения: (9) (10) где - максимальное значение, которое может принять . После этого необходимо вычислить средние уровни классов: , (11) (12) Дисперсия внутри каждого из классов: (13) (14) Одним из важных моментов, на которых базируется метод Оцу, является тот факт, что минимизация дисперсии внутри класса равносильна максимизации дисперсии между классами. Дисперсия внутри классов может быть рассчитана как взвешенная сумма дисперсий каждого отдельного класса: (15) Дисперсия между двумя классами: (16) После чего данная цепочка вычислений проводится для каждого . Оптимальный порог соответствует максимальному значению дисперсии между классами. Разобрав базовые моменты, связанные с методом Оцу, можно перейти к формулированию модифицированного для вычисления порога алгоритма: 1. Подготовка гистограммы спектрограммы речевого сигнала. 2. Выбор порогового значения бинаризации (в простейшем случае вначале выбирается минимальное возможное значение - 1). 3. Расчет относительных частот для классов. 4. Расчет среднего уровня каждого класса. 5. Расчет дисперсий - как внутриклассовой, так и между классами. 6. Выбор нового порога бинаризации (например, ). 7. Повторяем предыдущие пункты, начиная с 3, до тех пор, пока не рассмотрим все возможные пороги бинаризации ( ). 8. В качестве необходимого для дальнейшей обработки спектрограммы выбираем то пороговое значение, при котором было максимальное значение дисперсии между двумя классами и минимальным - значение внутриклассовой дисперсии. Расчет границ сегментов. Используя разработанные выше алгоритмы бинаризации спектрограммы речевого сигнала, можно получить пригодные для дальнейшего анализа изображения. Рис. 3. Спектрограмма после бинаризации, порог выбран при помощи метода k-средних Рис. 4. Спектрограмма после бинаризации, порог выбран при помощи метода c-средних Рис. 5. Спектрограмма после бинаризации, порог выбран при помощи метода Оцу На рис. 3 - спектрограмма, обработанная при помощи метода k-средних, на рис. 4 - при помощи нечетких c-средних, рис. 5 - при помощи метода Оцу. Финальный этап - определение границ отдельных сегментов - происходит следующим образом. Каждый столбец исследуется на предмет нахождения в нем черных и белых точек, после чего в зависимости от их соотношения принимается решении о замене столбца на полностью черный или полностью белый. На рис. 6 - пример подобной трансформации. Итоговое сравнение дано на рис. 7. Был проведен ряд экспериментов для каждого из методов, в ходе которых обрабатывалось 100 предложений от 5 различных человек, в каждом предложении по 5 слов. Результаты представлены в таблице. Рис. 6. Трансформированная спектрограмма речевого сигнала Рис. 7. Исходный речевой сигнал и обработанной спектрограммы Результаты экспериментального применения методов Номер говорящего Число предложений Общее число слов Число правильно выделенных слов и процент точности K-средних Нечетких c-средних Оцу # % # % # % №1 100 500 453 90,6 451 90,2 425 85,0 №2 100 500 453 90,6 454 90,8 458 91,6 №3 100 500 454 90,8 452 90,4 466 93,2 №4 100 500 451 90,2 460 92,0 472 94,4 №5 100 500 453 90,6 459 91,8 474 94,8 Всего 500 2500 2264 90,6 2276 91,0 2295 91,8 Средняя точность для метода k-средних 90,6 %, для метода нечетких c-средних 91,0 %, для метода Оцу 91,8 %. Для сравнения с полученными результатами можно обратиться к имеющимся в открытом доступе методикам сегментации речевого сигнала на слова и их эффективности. Подход, основанный на использовании скрытых марковских моделей, показывает эффективность в 90 % правильно выделенных слов [17]. В своей работе авторы используют Hidden Markov Model Toolkit (HTK) для сегментации речевого сигнала. Использование энергетических параметров для выделения слов позволило достичь эффективности в 85 % правильно выделяемых слов [18]. Авторами этой [19] работы было предложено использовать преобразование Гилберта для решения задачи определения участков активной речи. Данный подход показал результат в 88,15 % правильно выделенных слов. Еще один из предложенных вариантов - использование вейвлет-преобразования и показателя энтропии речевого сигнала (Perceptual wavelet entropy neighbor slope, PWENS) для определения участков активной речи [20] - показывает эффективность в 91 %. Выводы. В данной статье были предложены 3 метода сегментации речевого сигнала, основанные на анализе его спектрограммы. Наибольшую эффективность показал метод, построенный на использовании алгоритма Оцу. Его использование повышает эффективность корректного выделения слов в речевом сигнале на 1-3 % относительно существующих современных методов сегментации речи. Предлагается использование разработанного метода для построения программных комплексов, которые, в свою очередь, могут быть использованы и как отдельные системы сегментации речевого сигнала, и как модули более крупных систем анализа речевого сигнала.

About the authors

D. S Kanishchev

Vyatka State University

References

Statistics

Views

Abstract - 90

PDF (Russian) - 101

Refbacks

• There are currently no refbacks.