Метод интерпретации результатов измерений параметров речевого сигнала в задачах диагностики психоэмоционального состояния человека по его речи

Полученные  векторы(распределения) измеренных  параметров поступают на вход устройства интерпретации, где вырабатываются соответствующие им векторы (распределения) значений параметров состояния человека. Решающее устройство производит постановку диагноза – краткой оценки состояния испытуемого, представленной в удобной форме. Диагноз выводится на устройство вывода.
Рассмотрим простейший случай, когда измеряется один параметр речи и состояние испытуемого оценивается по одному параметру. Если векторы вероятностей значений параметров речи p(X) и состояния p(Y) содержат, например, по 5 вероятностей, то совместные вероятности значений параметров речи и состояния будут описываться матрицей p(X,Y), содержащей 5х5 элементов.
Для определения вектора p(Y) по вектору p(X) и матрице p(X,Y) следует произвести расчет по формуле:
p(yj)=.
Например, расчет для матрицы

и вектора
p(X)=(0,1 0,2 0,3 0,3 0,1)
даст вектор
p(Y)=(0,1 0,3 0,3 0,2 0,1),
что интуитивно понятно.
Решающее устройство при постановке диагноза может использовать характеристики распределения p(Y): математическое ожидание, моду, дисперсию и другие.
Обязательным условием нормальной работы устройства диагностики является, как было указано выше, предварительное обучение блока интерпретации. В режиме обучения блок интерпретации должен работать с двумя входами: на один подается вектор p(X) от блока измерений, на другой – вектор p(Y), полученный каким-либо достаточно точным методом диагностики психоэмоционального состояния.
На основе выборки, содержащей достаточное количество пар векторов p(X) и p(Y), интерпретирующее устройство должно получить матрицу совместных вероятностей p(X,Y), достаточно точно отражающих связи между параметром речи X и параметром состояния Y. Для организации эффективного обучения (компромисс между качеством обучения и объемом выборки) удачной представляется возможность имитации процесса обучения биологического организма.
Г.А. Голицын в ряде работ, в частности, [5] предложил и обосновал наиболее общий принцип восприятия и обработки информации живыми существами – принцип максимума информации: в процессах эволюции, адаптации, развития, научения, поведения, восприятия, распознавания образов, решения задач система выбирает такие реакции, которые обеспечивают максимум средней взаимной информации с заданными условиями среды.
Таким образом, имитируя процесс обучения биологического организма, устройство интерпретации должно при восприятии пар векторов p(X),  p(Y) изменять вероятности p(X,Y) таким образом, чтобы максимизировать количество средней взаимной информации:
I(X,Y)=log2.
Для обеспечения указанных условий был предложен следующий алгоритм:
1) определение мод распределений p(X),  p(Y);
2) обнуление во входных векторах всех вероятностей, меньших, чем вероятности мод p(xм,j),  p(yм,k);
3) изменение вероятностей p(xм,j, yм,k) по закону
=aj,k(p(xм,j)p(yм,k) – p(xм,j, yм,k)),
где aj,k – коэффициент «внимания» системы к паре вероятностей p(xм,j),  p(yм,k). Для обеспечения принципа максимума информации внимание должно изменяться по закону:
aj,k=
Пока с изменением данной вероятности p(xм,j, yм,k) количество средней взаимной информации не убывает, коэффициент aj,k максимален. Как только количество средней взаимной информации с изменением данной вероятности p(xм,j, yм,k) начинает убывать, коэффициент aj,k приравнивается к нулю.
Моделирование процесса обучения показало, что в ряде случаев для качественного обучения устройства интерпретации (формирования матрицы вероятностей p(X,Y), достаточно хорошо описывающей взаимосвязи параметров X и Y) достаточно было выборки из 50 и менее пар векторов p(X),  p(Y). Пример результатов эксперимента по обучению устройства интерпретации приведен на рис. 3.

Рис. 3 Пример результатов эксперимента по обучению устройства интерпретации.

На рис. 3 матрица вероятностей описывает заданную по условиям эксперимента статистическую связь между параметром речи X и параметром состояния испытуемого Y. Целевая функция – средняя взаимная информация I(X,Y). Матрица памяти устройства интерпретации представлена на момент окончания эксперимента. Количество предъявленных пар векторов p(X),  p(Y) равнялось 50, каждый из векторов был получен на основе 10 случайных значений параметров, распределение параметров – усеченное нормальное, СКО в диапазоне 0,2…0,6 (нормированные единицы).
По двум графикам вверху видно, что матрица памяти достаточно хорошо отражает взаимосвязь параметров. Графики внизу рисунка демонстрируют действие принципа максимума информации при обучении: пары векторов p(X),  p(Y), способные уточнить «представления» системы о взаимосвязи параметра речи и параметра состояния испытуемого, воспринимались относительно долго и приводили к существенному росту целевой функции, в то время, как пары векторов p(X),  p(Y), не уточнявшие или противоречащие уже сформированным на данный момент «представлениям» системы, воспринимались непродолжительное время. Также по графикам внизу рис. 3 видно, что восприятие прекращалось как только целевая функция (средняя взаимная информация) переставала возрастать: после нуля производной целевой функции следует всплеск, соответствующий началу восприятия следующей пары векторов p(X),  p(Y).
При переходе от двумерного случая (один параметр речи и один параметр состояния) к многомерному задача обучения усложняется. Известно несколько подходов.
В работе [6] предложено выражение для расчета средней взаимной информации для N случайных величин:
I(X1,X2,…,XN)= ,
где через X1…Xj – параметры речи, Xj…XN – параметры состояния;
произведения вычисляются по всем возможным комбинациям различных подстрочных индексов.
Очевидным недостатком данного выражения являются высокие вычислительные затраты при расчетах с большим количеством параметров. Достоинством является наиболее полное отображение взаимосвязей между всеми (входными, выходными, входными и выходными) параметрами.
В работе [5] предложено производить попарную аппроксимацию многомерной таблицы совместных вероятностей p(xi1,…,xin,yj1,…,yjm). Попарная аппроксимация заключается в рассмотрении двумерных таблиц совместных вероятностей p(xi1, ,yj1),p(xi1, ,yj2),…,p(xin, ,yjm) вместо многомерной таблицы p(xi1,…,xin,yj1,…,yjm). Для расчета средней взаимной информации при этом используется приближенная формула:
I(X,Y)
В принципе возможно использование и совместных вероятностей p(xi,,xj), p(yi,,yj) – это может повысить качество интерпретации при работе с противоречивыми результатами измерений.
Достоинством второго подхода является простота расчета средней взаимной информации, однако получение «попарных» совместных вероятностей из исходной многомерной таблицы также требует некоторых вычислительных затрат.
Результаты экспериментов показали, что подход к интерпретации данных измерений параметров речи, основанный на теории информации и принципе максимума информации перспективен, т.к. позволяет произвести качественное обучение устройства интерпретации на малой выборке данных. Кроме того, описанное устройство интерпретации допускает работу в режиме самообучения, что позволит повышать качество диагностики в ходе эксплуатации.

Литература:

1.Есин, И.Б. К вопросу о возможности идентификации эмоций человека через голос [Текст]  / Есин, И.Б. // Юрид.психология. – 2008. – №1.– С.20–24.
2.Галунов, В.И. О возможности определения эмоционального состояния говорящего по речи [Текст] / Галунов, В.И. // Речевые технологии. – 2008. – №1. – С.60–67.
3.Фролов, М.В. Диагностика функциональных и депрессивных состояний по характеристикам интонации и временного потока речи [Текст] / М.В. Фролов и др. // Биомедицинские технологии и радиоэлектроника №12, 2004. С.8-16.
4.Старченко И.Б., Тимошенко В.И. Стохастические и динамические модели в акустике и биомедицине. [Текст]/ Старченко И.Б., Тимошенко В.И.  – Ростов н/Д: РостИздат, 2007. – 320 c. – ISBN 5-7509-1234-5.
5.Голицын Г.А. Информация и творчество: на пути к интегральной культуре [Текст] / Голицын Г.А.– М.: «Русский мир», 1997. – 304 с. Фано Р. Передача информации. Статистическая теория связи [Текст]/ Фано Р. – М.: «Мир», 1965. – 720 с.