Full Text

Введение Известно, что стохастические дифференциальные уравнения с запаздывающим аргументом возникают во многих областях техники, биологии, экономики, физики (см., например, [1-5]). В связи с этим появляется необходимость исследования задач управления, описываемых стохастическими дифференциальными уравнениями с запаздывающим аргументом. В теории оптимального стохастического управления при описании стохастической управляемой модели широко используются стохастические дифференциальные уравнения Ито [6, 7]. Ранее в работах [8-11] получены различные необходимые условия оптимальности для задач управления, описываемые стохастическими дифференциальными уравнениями Ито с запаздывающим аргументом. Подобные задачи исследованы для случая детерминированных обыкновенных дифференциальных уравнений с запаздываниями в работах [12-16] и др. В настоящей статье при помощи стохастического аналога процедуры, описанной в работах К.Б. Мансимова (см., например, [13, 14]), получено необходимое условие оптимальности первого порядка (уравнение Эйлера) [17, 18]. Далее в силу неотрицательности второй вариации критерия качества вдоль оптимального процесса установлен ряд легко реализованных необходимых условий оптимальности второго порядка, в том числе аналог условия Лежандра-Клебша [18, 19]. Кроме этого, получены многоточечные необходимые условия оптимальности для особого в классическом смысле управления [18, 20]. 1. Постановка задачи Пусть - полное вероятностное пространство с определенным на нем неубывающим потоком s-алгебры где а - n-мерный стандартный винеровский процесс. - пространство измеримых по и согласованных процессов для которых - пространство функций с почти наверное (п.н.) непрерывными траекториями. Здесь и в дальнейшем E - математическое ожидание. Предположим, что закон управляемого движения на фиксированном отрезке времени описывается следующей системой стохастических дифференциальных уравнений с запаздыванием (1) с начальным условием (2) Здесь - фазовый вектор; - заданная n-мерная вектор-функция, непрерывная по совокупности переменных вместе с частными производными по до второго порядка включительно, где - матричная функция, непрерывная по совокупности переменных вместе с частными производными по до второго порядка включительно; - непрерывно дифференцируемая скалярная функция, причем - заданная непрерывная начальная вектор-функция; моменты и заданы; (3) где U - заданное непустое, ограниченное и открытое множество, а Ud - множество допустимых управлений. В дальнейших рассуждениях будем предполагать, что каждому допустимому управлению соответствует единственное решение системы (1)-(2). Целью управления является минимизация критерия качества (4) где - заданная дважды непрерывно дифференцируемая скалярная функция. Допустимое управление доставляющее минимум функционалу (4) при ограничениях (1)-(3), назовем оптимальным управлением, а соответствующий процесс - оптимальным процессом. Основной целью данной работы является вывод конструктивно проверяемых условий оптимальности второго порядка в рассматриваемой задаче. 2. Первая и вторая вариации критерия качества Пусть - фиксированный, а - произвольный допустимый процесс. Тогда ясно, что приращение траектории будет удовлетворять системе (5) (6) На основании формулы Тейлора приращение критерия качества (4) на этих управлениях будет в следующей форме: (7) Пусть - случайный процесс, стохастический дифференциал которого имеет вид Здесь - n-мерная измеримая и ограниченная функция, Тогда с помощью формулы Ито [6, 7] получим (8) С целью упрощения записи формул введем стохастический гамильтониан и ряд обозначений: Учитывая введенные обозначения, формулу (8) перепишем в виде (9) С учетом (6), (9) выражение (7) принимает следующий вид: Далее, используя формулу Тейлора, получим (10) где по определению (11) Здесь по определению величины и находятся соответственно из разложений Предположим, что случайные процессы являются решением следующей системы стохастических дифференциальных уравнений: (12) где - функция, обратная к Уравнение (12) назовем стохастической сопряженной системой к рассматриваемой задаче. Отсюда, принимая во внимание систему (12), приращение функционала качества (10), соответствующее управлениям и с помощью простых преобразований может быть представлено в виде (13) В силу открытости области управления U специальное приращение допустимого управления можно определить по формуле (14) где e - достаточное малое по абсолютной величине число; - произвольная вектор-функция (вариация управления). Обозначим через специальное приращение траектории отвечающее приращению (14) допустимого управления Из выражения (5), используя формулу Тейлора, по схеме, приведенной, например, в работах [15, 18], получаем справедливость утверждения. Лемма 1. Для специального приращения траектории системы (1)-(2) имеет место следующее разложение: (15) где (вариация траектории) является решением задачи (16) Стохастические дифференциальные уравнения (16) назовем аналогом уравнения в вариациях [17] для рассматриваемой задачи. В дальнейшем нам понадобится еще одна лемма. Лемма 2. Решение уравнения (16) можно представить в виде (17) где по определению Здесь фундаментальная матрица является решением однородного уравнения: (18) где I - единичная матрица, Замечание. Формула (17) представляет собой стохастический аналог известной формулы Коши из работы [21] для уравнения (16). Отметим, что представление (17) в случае приведено в работе [22]. Подставляя в уравнение (16) выражение (17) для и учитывая уравнение (18), после несложных преобразований можно убедиться в справедливости леммы 2. Учитывая выражения (11), (14) и (15) в формуле приращения (13), следуя обычной схеме [18, 19], можно доказать, что первая и вторая (в классическом смысле) вариации функционала качества соответственно имеют вид (19) (20) 3. Необходимые условия оптимальности Пусть - оптимальный процесс. Тогда для всех согласно результатам вариационного исчисления (см., например, [17-19]), первая вариация функционала (4) равняется нулю, а вторая - неотрицательна, т.е. Таким образом, вдоль оптимального процесса для всех (21) (22) Из выражения (22) по схеме, приведенной, например, в работах [18, 19], получаем, что вдоль оптимального процесса соотношение (23) выполняется при почти всех Здесь и в дальнейшем - произвольная точка Лебега (правильная точка [23]) управления Сформулируем полученный результат в виде следующей теоремы. Теорема 1. Для оптимальности допустимого управления в задаче (1)-(4) необходимо, чтобы почти для всех выполнялось равенство (23). Условие оптимальности (23) является стохастическим аналогом уравнения Эйлера для рассматриваемой задачи и представляет собой необходимое условие оптимальности первого порядка. Допустимое управление удовлетворяющее уравнению Эйлера (23), следуя, например, работе [18], назовем классической экстремалью в задаче (1)-(4). Следовательно, справедлива следующая теорема. Теорема 2. Для оптимальности классической экстремали в задаче (1)-(4) необходимо, чтобы неравенство (22) выполнялось для всех Как видно, неравенство (22) есть неявное необходимое условие оптимальности второго порядка, но, используя неравенство (22), можно получить конструктивно проверяемые необходимые условия оптимальности второго порядка. Представление (17) позволяет доказать по схеме, приведенной в работе [13], следующие тождества: (24) (25) (26) (27) (28) (29) (30) Полагая, что (31) и учитывая тождества (24)-(31) в (22), получаем неравенство вида (32) Теорема 3 (необходимое условие оптимальности второго порядка). Для оптимальности классической экстремали в задаче (1)-(4) необходимо, чтобы неравенство (32) выполнялось для всех Отметим, что детерминированный аналог матричной функции впервые введен в работах К.Б. Мансимова (см., например, [13, 14]). Ясно, что условие оптимальности (32) является общим интегральным необходимым условием оптимальности для классической экстремали. Однако, используя различные специальные вариации управления, из него можно получить ряд более легкопроверяемых необходимых условий оптимальности, в частности стохастический аналог условия Лежандра-Клебша для рассматриваемой задачи. Теорема 4 (стохастический аналог условия Лежандра-Клебша). Для оптимальности классической экстремали в задаче (1)-(4) необходимо, чтобы неравенство (33) выполнялось для почти всех и Для доказательства неравенства (33) достаточно в формуле (32) определить по формуле (34) где а - достаточно малое число. Теорема 5. Для оптимальности классической экстремали в задаче (1)-(4) необходимо, чтобы выполнялось неравенство для всех Отметим, что также не исключена возможность вырождения аналога условия Лежандра-Клебша, т.е. его выполнение тривиальным образом. Определение [18]. Если вдоль классической экстремали выполняются при почти всех то назовем особым в классическом смысле управлением. Необходимое условие оптимальности (32) позволяет получить также необходимые условия оптимальности особых в классическом смысле управлений. Из теоремы 5 следует следующая теорема. Теорема 6. Для оптимальности особого в классическом смысле управления в задаче (1)-(4) необходимо, чтобы неравенство (35) выполнялось для всех Неравенство (35) является интегральным необходимым условием оптимальности для особых в классическом смысле управлений. Перейдем к получению поточечных необходимых условий оптимальности для особых в классическом смысле управлений. С этой целью специальную вариацию управления определим по формуле (36) Здесь m - произвольное натуральное число; e > 0 - достаточно малое число, - точка Лебега управления причем а определяется по формуле (37) Суммирование специальных вариаций (37) понимается в обычном смысле [24, 25]. Принимая во внимание формулу (37) в выражении (35), приходим к теореме 7. Теорема 7. Для оптимальности особого в классическом смысле управления в задаче (1)-(4) необходимо, чтобы для любого натурального числа m неравенство (38) выполнялось почти для всех Из неравенства (38) можно получить ряд более легкопроверяемых необходимых условий оптимальности особых в классическом смысле управлений. Например, полагая, что в формуле (38) m = 1, приходим к следствию. Следствие. Для оптимальности особого в классическом смысле управления в задаче (1)-(4) необходимо, чтобы неравенство выполнялось для почти всех и Заключение С применением стохастического аналога метода приращений вычислены первая и вторая вариации функционала качества в задаче стохастического оптимального управления системой с переменным запаздыванием. С их помощью сформулированы и доказаны необходимые условия оптимальности первого и второго порядков, в том числе многоточечные необходимые условия оптимальности для особых в классическом смысле управлений. Полученные результаты являются новыми и носят теоретический характер. Они могут быть эффективно применены в конкретных задачах стохастического управления, описываемых системой стохастических дифференциальных уравнений с запаздывающим аргументом.

About the authors

K. B Mansimov

Institute of Control Systems of NAS Azerbaijan; Baku State University

Email: kamilbmansimov@gmail.com

R. O Mastaliev

Institute of Control Systems of NAS Azerbaijan

Email: mastaliyevrashad@gmail.com

References

Statistics

Views

Abstract - 72

PDF (Russian) - 32

Refbacks

• There are currently no refbacks.