ИССЛЕДОВАНИЕ ДОСТОВЕРНОСТИ ПРОГНОЗИРОВАНИЯ БАНКРОТСТВА ПРИ ВВЕДЕНИИ НОВОЙ КАТЕГОРИИ ФИНАНСОВОГО СОСТОЯНИЯ ПРЕДПРИЯТИЙ
- Авторы: Носкова А.Р1, Алексеев А.О1
- Учреждения:
- Пермский национальный исследовательский политехнический университет
- Выпуск: № 3 (2020)
- Страницы: 105-122
- Раздел: Статьи
- URL: https://ered.pstu.ru/index.php/amcs/article/view/2109
- DOI: https://doi.org/10.15593/2499-9873/2020.3.06
- Цитировать
Аннотация
Мотивацией для настоящего исследования послужил полученный ранее авторами результат в области разработки отраслевых моделей прогнозирования банкротства, обладающих высокой прогностической способностью. Исследуется достоверность прогнозирования финансового состояния предприятий в случае введения дополнительной категории финансового состояния, отражающей положение между финансовой состоятельностью и несостоятельностью (банкротством). Выдвигается гипотеза о снижении достоверности моделей в случае роста требований к их точности, обусловленного введением дополнительной категории финансового состояния. Проверка гипотезы осуществляется с помощью негэнтропийного подхода, призванного снизить меру неопределенности в части нехарактерности некоторых выявленных финансовых признаков относительно исходных категорий финансового состояния. При этом под признаками финансового состояния понимаются диапазоны удельного веса статей бухгалтерского баланса, обладающие положительной или отрицательной информационной важностью. Информационная важность определяется с помощью методов системно-когнитивного анализа, реализуемого автоматически в системе «ЭЙДОС Х++», а также посредством воспроизведения информационных моделей с помощью инструментов MS Excel. Нормализация значений информационной значимости признаков и их интерполяция позволила получить функции, аналогичные функциям принадлежности в теории нечетких множеств. При построении функций принадлежности относительно диапазонов значимых статей баланса («Основные средства», «Запасы», «Дебиторская задолженность», «Краткосрочные финансовые вложения», «Нераспределенная прибыль (непокрытый убыток)», «Кредиторская задолженность») выявлены диапазоны с нулевыми или незначительными значениями характеристических функций, соответствующих исходным категориям финансового состояния, что фактически означало высокий уровень неопределенности при прогнозировании. Для снижения неопределенности предлагается ввести дополнительные лингвистические переменные и соответствующие им нечеткие множества, носителями которых являются относительные шкалы приведенных выше статей баланса. Всего выявлено пять таких нечетких множеств, где в качестве терма, являющегося элементом лингвистических переменных, используется принятое исследователями понятие «серая зона», которое фактически использовалось как новая категория финансового состояния. Все расчеты показаны на примере основных средств. Прогностическая способность моделей, построенных на оптимизированной выборке, где категория состояния предприятий, обладающих хотя бы тремя из пяти признаков «серой зоны», была заменена, как и предполагалось, снижается, но незначительно. А в случае воспроизведения алгоритмов системно-когнитивного анализа с помощью инструментов MS Excel наблюдается даже рост прогностической способности одной из модели. Фактически выдвинутая гипотеза о снижении достоверности моделей в случае роста требований к их точности не подтвердилась. Теоретическая значимость полученного результата с экономической точки зрения заключается в том, что с помощью негэнтропийного подхода удалось показать необходимость введения новой категории финансового состояния, как бы она ни называлась в будущем; с математической точки зрения получены функции принадлежности для лингвистических переменных на основе реальных данных о финансовом состоянии почти двух сотен российских компаний, эти функции приведения в будущем могут использовать специалисты в области теории нечетких множеств. Полученные результаты применимы для предприятий строительной отрасли, но также могут быть воспроизведены относительно прочих отраслей экономики при формировании соответствующих выборок.
Полный текст
Введение В статье исследуется необходимость введения новой категории финансового состояния для модели, разработанной для прогнозирования банкротства строительных предприятий [1]. Данная модель обладает высокой достоверностью относительно предприятий строительной отрасли - 79,5 % в случае разработки модели в программе для автоматической реализации методов системно-когнитивного анализа [2, 3] и 78,2 % в случае оптимизации выборки и воспроизведения алгоритма программы «ЭЙДОС X++» в книге MS Excel (рис. 1). Рис. 1. Распределение исследуемых предприятий по двум категориям. По оси абсцисс указаны диапазоны значений интегрального показателя информационной важности, определяемого суммой значений информационных важностей существенных статей баланса Из рис. 1 видно, что столбцы компаний-банкротов преимущественно расположены на отрицательной области интегральных значений, а столбцы «здоровых» компаний - на положительной. Так, если построить распределение предприятий, признанных условно «здоровыми» накопленным итогом, то видно (рис. 2), что около 25 % предприятий получают отрицательное значение интегрального показателя, на основе которого строится прогноз, т.е., согласно информационной модели, приведенной в работе [1], фактически около 25 % условно «здоровых» предприятий идентифицируются как банкроты. На самом же деле в отношении них дел о банкротстве не открывалось. Такие компании могут быть признаны финансово неустойчивыми, но все же еще финансово состоятельными. Аналогичное распределение можно построить для предприятий-банкротов. Рис. 2. Распределение условно «здоровых» предприятий накопленным итогом Рис. 3. Достоверность верного прогноза при диапазонах значений суммы информационной важности всех статей балансов Наибольшее число компаний из исследуемой выборки имеют интегральный показатель информационной важности в окрестности нулевого значения ±0,384 (см. рис. 1), именно в этом диапазоне наблюдается наименьшая достоверность правильной идентификации финансового состояния (рис. 3). Важно отметить, что помимо приведенной в работе [1] математической модели прогнозирования банкротства авторами получена еще одна математическая модель, обладающая общей достоверностью на уровне 90-92 % [4, 5]. Последняя прекрасно олицетворяет собой модель «черного ящика», т.е. она хорошо аппроксимирует решающее правило, однако авторам до сих пор не удалось полностью объяснить и дать интерпретацию ее параметрам. Обратим внимание на применение термина «достоверность». Часто данное понятие подменяют понятием «точность», что является некорректным для описания результатов исследования. Согласно определению, приведенному в источнике [6], достоверность является «отражением реальных объектов с нужной точностью», в то время как «точность - степень близости информации к реальному состоянию объекта, процесса или явления». Достоверность измеряется с доверительной вероятностью необходимой точности, т.е. вероятностью того, что отображаемое информацией значение параметра отличается от истинного значения этого параметра в пределах необходимой точности. В связи с этим предполагается, что на высокую достоверность разработанных моделей повлияла их низкая точность, а именно распределение выборки только на две категории финансового состояния (банкроты и «здоровые»). Возможно, случаи, в которых модель неверно определяет финансовое состояние предприятия, имеют особую структуру бухгалтерского баланса и требуют классификации в отдельную категорию. Это обстоятельство определило гипотезу настоящего исследования - введение дополнительной категории финансового состояния, имеющей промежуточную интерпретацию между финансово состоятельной организацией и финансово несостоятельной, понизит достоверность прогнозирования. Если гипотеза будет подтверждена, то полученные ранее математические модели прогнозирования банкротства, обладающие весьма высокой достоверностью, объясняются разделением предприятий в выборке всего на две категории. В противном случае, это будет говорить о высоком качестве информационного подхода, основанного на использовании методов системно-когнитивного анализа, и фактически будет означать необходимость введения новой категории финансового состояния предприятий. По крайней мере, этот вывод будет применим к предприятиям строительной отрасли, так как авторами были разработаны именно отраслевые модели прогнозирования банкротства строительных предприятий. Подобные исследования могут быть выполнены в отношении других отраслей. 1. Релевантные исследования Большинство количественных моделей оценки вероятности банкротства относят оцениваемые предприятия к одной из двух категорий финансового состояния - к банкротам или финансово «здоровым» предприятиям. Необходимость промежуточной категории одним из первых отметил Альтман [7], выделив в трактовке результатов оценки следующие зоны: зона финансовой устойчивости («зеленая» зона), зона неопределенности («серая» зона), зона финансового риска («красная» зона). Кроме того, наличие необходимости «серых зон» отмечается в моделях Бивера [8], Конана и Голдера [9], Беликова - Давыдовой (ИГЭА - Иркутская государственная экономическая академия) [10], Савицкой [11], Терещенко [12] и др. Одномерная модель У. Бивера предлагает для диагностики банкротства значения показателей, соответствующих трем категориям финансового состояния: благоприятному, «5 лет до банкротства» и «1 год до банкротства». Модель Беликова - Давыдовой определяет риск наступления банкротства в зависимости от полученного значения интегрального показателя, выделяя пять диапазонов: максимальный риск банкротства (90-100 %), высокий риск банкротства (60-80 %), средний риск банкротства (35-50 %), низкий риск банкротства (15-20 %), минимальный риск банкротства (до 10 %). Аналогично определяет категории Савицкая, разделяя риск банкротства в универсальной модели на отсутствующий риск, небольшой, средний, большой и максимальный. Для модели, направленной на оценку вероятности банкротства предприятий агропромышленного комплекса, действует следующая градация: финансово устойчивое предприятие, нестабильное состояние предприятия, высокий риск банкротства предприятия в будущем. Результаты литературного обзора свидетельствуют об актуальности темы исследования и косвенно подтверждают необходимость введения дополнительной категории финансового состояния. 2. Методология исследования Проверка гипотезы осуществляется авторами с помощью негэнтропийного подхода, заключающегося в уменьшении энтропии - меры неопределенности информации или состояния некоторой системы [6, 13]. В данном случае под системой будет пониматься совокупность признаков финансового состояния. Негэнтропийный подход призван устранить неопределенность в части нехарактерности некоторых признаков финансового состояния относительно исходных категорий - банкротов и финансово «здоровых» организаций. На основе результатов анализа структуры бухгалтерских балансов выборки определены характерные для категорий финансового состояния диапазоны статей баланса. Из процесса построения модели были исключены статьи баланса, вертикальный анализ которых показал высокую концентрацию в выборке значений удельного веса в одном диапазоне, данные статьи признаются не характерными для оценки финансового состояния. Исходя из этого, рассматриваются следующие статьи: «Основные средства», «Итого внеоборотные активы», «Запасы», «Дебиторская задолженность», «Краткосрочные финансовые вложения», «Итого оборотные активы», «Нераспределенная прибыль (непокрытый убыток)», «Кредиторская задолженность». Подытоживающие статьи баланса «Итого внеоборотные активы» и «Итого оборотные активы» также исключаются из дальнейшего исследования. В результате реализации методов системно-когнитивного анализа получены значения информационной важности данных диапазонов. В совокупности диапазоны удельного веса статей баланса, обладающие информационной важностью, представляют собой признаки финансового состояния. Нормализация значений информационной значимости позволит получить функции, аналогичные функциям принадлежности в теории нечетких множеств. Функцией принадлежности нечеткого множества называют функцию, которая устанавливает значения степени принадлежности нечеткому множеству каждого из элементов универсального множества и принимает значения на отрезке от 0 до 1, где 0 - полная непринадлежность элемента нечеткому множеству, 1 - его полная принадлежность [14]. Последующие вычисления осуществлены авторами относительно каждой из выбранных статей баланса. В данном исследовании рассмотрим расчеты на примере статьи «Основные средства». Шаг 1. Определяем для каждого полученного диапазона статей баланса значения информационной важности признаков для отнесения к той или иной категории финансового состояния. Информационная важность определяется с помощью методов системно-когнитивного анализа, подробно описанных в работах [2, 3, 15], а также в работах [1, 16] применительно к рассматриваемой задаче. Шаг 2. Определяем разницу между значениями информационной важности для «здорового» предприятия и для предприятия-банкрота. Исполнение шага на примере статьи баланса «Основные средства» представлено в табл. 1. Нулевым значением обозначается абсолютная нехарактерность признака относительно определенной категории финансового состояния. Таблица 1 Исполнение шага 2 Номер диапазона 1 2 3 4 5 6 7 8 9 10 Значения диапазона 0-7 % 7-13 % 13-20 % 20-26 % 26-33 % 33-39 % 39-46 % 46-53 % 53-59 % 59-66 % Разница между «здоровыми» и банкротами 0 0 0,5357 0,1339 0,5357 0,8036 2,1429 2,1429 0,8036 0,1339 Информационная важность для «здоровых» -0,1279 -0,1295 0,2857 0,0714 0,2857 0,4286 1,1429 1,1429 0,4286 0,0714 Информационная важность для банкротов 0,1119 0,1133 -0,25 -0,0625 -0,25 -0,375 -1 -1 -0,375 -0,0625 Разница между банкротами и «здоровыми» 0,2398 0,2427 0 0 0 0 0 0 0 0 Шаг 3. Определяем максимальные значения результатов расчета разницы информационной важности. Рассматривая статью «Основные средства». Определяем, что для «здоровых» предприятий максимальное значение - 2,1429, для банкротов - 0,2427. Шаг 4. Рассчитываем соотношение между значением разницы и максимальным значением, нормализуя значения информационной важности признаков. Исполнение шага на примере статьи баланса «Основные средства» представлено в табл. 2. Шаг. 5. На основе результатов нормализации каждой из статей баланса строим столбчатую диаграмму для определения профиля функции принадлежности. Важно отметить, что обучающая выборка могла не включать ни одной компании-банкрота или «здоровой» компании со значениями финансовых показателей в определенном диапазоне, но при этом могли присутствовать организации соответствующих классов со значениями меньше и больше. Это привело в некоторых случаях к немонотонным функциям принадлежностей. Функция принадлежности относительно диапазонов основных средств представлена на рис. 4. Таблица 2 Исполнение шага 4 Номер диапазона 1 2 3 4 5 6 7 8 9 10 Информационная важность для «здоровых» 0 0 0,25 0,0625 0,25 0,375 1 1 0,375 0,0625 Информационная важность для банкротов 0,988 1 0 0 0 0 0 0 0 0 Рис. 4. Значения информационной важности признаков финансового состояния относительно диапазонов основных средств Шаг. 6. Аппроксимируем точечные значения с помощью сигмоиды (S-образной кривой) для функции принадлежности, носитель которой сориентирован в правой части области определения, Z-образной - для функций в левой части, колоколобразной - для функций, имеющих область плато на отрезке (рис. 5, 6). При аппроксимации функций принадлежностей нулевые значения, вызванные отсутствием примеров в обучающем множестве, замещались на значения функции принадлежности в окрестности области значений носителя, для которого не было примеров. При решении задач оценки в условиях неопределенности целесообразно использовать основанный на теории нечетких множеств лингвистический подход, предполагающий набор правил, отражающих суть предметной области. В качестве основы можно использовать продукционные правила в формате «если - то» [17]. Рис. 5. Аппроксимированные функции принадлежности относительно диапазонов основных средств Рис. 6. Аппроксимированные функции принадлежности с дополнительной категорией финансового состояния В нашем случае лингвистической переменной X является категория финансового состояния (X = финансовое состояние). Тогда исходное терм-множество (множество возможных значений лингвистической переменной) имеет вид Т(Х) = {банкрот; «здоровое»}. Однако область плато (см. рис. 5) свидетельствует о необходимости введения дополнительного нечеткого множества и возможного значения лингвистической переменной. Обозначим дополнительную категорию финансового состояния как «серая зона» (см. рис. 6). 3. Результаты проверки гипотезы С одной стороны, полученные функции принадлежности не имеют пустых областей при пересечении, из чего можно сделать вывод об отсутствии явной необходимости введения новой категории финансового состояния для разработанной модели прогнозирования банкротства. С другой стороны, с учетом существования относительно широких диапазонов значений статей баланса, где пересекающиеся функции принадлежности принимают весьма низкие значения, введение новой категории является перспективным направлением исследования. Необходимость введения дополнительной категории прослеживается в следующих диапазонах: - удельный вес основных средств от 13 до 33 %; - удельный вес запасов от 40 до 47 %; - удельный вес дебиторской задолженности от 30 до 50 %; - удельный вес краткосрочных финансовых вложений от 0 до 22 %; - удельный вес кредиторской задолженности от 49 до 74 %. Данные диапазоны соответствуют «серой зоне», определяющей промежуточное финансовое состояние, перечисленные признаки не характерны ни для «здоровых» предприятий, ни для банкротов обучающей выборки. Предприятия, обладающие совокупностью данных признаков, можно охарактеризовать как утратившие финансовую устойчивость и платежеспособность. Введем в обучающую выборку категорию предприятий «серой зоны», выделив в выборке предприятия, обладающие обозначенными признаками. При этом категория будет заменена на «серую зону», если предприятие обладает хотя бы тремя из пяти признаков. Таким образом, из 165 предприятий оптимизированной выборки 41 предприятие было отнесено в «серую зону», 20 из них ранее относилось к «здоровым» предприятиям, 21 - к банкротам. Стоит также отметить и то, что 12 компаний, отнесенных в «серую зону», ранее неверно идентифицировались, что составляет около 33 % от всех неправильно идентифицированных компаний. Всей совокупностью признаков «серой зоны» не обладает ни одно предприятие выборки, четырьмя из пяти признаков - 9 предприятий, остальные предприятия «серой зоны» имеют по три признака. Причем наличие признака «удельный вес финансовых вложений от 0 до 22 %» фиксируется относительно большинства предприятий выборки в целом, поскольку многие из них не имеют на отчетную дату финансовых вложений в принципе. Загрузим обновленную обучающую выборку в программу «ЭЙДОС X++» для повторной автоматической реализации метода системно-когнитивного анализа. Путем решения задачи идентификации объектов обучающей выборки программой осуществляется измерение достоверности заложенных в нее моделей. Результаты измерения достоверности представлены в виде экранной формы на рис. 7. Рис. 7. Экранная форма результата измерения достоверности моделей в программе «ЭЙДОС X++» В качестве показателя достоверности используется F-мера Ван Ризбергена, основанная на подсчете суммарного количества верно и ошибочно классифицированных и неклассифицированных объектов обучающей выборки. Наиболее достоверной моделью с тремя градациями классификационной шкалы является INF1, для которой F-мера составляет 72,8 %. Исходная модель прогнозирования банкротства основана на модели INF4, достоверность исходной модели составляет 79,5 %. Полученные результаты свидетельствуют о незначительном снижении достоверности модели как относительно INF4, так и относительно моделей системно-когнитивного анализа в целом. Рассмотрим достоверность гипотезы также посредством воспроизведения алгоритма программы «ЭЙДОС X++» в MS Excel. Путем реализации этапов системно-когнитивного анализа (от формализации предметной области до синтеза и верификации моделей) получим количественные данные о прогностических способностях новых моделей. В табл. 3 представлены значения достоверности исходных моделей, а также моделей, полученных после введения дополнительной категории финансового состояния. Таблица 3 Достоверность моделей в MS Excel № п/п Обозначение модели Общая достоверность прогнозирования, % Исходная модель Новая модель 1 INF1 76,4 75 2 INF2 78,2 81 3 INF3 68,5 63 4 INF4 78,2 77 5 INF5 78,2 77 6 INF6 78,2 77 7 INF7 78,2 77 Как и предполагалось, достоверность моделей INF1, INF3-INF7 снизилась за счет роста требований к их точности, а именно распределения предприятий на три категории финансового состояния вместо двух. Однако относительно модели INF2 получен примечательный результат - наблюдается рост достоверности модели с 78,2 до 81 %. Достоверность прогнозирования модели INF2 относительно банкротов составила 69 % (-3,7 % по сравнению с исходной моделью), относительно «здоровых» предприятий - 88 % (+3,5 % по сравнению с исходной моделью), относительно предприятий «серой зоны» - 93 %. Повышение прогностической способности относительно «здоровых» предприятий повлияло на рост общей достоверности модели INF2. В прочих моделях системно-когнитивного анализа подобной тенденции не наблюдается. Таким образом, можно говорить о том, что в рамках воспроизведения системно-когнитивного анализа c помощью инструментов MS Excel гипотеза не подтверждается. А это, как было отмечено выше, означает необходимость введения новой категории финансового состояния. Заключение В ходе исследования была выявлена необходимость введения новой категории финансового состояния для моделей прогнозирования банкротства строительных предприятий. Данная категория соответствует промежуточному положению между «здоровыми» предприятиями и банкротами и определяется как «серая зона». Новая категория обладает признаками, которые малохарактерны или абсолютно не характерны для исходных категорий (согласно низкой информационной значимости признаков относительно категорий). Введение новой категории финансового состояния повышает точность моделей. При этом предполагается, что рост точности приведет к снижению достоверности исходных моделей. Однако данную гипотезу авторы считают опровергнутой. В рамках реализации методов системно-когнитивного анализа в программе «ЭЙДОС X++» прогностическая способность моделей снижается незначительно, при этом в случае воспроизведения системно-когнитивного анализа с помощью инструментов MS Excel наблюдается рост достоверности одной из моделей.Об авторах
А. Р Носкова
Пермский национальный исследовательский политехнический университет
А. О Алексеев
Пермский национальный исследовательский политехнический университет
Список литературы
- Носкова А.Р., Алексеев А.О., Луценко Е.В. Применение системно-когнитивного анализа в отраслевом прогнозировании финансового положения предприятий (на примере строительной отрасли) // Прикладная математика и вопросы управления. - 2019. - № 1. - С. 87-99.
- Луценко Е.В. Автоматизированный системно-когнитивный анализ // Экономика знаний: стратегические проблемы и системно-когнитивные решения. - 2016. - С. 26-37.
- Луценко Е.В. Теоретические основы, технология и инструментарий автоматизированного системно-когнитивного анализа [Электронный ресурс]. - URL: http://lc.kubagro.ru/aidos/index.htm (дата обращения: 11.11.2019).
- Носкова А.Р., Алексеев А.О. Достоверное прогнозирование вероятности банкротства предприятий строительной отрасли с помощью метода системно-когнитивного анализа // Управление финансовыми рисками. - 2018. - № 3. - С. 218-224.
- Носкова А.Р. Решение задачи прогнозирования банкротства строительных предприятий с помощью применения технологии искусственного интеллекта // Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века: материалы 3-й Всерос. науч.-практ. конф., проводимой в рамках Пермского естественно-научного форума «Математика и глобальные вызовы XXI века», г. Пермь, 14-18 мая 2018 г. / Перм. гос. нац. исслед. ун-т. - Пермь, 2018. - С. 23-27.
- Николаев А.В., Садыков Р.И. Основы информатики, программирования и вычислительной математики: учеб. пособие. Ч. 1. Основы информатики. - Пермь: Изд-во Перм. нац. исслед. политехн. ун-та, 2013. - 86 с.
- Altman E.I. Financial ratios, discriminant analysis, and the prediction of corporate bankruptcy // The Journal of Finance. - 1968. - No. 4. - Р. 589-609.
- Beaver W.H. Financial ratios as predictors of failure // Empirical Research in Accounting: Selected Studies. - 1966. - No. 4. - P. 71-111.
- Conan J., Holder М. Explicative variables of performance and management control: doctoral thesis / CERG, Universite Paris Dauphine. - Paris, 1979. - 448 p.
- Давыдова Г.В., Беликов А.Ю. Методика количественной оценки риска банкротства предприятий // Управление риском. - 1999. - № 3. - С. 13-20.
- Савицкая Г.В. Анализ хозяйственной деятельности предприятий АПК: учебник. - М.: ИНФРА-М, 2014. - 519 с.
- Терещенко О.А. Дискриминантная модель интегральной оценки финансового состояния предприятия // Экономика Украины. - 2003. - № 8. - С. 38-45.
- Лотоцкий В.Л. Энтропия и негэнтропия // Перспективы науки и образования. - 2017. - № 1 (25). - С. 20-23.
- Рыжов А.П. Элементы теории нечетких множеств и ее приложений. - М.: Диалог-МГУ, 1998. - 81 c.
- Открытая персональная интеллектуальная технология разработки и применения адаптивных методик оценки инвестиционной привлекательности и кредитоспособности предприятий / Е.В. Луценко, А.В. Коваленко, Е.К. Печурина, М.А.Х. Уртенов // Вестник Пермского университета. Серия «Экономика» = Perm University Herald. ECONOMY. - 2019. - Т. 14, № 1. - С. 20-50. doi: 10.17072/1994-9960-2019-1-20-50
- Математические методы и инструментальные средства отраслевой идентификации предприятий и организаций по видам экономической деятельности / А.О. Алексеев, И.Е. Алексеева, А.Р. Носкова, В.В. Кылосова, А.И. Князева // Известия Саратовского университета. Новая серия. Экономика. Управление. Право. - 2019. - № 2. - С. 172-180.
- Борисова Л.В., Димитров В.П. Практикум по дисциплине «Теория нечетких множеств». - Ростов-н/Д., 2017. - 88 с.
Статистика
Просмотры
Аннотация - 90
PDF (Russian) - 47
Ссылки
- Ссылки не определены.