Мethod for determining the level of similarity of images by color component based on correlation analysis and color space quantization

Abstract


The color component of an image is the basic information about the image. Color determines the mood of an image, its concept, and can also serve as a semantic accent. Obtaining information about the color component of an image is necessary when solving various kinds of tasks. For example, the task of finding similar images according to the content, as information about the color component can be combined with other metadata of the image and more fully describe its concept. In this paper authors describe the physical representation of color, the most popular digital representations of color, ways of extracting color components of an image, such as color histograms, quantization, coherent vectors and K -means, and ways of comparing color components of images, such as Euclidean distance, cosine distance, Manhattan distance, Chebyshev distance, Jaccard index, correlation analysis, Pearson's agreement test and Bhattacharya distance. It is suggested that the use of histogram comparison and vector comparison methods is acceptable for comparing the color components of images, since color histograms can be written in vector form. The authors conduct an experiment in which a human expert reviews combinations of color component acquisition and comparison methods and completes a test protocol based on the criteria highlighted by the authors. The criteria were based on the human interpretability of the results of the methods of determining and comparing the color component. On the basis of the experiment it has been determined that the best of the methods of comparison of color components of the definition images considered in the article is the correlation analysis of color histograms of images, which have been extracted in a quantized color space, because this approach meets all the criteria for testing and keeps the greatest amount of information about the color component.

Full Text

Введение Один из основных параметров изображения - это цвет. Цветовая составляющая изображения во многом влияет на итоговое восприятие всего изображения [1; 2]. Здесь и далее в статье под цветовой составляющей подразумевается набор цветов, который наиболее точно характеризует изображение. Цветовая составляющая изображения определяет его общее настроение. К примеру, изображение в цвете может вызывать положительные эмоции, в то время как в черно-белом исполнении скорее передавать грусть. Также цвет может отображать общую концепцию изображения или служить в качестве смыслового акцента. Например, красные гвоздики на черном фоне вызывают ощущение печали, а розовые гвоздики на белом фоне ощущение нежности. Решение задачи определения цветовой составляющей изображения необходимо для получения базовых сведений о нем. Впоследствии полученная информация может объединяться с другими метаданными для решения задачи поиска похожих изображений по различным параметрам, таким как цвет, объекты, композиция, общее настроение, геолокация и т.д. В частности, одной из областей применения методов определения цветовой составляющей являются системы поиска изображений по содержанию (англ. Content-Based Image Retrieval - CBIR). Системы CBIR решают задачу получения похожих изображений из большой базы данных по заданному изображению на основе извлеченных характеристик [3]. Исходя из этого, формулируются следующие задачи: определение цветовой составляющей изображения и сравнение полученных составляющих для определения уровня схожести изображений. Схожесть в данном случае можно трактовать как расстояние между цветами: чем цвета дальше друг от друга, тем менее похожи между собой. Иными словами, необходимо отвечать на вопрос, насколько два цвета далеки друг от друга. Основным концептуальным критерием решения поставленных задач в рамках этого исследования выбран критерий интерпретируемости результатов человеком-экспертом. На основе своей субъективной оценки человек-эксперт определяет соответствие или несоответствие своего визуального восприятия изображений результатам работы методов определения и сравнения цветовых составляющих изображений. Далее в статье анализируется физическое представление цвета и его возможные способы цифрового представления с помощью цветовых моделей. Также рассматриваются методы определения цветовой составляющей изображения и методы сравнения полученных составляющих для определения уровня цветовой схожести изображений. 1. Физическое представление цвета Изображение представляет цвет в цифровом формате, опираясь на физическое восприятие цвета человеком. С точки зрения физического представления, цвет - это ощущение. Оно возникает в мозгу человека после того, как свет попадает на сетчатку глаза [4]. Свет - это электромагнитные волны видимого спектра излучения, которые может воспринимать человеческий глаз [4]. Электромагнитная волна не имеет такого параметра, как цвет, но вместо этого она имеет длину. Свет с наибольшей длиной волны наш глаз воспринимает как красный, а свет с наименьшей длиной как фиолетовый. Цвета объектов формируются за счет отражения определенной длины волны. К примеру, зелёный лист (рис. 1) воспринимается нами именно зелёным, потому что его поверхность отражает только зелёную (520-580 нм) составляющую спектра излучения, а остальные цветовые составляющие поглощаются. Рис. 1. Восприятие цвета глазом человека Видимый спектр излучения не содержит всех цветов, которые различают человеческие глаза и мозг. Например, в спектре отсутствуют розовые или пурпурные вариации, но они могут быть сделаны путем сочетания нескольких длин волн. Таким образом, многообразие всех цветов, которые нас окружают, - это результат смешения узкого набора оттенков. И при представлении цвета в цифровом формате за основу берется именно этот факт. 2. Цифровое представление цвета В цифровом формате изображение представляется набором пикселей. Каждый пиксель описывает цвет в соответствии с цветовой моделью. Существует различные цветовые модели, при этом каждая использует свой подход к описанию цвета. Наиболее популярными цветовыми моделями в цифровом формате являются RGB и HSB. а б Рис. 2. Цветовые модели: а - RGB; б -HSB Цветовая модель RGB (англ. red - красный, green - зеленый, blue - синий) (рис. 2, а) [5] является самой популярной, и во многих областях используется как стандарт «де-факто». Значения каждого цвета варьируются в диапазоне от 0 до 255. При максимальном значении каждого цвета мы получим белый цвет. При разном уровне пропорций базовых цветов сможем получить любой другой цвет. Такое представление может отобразить приблизительно 16,7 млн оттенков. Цветовая модель HSB (англ. hue - тон, saturation - насыщенность, brightness - яркость) (рис. 2, б) основана на показателях цвета: цветовом тоне, насыщенности и яркости [6]. Цветовой тон имеет значение от 0 до 360 (по градусам, которые образуют верхнюю стенку цилиндра), и выбирается из видимого спектра излучения. Значения насыщенности и яркости варьируются от 0 до 100. Насыщенность соответствует интенсивности световой волны. Яркость задает освещенность световой волны. Такое представление может отобразить приблизительно 3,6 млн оттенков. Дальнейшие описания методов будут проводиться на основе модели RGB, так как этот формат более простой для визуального представления. Однако при сравнении методов будут использоваться оба формата. 3. Методы определения цветовой составляющей изображения 3.1. Цветовая гистограмма Изображение можно описать с помощью цветовых гистограмм. Цветовая гистограмма представляет собой столбчатую диаграмму [7], на которой по оси Х откладывается уровень насыщенности цвета (от 0 до 255 в формате RGB), а по оси Y для каждого уровня насыщенности откладывается принадлежащее ему количество пикселей изображения. Так как изображение, как правило, состоит из нескольких каналов, то гистограмм будет ровно столько, сколько имеется каналов. К примеру, для изображения в формате RGB будет три гистограммы (рис. 3, a, б). а б Рис. 3. Гистограмма изображения: а - оригинал; б - RGB-гистограммы В математическом виде, цветовую составляющую можно представить с помощью формулы (1). (1) где F - цветовая составляющая изображения; n - уровень насыщенности цвета; value - количество пикселей изображения с уровнем насыщенности цвета n. Достоинством такого подхода является его простота, так как составление цветовой составляющей базируется на подсчете количества пикселей того или иного цвета. Еще одним достоинством данного подхода является его предсказуемость. За счет того, что заведомо известно количество цветов, а также предельные величины значений каждого канала, можно однозначно описывать изображения в предсказуемых числовых границах. Например, для изображения размером 50×50 пикселей в формате RGB максимальное значение количества пикселей для каждого канала будет 2500, а количество уровней глубины цвета равняется 256. Обратной стороной метода является отсутствие его интерпретируемости. При получении гистограмм их невозможно явно сопоставить с исходным изображением. К примеру, на рисунке изображена гистограмма синего цвета (см. рис. 3, б), при этом на соответствующем ему рисунке (см. рис. 3, а) сложно явно найти синие оттенки. Это происходит потому, что при разложении изображения на несколько каналов теряется связь между каналами. Гистограммы не могут отображать оттенки. В случае, если изображение состоит из одного канала, такой проблемы не возникает. Исходя из этого, такой метод подходит для описания черно-белых изображений, но для цветных изображений описанные недостатки значительны. Еще одним недостатком цветовых гистограмм является отсутствие устойчивости к изменениям ширины и высоты изображения. Гистограммы изображений различных размеров будут отличаться, поскольку они строятся на основе количества пикселей. Поэтому для сравнения изображений на основе гистограмм требуется приведение их к единому размеру, что не всегда допустимо. Это так, поскольку при изменении размера изображения может потеряться информация о количестве цветов и их занимаемом объеме на изображении. 3.2. Квантование Главная причина отсутствия интерпретируемости в методе гистограмм - это представление изображения несколькими гистограммами по каждому отдельному каналу. Кроме того, такой подход не решает задачу получения базовой информации об изображении. Базовая информация - это основной набор цветов, который присутствует в изображении. Построение единой гистограммы по всем каналам цвета не решает задачу интерпретируемости человеком полученных результатов. Человек не сможет сопоставить полную цветовую гистограмму с изображением, из которого гистограмма была получена, потому что она будет вытянутой по оси X и сжатой по оси Y. Так происходит, поскольку ось X содержит несколько миллионов цветов, а ось Y в каждом цвете из миллиона содержит всего несколько пикселей. Решением этой проблемы является использование квантования. Квантование цвета - это процесс, который уменьшает количество различных цветов в цифровом изображении с учетом того, что восстановленное изображение должно быть визуально как можно более близким к исходному [8]. Идея квантования заключается в разбиении исходного цветового пространства на некоторые промежутки (рис. 4). Таким образом, наиболее схожие цвета лежат в пределах одной группы (рис. 5). Цвета можно объединять в группы, так как большая часть цветов отличается лишь на одно-два значения глубины цвета, и такая разница незаметна для человеческого глаза. Рис. 4. Разбиение цветового пространства RGB Применяя подход квантования цветового пространства, можно построить единую цветовую гистограмму, на которой по оси Х откладывается номер группы цвета, а по оси Y для каждой группы цвета откладывается принадлежащее ей количество пикселей изображения. Квантованные гистограммы можно считать визуально сопоставимыми с исходным изображением, поскольку явно прослеживается средний цвет группы и его объем на изображении. а б в Рис. 5. Результат работы квантования гистограмм: а - оригинал; б - изображение после квантования; в - RGB-гистограмма после квантования Квантование происходит следующим образом. Все пространство цветов разбивается на группы и нумеруется, при этом цифра обозначает принадлежностью к диапазону [9]. Допустим, цвета описываются в формате RGB. Тогда первый диапазон может быть от (0,0,0) до (4,4,4) и объединять 64 цвета. Количество цветов, которые будут объединяться в группу, также называется шагом квантования. Однако стоит выбирать оптимальный шаг квантования. Оптимальный шаг квантования не должен быть слишком малым, чтобы сохранялся смысл объединения цветов в группы, и также не должен быть слишком большим, чтобы не объединились цвета, которые визуально не кажутся принадлежащими к одной группе. За счет такого разбиения все пространство цветов можно агрегировать единым вектором. В математическом виде цветовую составляющую можно представить следующим образом: (2) где F - цветовая составляющая изображения; n - группа цвета; value - количество пикселей изображения в группе цвета n. Разбиение может проводиться асимметрично, т.е. для каждого канала может отличаться шаг квантования. К примеру, в формате HSB за базовый канал можно взять H, и разбить его на более мелкие части, в то время как два оставшихся поделить на три или четыре группы. Таким образом, при использовании квантования результат получается интерпретируемым для человека, поскольку гистограмма становится более визуально понятной за счет сокращения количества цветов с нескольких миллионов до небольшого количества групп, например, 64. 3.3. Когерентные векторы В подходах, основанных на полных и квантованных гистограммах, изображение рассматривалось как набор пикселей, несвязанных друг с другом. В цветовых гистограммах отсутствует информация о композиции изображения, поэтому изображения с очень разным внешним видом могут иметь похожие гистограммы. К примеру, на рис. 6, а, белые цветы расположены хаотично на всем изображении, а на рис. 6, б, белый кот изображен в одном месте, при этом значение белого цвета в цветовой гистограмме у них примерно одинаковое. Подход описания изображения с помощью когерентных (от англ. coherence - «связность») цветовых векторов решает эту проблему. Этот подход является расширением квантования. Дополнительно к количественному подсчету цветов каждый пиксель изображения классифицируется как когерентный (связный) или некогерентный (несвязный). При этом пиксель считается когерентным, если он является частью большой области аналогичного цвета, в противном случае пиксель является некогерентным. а б Рис. 6. Пример одинаковых гистограмм изображений с разной композицией: а - хаотичное распределение белого цвета; б - локализованное распределение белого цвета а б Рис. 7. Пример разных гистограмм изображений с разной композицией: а - хаотичное распределение белого цвета; б - локализованное распределение белого цвета Вектор цветовой когерентности содержит количество когерентных и некогерентных пикселей для каждого цвета [10]. В математическом виде вектор цветовой когерентности можно представить следующим образом: (3) где F - цветовая составляющая изображения; n - группа цвета; с - количество когерентных пикселей изображения группы цвета n; noс - количество некогерентных пикселей изображения группы цвета n. Главное достоинство такого подхода - это возможность проводить сравнение изображений с учетом их композиции. К примеру, полученные с помощью данного подхода гистограммы для рис. 6, а, б, будут разными, и, соответственно, дальнейшее сравнение покажет, что это разные изображения. На полученных гистограммах явно видно, что для первого рисунка белый цвет разделился, часть белых пикселей является когерентными (белый кот на изображении), а другая часть - некогерентными (цветы на изображении), как это отображено на рис. 7, а. Для второго рисунка все пиксели белого цвета имеют локализованное расположение, поэтому большая их часть относится к когерентным пикселям, что заметно по гистограмме, отображенной на рис. 7, б. 3.4. Метод K-средних В предыдущих методах при выделении цветовой составляющей в учет берется вся информация обо всех цветах изображения. При этом, когда человек рассматривает изображение, во внимание берется небольшой набор цветов. Внимание человека может остановиться на цветах, которые занимают большой объем пространства на изображении, или на цветах, которые очень контрастны по отношению к остальным цветам изображения. Первые цвета называются доминирующими, вторые акцентными. Кластеризация K-средних [11] позволяет выделять желаемое количество доминирующих цветов изображения. Для этого метод разделяет все пиксели изображения на группы и определяет значения центральных пикселей группы как доминирующие цвета изображения. Количество групп напрямую зависит от заранее установленного количества цветов. Изначально центры групп определяются случайным образом. Все остальные пиксели изображения распределяются по группам на основе вычисленного евклидового расстояния (формула (4)). Они относятся к той группе, до центра которого меньше расстояние по сравнению с центрами всех остальных групп. Процесс определения центра и распределения пикселей по группам происходит несколько раз и останавливается тогда, когда положение центра в сравнении с предыдущим положением изменяется незначительно. (4) где D - расстояние между векторами цветовых гистограмм F1, F2; n - длина вектора, i - позиция значения в векторе. Для сравнения нескольких наборов доминирующих цветов их нужно представить с помощью единой схемы записи. Для этого набор цветов можно представлять как последовательность определенной длины. Тогда этот набор можно отсортировать внутри вектора определенного цвета по каналам (при использовании цветовой модели RGB: первое значение - R, второе - G, третье - B) внутри вектора, содержащего несколько полученных цветов, по значениям каналов цветовой модели (сначала сортировка векторов по каналу R, затем сортировка по каналу G и в последнюю очередь сортировка по каналу B). В таком случае после сортировки цвета будут находиться в понятном порядке. Таким образом, в математическом виде, цветовую составляющую можно представить следующим образом: (5) где F - вектор с базовыми цветами, с - вектор базового цвета, описанный в соответствии с каналами цветовой модели, n - порядок вектора базового цвета в векторе F. Набор доминирующих цветов имеет высокую интерпретируемость с точки зрения визуального восприятия человека, поскольку конкретный набор цветов можно отнести к определенному изображению. Выделение доминирующих цветов имеет усредненный характер, поэтому результаты не всегда могут сопоставляться с ожиданиями человека. При небольшом количестве определяемых цветов некоторые акцентные цвета могут пропасть из палитры, поскольку используются в небольшом количестве пикселей. Например, на рис. 8 метод K-средних выделил только зеленые цвета, однако голубые глаза кота явно выделяются из общей картины. Голубой цвет глаз в данном случае можно назвать акцентным. Рис. 8. Результат работы метода К-средних (авторские результаты) Теперь, когда мы определились с тем, какие существуют возможные методы определения цветовой составляющей изображения, мы можем перейти к тому, как сравнивать полученную информацию о цветовой составляющей двух изображений. 4. Способы сравнения изображений по цветовой составляющей Для решения задачи интерпретируемого сравнения цветовых составляющих изображений были выделены методы сравнения векторов. Методы можно разделить на два типа в соответствии с методами определения цветовой составляющей изображения: способы сравнения гистограмм и способы сравнения векторов. Однако в данной работе мы не будет проводить разделение. Поскольку все способы выделения базовых цветов, включая способы, основанные на гистограммах, были сведены к представлению в векторном виде, это позволяет применять методы сравнения векторов и к ним. Также и наоборот, так как гистограммы представляются в виде упорядоченного вектора значений, методы сравнения гистограмм позволяют сравнивать векторы. Поскольку для ненормализованных гистограмм значения величин сверху практически неограниченны, перед применением метрик сравнения есть необходимость в нормализации векторов. 4.1. Евклидово расстояние Наиболее распространенным методом сравнения расстояния в пространстве является евклидово расстояние [12] (формула (4)). Евклидова метрика наиболее применима для подсчета расстояний в низких размерностях. При использовании ее в высоких размерностях даже малейшая разница в одной из позиций вектора может дать большой прирост в расстоянии. Это происходит, поскольку в векторном виде изменяется лишь одно значение, в то время как в пространстве высокой размерности это будет значительный выброс. Если цветовые гистограммы будут отличаться на некоторое значение в одной из позиций вектора, результат сравнения может показать, что гистограммы сильно отличаются. 4.2. Косинусное расстояние Косинусное расстояние [13] - это косинус угла между двумя векторами (формула (6)). В отличие от евклидового расстояния, косинусное расстояние учитывает лишь направления векторов, при этом не позволяет учитывать размерность векторов. Однако эта метрика применима, если все векторы имеют равную длину. Поэтому при сравнении изображений их необходимо приводить к единому размеру. (6) где D - это расстояние между векторами цветовых гистограмм F1, F2. 4.3. Манхэттенское расстояние Манхэттенское расстояние - это сумма длин проекций векторов между точками на оси координат (формула (7)) [12]. За счет того, что сравнение проводится на основе длин проекций, а не просто расстояний, эту метрику можно применять для сравнения векторов в пространствах высокой размерности. Это позволяет сравнивать цветовые гистограммы любой размерности. (7) где D - это расстояние между векторами цветовых гистограмм F1, F2; n - длина вектора; i - позиция значения в векторе. 4.4. Расстояние Чебышева Расстояние Чебышева - это модуль наибольшей разницы между компонентами двух векторов (формула (8)) [12]. Другими словами, это максимальное различие по одной из позиций в векторах. При этом информация о различиях по другим позициям теряется. Такой метод можно использовать в том случае, когда требуется определить величину максимального различия между векторами. В случае с цветовыми гистограммами расстояние Чебышева показывает максимальную разницу между цветами. (8) где D - расстояние между векторами цветовых гистограмм F1, F2; i - позиция значения в векторе. 4.5. Индекс Жаккара Индекс Жаккара (формула (9)) в основном применяется для определения схожести наборов в теории множеств [14]. Однако для векторов он также применим, так как вектор - это набор множества значений. Для вычисления индекса Жаккара нужно определить количество схожих позиций в двух векторах (пересечение) и разделить его на количество всех возможных вариантов значений в этих векторах (объединение). Такой подход неустойчив к незначительным изменениям в позициях вектора, поскольку две близкие по значению величины будут рассматриваться как две абсолютно независимые величины. Для сравнения цветовых составляющих данный метод плохо подходит в силу того, что не учитывает ранжирование значений. (9) где D - расстояние между векторами цветовых гистограмм F1, F2. 4.6. Корреляционный анализ Корреляционный анализ [15] - это статистический метод, позволяющий определить, существует ли зависимость между переменными и насколько она сильна (формула (10)). Такой анализ позволяет определить величину сходства цветовых составляющих, учитывая значения каждой позиции гистограммы. Этот подход примечателен тем, что при определении сходства цветовых векторов учитывает связность цветов в цветовом пространстве. (10) где D - расстояние между векторами цветовых гистограмм F1, F2; i - позиция значения в векторе. 4.7. Критерий согласия Пирсона Критерий согласия Пирсона [15] позволяет оценить статистическое различие двух или нескольких относительных величин (формула (11)). С помощью данного критерия проводится проверка гипотезы: соответствует ли первое распределение второму. Таким образом этот критерий подходит для задачи определения уровня сходства цветовых составляющих. (11) где D - расстояние между векторами цветовых гистограмм F1, F2; i - позиция значения в векторе. 4.8. Расстояние Бхаттачария Расстояние Бхаттачария [15] определяет уровень симметричности двух векторов (формула (12)). Симметричность при этом означает равенство средней арифметической, моды и медианы сравниваемых векторов. Так как векторы цветовых составляющих содержат набор количественных значений, мы можем опираться на симметричность цветовых векторов при определении их схожести. (12) где D - расстояние между векторами цветовых гистограмм F1, F2; i - позиция значения в векторе. 5. Тестирование методов сравнение цветовых составляющих 5.1. Методология тестирования Для анализа методов представления и сравнения цветовых составляющих изображения было проведено тестирование комбинаций рассмотренных методов по критериям, показывающим сходство изображений. Человек-эксперт сравнивал все комбинации методов на всех изображениях из набора данных и на основе своей субъективной оценки определял соответствие или несоответствие своего визуального восприятия изображений результатам работы методов определения и сравнения цветовых составляющих изображений. Комбинация методов определения и сравнения цветовых составляющих считается успешной, если соблюдены все критерии тестирования. В этом случае человек-эксперт заносит в протокол тестирования символ «+» на пересечении строки и столбца методов. В противном случае ставится символ «-». Набор данных состоит из четырех цветовых групп (красный, зеленый, синий, черный), при этом в каждой из групп содержится по 10 фотографий, содержащих цветовую градацию [16]. Таким образом, было охвачено многообразие комбинаций цвета и их яркости. В источнике [16] находятся все материалы для эксперимента: набор данных и программный код для автоматизации процесса получения и сравнения цветовых составляющих с помощью методов, описанных в статье. 5.2. Критерии тестирования В качестве главного критерия было выбрано условие сохранения логики расстояния между цветами. Это означает, что визуально наиболее похожие по цветовой составляющей изображения должны иметь меньшее значение метрики различия (расстояния), и наоборот. Второстепенным критерием является возможность интерпретации метода определения цветовой составляющей. Это значит, что информация, полученная с помощью метода, должна визуально сопоставляться с исходным изображением. 5.2. Результаты тестирования В протоколе тестирования зафиксировано сохранение логики расстояния между цветами в соответствии с методами определения цветовой составляющей (строка таблицы) и методами определения схожести цветов (столбец таблицы). Протокол тестирования Параметр Гистограммы Квантованные гистограммы Когерентные вектора Метод K-средних RGB HSB RGB HSB RGB HSB RGB HSB Корреляционный метод - - + + - - + - Критерий согласия Пирсона - - - - - - - - Расстояние Бхаттачария - - - - - - - - Евклидово расстояние - - - - - - + - Косинусное расстояние - - - - - - - - Расстояние Манхэттена - - - - - - - - Расстояние Чебышева - - - - - - + - Индекс Жаккара - - - - - - - - Из данных таблицы видно, что по выделенным в начале главы критериям для нахождения уровня схожести цветовых составляющих изображений подходят пять следующих способов: 1) корреляционный метод сравнения квантованных гистограмм в цветовом пространстве RGB; 2) корреляционный метод сравнения квантованных гистограмм в цветовом пространстве HSB; 3) корреляционный метод сравнения доминирующих цветов в пространстве RGB, выделенных с помощью метода K-средних; 4) подсчет евклидового расстояния между доминирующими цветами в пространстве RGB, выделенными с помощью метода K-средних; 5) нахождение расстояния Чебышева между доминирующими цветами в пространстве RGB, выделенными с помощью метода K-средних. Для получения интерпретируемого результата сравнения изображений лучше подходят квантованные гистограммы, поскольку цветовая составляющая в таком случае охватывает большую часть информации об изображении. Метод K-средних выделяет узкий набор доминирующих цветов, что не позволяет сформировать вектор цветовой составляющей, описывающей изображение целиком. Это в свою очередь ограничивает возможность сравнения изображения по цветовым составляющим. Однако данный метод позволяет сравнить изображения на основе его доминирующих цветов. Заключение Одним из основных параметров изображения является цветовая составляющая. Информацию о цвете изображения можно представлять в виде векторов цветовой составляющей и проводить на их основе сравнение изображений. Не все из существующих методов определения и сравнения цветовой составляющей изображений позволяют корректно проводить сравнения изображений, поскольку результаты работы многих методов не интерпретируемы для человека и не отображают визуальное различие между изображениями. В рамках научного исследования были протестированы различные комбинации методов определения цветовой составляющей и методов их сравнения. Главным критерием успешности тестирования методов являлась субъективная оценка человеком-экспертом, которая подтверждала интерпретируемость человеком полученных результатов. Результаты экспериментов показывают, что метод квантования цветовых гистограмм позволяет более точно описать цветовую составляющую изображения, поскольку цветовая составляющая в таком случае охватывает значительную часть информации об изображении. В ходе экспериментов было установлено, что метод K-средних также позволяет описывать изображение с помощью интерпретируемого набора доминирующих цветов. Однако в таком случае цветовая составляющая содержит узкий набор доминирующих цветов, что не позволяет в полной мере проводить дальнейшее сравнение изображений. В ходе экспериментов было установлено, что корреляционный метод позволяет сравнивать цветовые составляющие и получать интерпретируемый результат. Данный метод является универсальным, так как позволяет сравнивать векторы независимо от их размерности. Евклидово и Чебышево расстояния позволяют получить интерпретируемый результат при сравнении векторов низкой размерности. Это позволяет сравнивать цветовые составляющие, полученные с помощью метода K-средних, но не позволяет сравнивать квантованные гистограммы. Таким образом, результаты экспериментов показывают, что сравнения квантованных гистограмм изображения корреляционным методом является интерпретируемым и визуально понятным для человека-эксперта.

About the authors

O. V. Loginovskiy

South Ural State University

A. Y. Strueva

South Ural State University

A. A. Shinkarev

Sole proprietor

M. V. Yadryshnikova

South Ural State University

References

  1. Elliot J.A., Maier M.A. Color Psychology: Effects of Perceiving Color on Psychological Functioning in Humans // Annual Review of Psychology. 2014. - Vol. 65. - P. 95-120. doi: 10.1146/annurev-psych-010213-115035
  2. Яковлева Ю.А. Влияние цвета на человеческую психику // Язык в сфере профессиональной коммуникации: сборник материалов международной научно-практической конференции преподавателей, аспирантов и студентов. - Екатеринбург: Ажур, 2022. - 2021. - С. 123-130.
  3. Ларин С.Н., Малков Maji S., Bose S. CBIR using features derived by Deep Learning // ACM/IMS Transactions on Data Science. 2021. - Vol. 2, iss. 3. - № 26. - P. 1-24. doi: 10.1145/347056
  4. Алиева Н.З. Физика цвета и психология зрительного восприятия; Ч. 1: Физика цвета. - М.: Академия. - 2008. - 19 с.
  5. Westland S., Cheung V. RGB Systems // Handbook of Visual Display Technology. - 2015. - P. 1-6. doi: 10.1007/978-3-642-35947-7_12-2 Ларин С.Н., Малков.
  6. On the correlation of absorption cross-section with plasmonic color generation / S.D. Rezaei, J. Ho, R.J. Hong, S. Ramakrishna, J.K. Yang // Opt. Express. - 2017. - Vol. 25, iss. 22. - P. 27652-27664. doi: 10.1364/OE.25.027652
  7. Костюкова Н.С. Использование 2D-цветовых гистограмм для представления цветового содержимого изображений // Известия Южного федерального университета. Технические науки. - 2005. - № 1. - С. 74-78.
  8. Сорокин А.И., Волков В.Н., Сорокина Ю.О. Адаптивный алгоритм квантования цветового пространства на основе медианного сечения // Известия юго-западного государственного университета. Серия: управление, вычислительная техника, информатика. Медицинское приборостроение. - 2018. - № 2 (27). - С. 63-72.
  9. Sarmad O., Nada A. An efficient color quantization using color histogram // 2017 Annual Conference on New Trends in Information and Communications Technology Applications (NTICT). - Baghdad, Iraq, March 7-8, 2017. doi: 10.1109/NTICT.2017.7976153
  10. Pass G., Zabih R., Miller J.Comparing Images Using Color Coherence Vectors // Proceedings of the fourth ACM international conference on Multimedia. - New York, NY, USA
  11. February, 1997. - P. 65-73. doi: 10.1145/244130.244148
  12. Tamilselvi P., Nagasankar P., Geetha S. Color based K-Means Clustering For Image Segmentation to Identify the Infected Leaves // 2019 Fifth International Conference on Science Technology Engineering and Mathematics (ICONSTEM). - Chennai, India, March 14-15, 2019. doi: 10.1109/ICONSTEM.2019.8918737.
  13. Deza M.M., Deza E. Distances in Probability Theory. - Springer, Berlin, 2016. - 583 p.
  14. Jurafsky D., Martin J.H. Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. - Prentice Hall, Upper Saddle River, 2009. - 1024 p.
  15. Бурбаки Н. Основания математики. Логика. Теория множеств. - М.: Издательство иностранной литературы, 1963. - 292 с.
  16. Парасич А.В., Парасич В.А. Методы на основе цветовых гистограмм в задачах обработки изображений // Nauka-rastudent. - 2015. - № 6 (18). - С. 1-20.
  17. Сolor-experiments-article [Электронный ресурс] / GitHub. - URL: https://github.com/myadryshnikova/color-experiments-article (дата обращения: 10.05.2023).

Statistics

Views

Abstract - 44

PDF (Russian) - 20

Refbacks

  • There are currently no refbacks.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies