eng
Выпуск #5/2020
Д. А. Локтев
Исследование пограничного слоя визуального образа объекта для определения его характеристик
Исследование пограничного слоя визуального образа объекта для определения его характеристик
Просмотры: 2112
DOI: 10.22184/2227-572X.2020.10.5.418.422
Стремительное развитие оптико-электронных приборов, фото- и видеодетекторов, расширение полосы пропускания и скорости канала передачи данных делают системы видеоконтроля и измерений наиболее перспективными в ближайшем будущем. Исследование посвящено анализу параметров, влияющих на нечеткость получаемого на изображении образа объекта. В качестве основных компонентов функции размытия предложены величины, учитывающие свойства среды между исследуемым объектом и камерой, характеристики движения объекта и детектора, внутренние параметры камеры, цветовые составляющие образа объекта и фона. При этом размытие границ объекта, несмотря плохое качество получаемых изображений, также несет в себе информацию о направлении движения, его скорости, состоянии среды и т. д., которую можно использовать для определения параметров состояния и движения объектов контроля.
Стремительное развитие оптико-электронных приборов, фото- и видеодетекторов, расширение полосы пропускания и скорости канала передачи данных делают системы видеоконтроля и измерений наиболее перспективными в ближайшем будущем. Исследование посвящено анализу параметров, влияющих на нечеткость получаемого на изображении образа объекта. В качестве основных компонентов функции размытия предложены величины, учитывающие свойства среды между исследуемым объектом и камерой, характеристики движения объекта и детектора, внутренние параметры камеры, цветовые составляющие образа объекта и фона. При этом размытие границ объекта, несмотря плохое качество получаемых изображений, также несет в себе информацию о направлении движения, его скорости, состоянии среды и т. д., которую можно использовать для определения параметров состояния и движения объектов контроля.
Теги: boundary layer характеристики среды characteristics of the environment control object image blur optical spectrum parameters of the photodetector visual image визуальный образ объект исследования оптический спектр параметры фотодетектора пограничный слой размытие образа
Исследование пограничного слоя визуального образа объекта для определения
его характеристик
Д. А. Локтев, к. т. н.1
Статья получена 27.07.2020
Принята к публикации 22.09.2020
Введение
Для неразрушающего контроля анализируемого объекта используются различные методы, классифицирующиеся, например, по характеру взаимодействия физических полей с объектом исследования. Одним из наиболее перспективных считается метод определения характеристик объекта контроля по его графическому образу [1, 2]. Связано это, прежде всего, с высоким уровнем развития оптических устройств, их востребованностью в различных областях народно-хозяйственной деятельности, возможностью унификации получаемых с помощью них данных, высоким качеством получаемых изображений и развитием информационных технологий автоматизированной обработки и анализа изображений. Для получения образа объекта в оптическом диапазоне могут использоваться приборы теле-, фото- и видеонаблюдения, либо системы ночного видения и тепловизоры [3, 4].
Обычно размытие границ объекта на изображении считается шумовой составляющей [5], так как ограничивает возможность работы алгоритмов детектирования и распознавания [6]. На борьбу с помехами тратятся значительные вычислительные мощности как в программной, так и аппаратной части информационно-измерительных оптических систем.
Но вместе с тем толщина пограничного слоя может не только свидетельствовать о качестве изображения, но и быть полноценным информативным параметром при анализе графического образа объекта, определяющим его геометрические и кинематические характеристики, а также характеризовать всю систему мониторинга и контроля в целом, включая и окружающую среду [7, 8]. С помощью анализа размытия границ объекта можно определять его удаленность от камеры, расстояния между исследуемыми объектами, скорость их движения [9, 10].
Компоненты размытия образа
Двумерное изображение представляется как зависимость интенсивности от двух координат I(x, y). Для определения величины размытия границ исследуемого объекта предлагается, используя различные уровни разрешающей способности итерационной схемы [9], определить производные первого порядка по каждой из координат (проекции градиента на оси x и y), производные второго порядка, показывающие изменения проекции градиента на ось x и ось y, приравнять нулю для определения точек с наибольшими значениями скорости изменения интенсивности по координатам (центр размытия) x0 и y0, а далее определить точки перегиба функции по каждой из координат в окрестностях найденных x0 и y0 – координаты x1 и x2 и y1 и y2 соответственно. Таким образом, точки x1 и x2 будут определять границы размытия объекта по оси x: σx = x2 – x1, а y1 и y2 – границы размытия по оси y: σy = y2 – y1.
В общем случае на величину пограничного слоя образа объекта влияют следующие компоненты: среда между приемным устройством сигнала и исследуемым объектом (размытие из-за среды, σmat); возможное движение объекта и принимающего устройства системы контроля (размытие из-за движения объекта и системы наблюдения, σmov); внутренние характеристики камеры-детектора (размытие из-за детектора, σdet); состояние фона (размытие из-за фона, σbg); цветовая составляющая объекта – по сути, зависимость от длины волны, соответствующего диапазона видимого спектра λ (размытие из-за цвета, σcol); возможная предобработка образа объекта (размытие из-за предварительной обработки, σpp); состояние и поведение самого объекта контроля (размытие из-за состояния поверхности, σsc). Рассмотрим вариант без учета последних трех составляющих, считая, что они вносят несущественный вклад в итоговое размытие границ объекта, поскольку в работе рассматриваются объекты, которые не меняют свою форму и цвет при движении (возможные аварии и различные дорожно-транспортные происшествия не учитывались). Кроме того, для получения серий первичных изображений используется один и тот же фотодетектор (фотоаппарат Nikon D610 с сертификатом соответствия ТС № RU Д-JP.АЯ46.В.60315 ФГУ «РОСТЕСТ-МОСКВА»).
В качестве анализируемого объекта возьмем статическую фигуру транспортной инфраструктуры – дорожный знак, на рис. 1а он находится в фокусе фотодетектора, на рис. 1б границы объекта подвержены размытию при фокусном расстоянии камеры 50 мм и точки фокусировки камеры – 1,2 м. При этом на рис. 1б в качестве основных составляющих размытия необходимо принять во внимание компоненты σdet и σbg. Фоном, который занимает большую часть изображения, являются деревья с колышущейся листвой, также за дорожным знаком есть вторая проезжая часть автомобильной дороги с тремя полосами для движения автотранспортных средств, поэтому при съемке объектов фон может меняться из-за движения отдельных его элементов. Состояние фона, в данном случае, существенно влияет на исследуемые величины.
Определение составляющей размытия, характеризующейся настройками видео- и фотодетекторов (σdet) (рис. 1б), предлагается выполнять эмпирическим путем с учетом известных настроек камеры – фокусного расстояния, точки фокусировки, углов обзора, апертуры объектива – и на их основе получить экспериментальную зависимость [10].
При вычислении составляющей функции размытия, связанной с особенностями фона σbg, предполагается считать фоном все, что расположено за исследуемым объектом, без учета глубины позиционирования отдельных фоновых элементов [11–13].
Компонент функции размытия, учитывающий свойства среды [14, 15], можно представить с помощью следующего соотношения
, (1)
где Δλ – ширина спектрального диапазона цветовых компонент, имеющихся на изображении образа объекта, Ptr – функция прозрачности среды, являющаяся суммой функций преломления, освещенности, температурных фронтов и шумов; L – приведенное расстояние от фотодетектора до объекта; Н – характерный размер объекта; λ – длина волны оптического диапазона, соответствующая определенному цвету на изображении ; νf – приведенная скорость распространения световых волн в рассматриваемой среде.
Появление размытия из-за движения объекта справедливо, если за временной интервал формирования первичного изображения траектории перемещения исследуемого объекта и фотодетектора близки к прямой линии [16, 17].
В общем случае размытие за счет движения элементов информационно-измерительной системы будет включать составляющие, появившиеся как из-за движения искомого объекта, так и детектора (рис. 2), учитывая равновероятное влияние этих параметров, итоговое значение можно представить в следующем виде:
σmov = f(σob) + f(σsy), (2)
где функции размытия при движении объекта f(σob) и системы контроля f(σsy) определяются отдельно друг от друга для подвижных объектов, находящихся в фокусе, при неподвижной системе контроля с известными настройками камеры, и для подвижной системы контроля при статическом объекте. Причем оцененные размытия при движении камеры и объекта наблюдения необходимо рассматривать с учетом направления их действия, то есть в векторном виде. Их действия могут как усиливать, так и компенсировать друг друга при параллельном движении объекта и самой системы мониторинга [18].
Например, на рис. 3 представлены графики зависимости размытия образа объекта от его скорости как при движении перпендикулярно детектору системы контроля, так и под углом 45°, удаляясь от камеры при начальной точке фокусировки камеры на объекте наблюдения. Размытие (σ) равно ширине пограничного слоя между образом исследуемого объекта и фоном. Поскольку первоначальное изображение представляется в виде совокупности пикселей, то и функция размытия измеряется тоже в них.
Появление размытия фрагментов изображения также возможно из-за их удаленности от оси фотодетектора и связано с углом между осью фотодетектора и линией, связывающей детектор (как точку) и крайнюю точку исследуемого объекта. Если размытие на оси фотодетектора принять за условный минимум, то можно предположить следующее соотношение, справедливое при линейном изменении параметров среды на всей ширине объекта [14, 19]:
σsz = σex – σax = , (3)
где σsz – размытие, связанное с размером образа объекта, f(σax, σex) – функция, связывающая размытие точек образа на оси фотодетектора (σax) и на наибольшем удалении от нее (σex), – функция прозрачности среды в уровне наиболее удаленной точки исследуемого объекта, θ1 – угол между осью фотодетектора и линией, связывающей детектор и наиболее удаленную точку исследуемого объекта. Компоненту σsz предполагается учитывать в σmov.
Поскольку видимый диапазон включает длины волн от 0,37 до 0,75 мкм, то при распространении не в абсолютно прозрачном пространстве распределение цветов по интенсивности будет меняться. Общее размытие можно представить в виде функции , связывающей все представленные выше типы размытия, из выражений (1), (2), (3):
σΣ = σmat + σmov + σcol + σbg + σdet + σpp + σsc.
Представленная математическая модель размытия элементов образа объекта на изображении учитывает множество различных параметров, это приводит к сложностям при определении влияния каждого фактора. Для удобства проведения сравнительного анализа для некоторых классов прикладных задач предлагается использовать функцию размытия, приведенную к единице расстояния и единице цветового диапазона.
Заключение
Предложенная модель представления функции размытия образов объектов на изображении позволяет утверждать, что пограничный размытый слой характеризует не только шумовые составляющие изображения, но и несет важную информацию о состоянии и поведении самого объекта. Эта характеристика может выступать в качестве значимого критерия, регламентирующего эксплуатацию автоматизированной системы мониторинга и контроля в различных условиях, с учетом градиентов отдельных цветов; движения объекта исследования и аппаратной части системы мониторинга; первичной обработки образа при обнаружении, распознавании и детектировании искомого объекта.
Список литературы
Wiedemann M., Sauer M., Driewer F., Schilling K. Analysis and characterization of the PMD camera for application in mobile robotics // Proceedings of the 17th World Congress the International Federation of Automatic Control Seoul, Korea, July 6–11 2008. P. 46–51.
Lindner M., Kolb A. Calibration of the intensity-related distance error of the PMD ToF camera // In Proceedings of Spie, Intelligent Robots and Computer Vision, Boston, MA, USA. 2007. V. 6764. P. 56–64.
Sun Z., Bebis G., Miller R. On-road vehicle detection using optical sensors: A review // Proceeding of the IEEE International Conference on Intelligent Transportation Systems. 2004. V.6. P. 125–137.
Усанов Д. А., Скрипаль А. В., Авдеев К. С. Определение расстояния до объекта с помощью частотно-модулированного полупроводникового лазерного автодина // Письма в ЖТФ. 2007. Т. 33. Вып. 21. С. 72–77.
Кольцов П. П. Оценка размытия изображения // Компьютерная оптика. 2011. Т. 35. № 1. С. 95–102.
Фаворская М. Н., Шилов А. С. Алгоритмы реализации оценки движения в системах видеонаблюдения // Системы управления и информационные технологии / ИПУ РАН, ВГТУ, № 3.3(33), М. –Воронеж, 2008. С. 408–412.
Tan X., Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions // IEEE Transactions on image processing. 2010. V. 19. № 6. P. 1635–1650.
Robertson G., Mackinlay J., Card S. Information visualization using 3D interactive animation // Communications of the ACM. 1993. V. 36. No. 4. P. 57–71.
Локтев Д. А., Быков Ю. А., Коваленко Н. И. Использование метода анализа размытия изображения для определения внешних дефектов железнодорожного пути // Наука и техника транспорта. 2016. № 1. С. 69–75.
Локтев А. А., Локтев Д. А. Оценка измерений расстояния до объекта при исследовании его графического образа // Вестник МГСУ. 2015. № 10. С. 54–65.
Lelegard L., Vallet B., Bredif M. Multiscale Haar transform for blur estimation from a set of images // International Archives of Photogrammetry, Remote Sensing and Spatial Information Science, Munich, Germany, October 5–7, 2011. P. 65–70.
Григорьев А. В., Трусов В. А., Баннов В. Я., Андреев П. Г., Таньков Г. В. Моделирование следа размытия изображения круглой метки при ее компланарном и ортогональном виброперемещениях // Труды международного симпозиума «Надежность и качество». 2015. Т. 1. С. 107–109.
Сычёв В. П., Локтев А. А., Локтев Д. А., Виноградов В. В. Повышение информативности оценки содержания железнодорожного пути // Мир транспорта. 2017. Т. 15. № 2 (69). С. 20–31.
Скляров О. К. Волоконно-оптические сети и системы связи. – М.: СОЛОН-Пресс, 2004. 272 с.
Trifonov A. P., Pribytkov Y. N., Chernoyarov O. V., Mikhailov B. B., Estimating the image area with unknown parameters of the image and background // Journal of Communications Technology and Electronics. V. 60. 2015. No. 8. P. 852–859.
Локтев А. А., Локтев Д. А. Составление расчетной модели реконструируемых транспортных объектов историко-архитектурного наследия // Наука и техника транспорта. 2017. № 4. С. 71–77.
Вытовтов А. В., Шумилин В. В., Калач А. В. Распознавание области горения на черно-белом статическом изображении, полученном с борта беспилотного воздушного судна // Техносферная безопасность. 2018. № 2 (19). С. 12–24.
Локтев А. А., Локтев Д. А. Выявление и детектирование внешних дефектов верхнего строения пути агрегированным методом на основе стереозрения и анализа размытия образа // Внедрение современных конструкций и передовых технологий в путевое хозяйство. 2017. Т. 11 № 11. С. 96–100.
Chernoyarov O. V., Terekhov A. V., Litvinov S. V. The optimal estimates of the shift parameter of images in orthogonal function bases // Proceeding of the 2016 International Conference on Materials, Manufacturing and Mechanical Engineering (MMME2016). China, Beijing, 2016. P. 273–281.
References
Wiedemann M., Sauer M., Driewer F., Schilling K. Analysis and characterization of the PMD camera for application in mobile robotics // Proceedings of the 17th World Congress The International Federation of Automatic Control Seoul, Korea, July 6–11, 2008. P. 46–51.
Lindner M., Kolb A. Calibration of the intensity-related distance error of the PMD ToF camera // In Proceedings of Spie, Intelligent Robots and Computer Vision, Boston, MA, USA, 2007; Vol. 6764. P. 56–64.
Sun Z., Bebis G., Miller R. On-road vehicle detection using optical sensors: A review // Proceeding of the IEEE International Conference on Intelligent Transportation Systems. 2004. V. 6. P. 125–137.
Usanov D.A., Skripal A. V., Avdeev K. S. Opredeleniye rasstoyaniya do ob’yekta s pomoshch’yu chastotno-modulirovannogo poluprovodnikovogo lazernogo avtodina [Determination of the distance to the object using a frequency-modulated semiconductor laser autodyne] // Technical Physics Letters. 2007. V. 33. Issue 21. P. 72–77.
Koltsov P.P. Otsenka razmytiya izobrazheniya [Image blur evaluation] // Computer optics. 2011. V. 35. No. 1. P. 95–102.
Favorskaya M.N., Shilov A.S. Algoritmi realizatsii otsenki dvizheniya v sistemah videonablyudeniya [Algorithms for implementing traffic assessment in video surveillance systems] // Control Systems and Information Technologies / IPU RAS, VSTU, no. 3.3(33), Moscow-Voronezh, 2008. P. 408–412.
Tan X., Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions // IEEE Transactions on image processing. 2010. V. 19. No. 6. P. 1635–1650.
Robertson G., Mackinlay J., Card S. Information visualization using 3D interactive animation // Communications of the ACM. 1993. V. 36. No. 4. P. 57–71.
Loktev D. A., Bykov Yu. A., Kovalenko N. I. Ispol’zovanie metoda analiza razmitiya izobrazheniya dlya opredeleniya vneshnih defektov zheleznodorozhnogo puti [Use of the image blur analysis method for determining external defects of the railway track] // Science and Technology of Transport. 2016. No. 1. P. 69–75.
Loktev A. A., Loktev D. A. Otsenka izmerenii rasstoyaniya do ob’ekta pri issledovanii ego graficheskogo obraza [Estimation of distance measurements to an object in the study of its graphic image] // Vestnik MGSU. 2015. No. 10. P. 54–65.
Lelegard L., Vallet B., Bredif M. Multiscale Haar transform for blur estimation from a set of images // International Archives of Photogrammetry, Remote Sensing and Spatial Information Science, Munich, Germany, October 5–7, 2011. P. 65–70.
Grigoriev A. V., Trusov V. A., Bannov V. Ya., Andreev P. G., Tankov G. V. Modelirovanie sleda razmitiya izobrazheniya krugloi metki pri ee komplanarnom i ortogonal’nom vibroperemescheniyah [Modeling of the trace of blurring of the image of a circular mark in its complanar and orthogonal vibration displacements] // Proceedings of the International Symposium Reliability and Quality. 2015. V. 1. P. 107–109.
Sychev V. P., Loktev A. A., Loktev D. A., Vinogradov V. V. Povysheniye informativnosti otsenki soderzhaniya zheleznodorozhnogo puti [Increasing the information content of assessing the maintenance of the railway track] // World of transport. 2017. V. 15. No. 2 (69). P. 20–31.
Sklyarov O. K. Volokonno-opticheskiye seti i sistemy svyazi [Fiber-optic networks and communication systems]. – Мoscow, SOLON-Press. 2004. 272 p.
Trifonov A. P., Pribytkov Y. N., Chernoyarov O. V., Mikhailov B. B. Estimating the image area with unknown parameters of the image and background // Journal of Communications Technology and Electronics. V. 60. 2015. No. 8. P. 852–859.
Loktev A. A., Loktev D. A. Sostavlenie raschetnoi modeli rekonstroiruemih transportnih ob’ektov istoriko-kul’turnogo naslediya [Compilation of the calculation model of reconstructed transport objects of historical and architectural heritage] // Science and Technology of Transport. 2017. No. 4. P. 71–77.
Vytovtov A. V., Shumilin V. V., Kalach A. V. Raspoznavanie oblasti goreniya na cherno-belom staticheskom izobrazhenii, poluchennom s borta bespilotnogo vozdushnogo sudna [Burning region recognition on a black-and-white static image obtained from an unmanned aircraft] // Technosphere Safety. 2018. No. 2 (19). P. 12–24.
Loktev A. A., Loktev D. A. Viyavlenie i detektirovanie vneshnih defektov verhnego stroeniya puti agregirovannim metodom na osnove stereozreniya i analiza razmitiya obraza [Identification and detection of external defects of the upper structure of the track by an aggregated method based on stereovision and image blurring analysis] // Introduction of Modern Structures and Advanced Technologies in the Track Economy. 2017. V. 11. No. 11 (11). P. 96–100.
Chernoyarov O. V., Terekhov A. V., Litvinov S. V. The optimal estimates of the shift parameter of images in orthogonal function bases // Proceeding of the 2016 International Conference on Materials, Manufacturing and Mechanical Engineering (MMME2016). China, Beijing, 2016. P. 273–281.
его характеристик
Д. А. Локтев, к. т. н.1
Статья получена 27.07.2020
Принята к публикации 22.09.2020
Введение
Для неразрушающего контроля анализируемого объекта используются различные методы, классифицирующиеся, например, по характеру взаимодействия физических полей с объектом исследования. Одним из наиболее перспективных считается метод определения характеристик объекта контроля по его графическому образу [1, 2]. Связано это, прежде всего, с высоким уровнем развития оптических устройств, их востребованностью в различных областях народно-хозяйственной деятельности, возможностью унификации получаемых с помощью них данных, высоким качеством получаемых изображений и развитием информационных технологий автоматизированной обработки и анализа изображений. Для получения образа объекта в оптическом диапазоне могут использоваться приборы теле-, фото- и видеонаблюдения, либо системы ночного видения и тепловизоры [3, 4].
Обычно размытие границ объекта на изображении считается шумовой составляющей [5], так как ограничивает возможность работы алгоритмов детектирования и распознавания [6]. На борьбу с помехами тратятся значительные вычислительные мощности как в программной, так и аппаратной части информационно-измерительных оптических систем.
Но вместе с тем толщина пограничного слоя может не только свидетельствовать о качестве изображения, но и быть полноценным информативным параметром при анализе графического образа объекта, определяющим его геометрические и кинематические характеристики, а также характеризовать всю систему мониторинга и контроля в целом, включая и окружающую среду [7, 8]. С помощью анализа размытия границ объекта можно определять его удаленность от камеры, расстояния между исследуемыми объектами, скорость их движения [9, 10].
Компоненты размытия образа
Двумерное изображение представляется как зависимость интенсивности от двух координат I(x, y). Для определения величины размытия границ исследуемого объекта предлагается, используя различные уровни разрешающей способности итерационной схемы [9], определить производные первого порядка по каждой из координат (проекции градиента на оси x и y), производные второго порядка, показывающие изменения проекции градиента на ось x и ось y, приравнять нулю для определения точек с наибольшими значениями скорости изменения интенсивности по координатам (центр размытия) x0 и y0, а далее определить точки перегиба функции по каждой из координат в окрестностях найденных x0 и y0 – координаты x1 и x2 и y1 и y2 соответственно. Таким образом, точки x1 и x2 будут определять границы размытия объекта по оси x: σx = x2 – x1, а y1 и y2 – границы размытия по оси y: σy = y2 – y1.
В общем случае на величину пограничного слоя образа объекта влияют следующие компоненты: среда между приемным устройством сигнала и исследуемым объектом (размытие из-за среды, σmat); возможное движение объекта и принимающего устройства системы контроля (размытие из-за движения объекта и системы наблюдения, σmov); внутренние характеристики камеры-детектора (размытие из-за детектора, σdet); состояние фона (размытие из-за фона, σbg); цветовая составляющая объекта – по сути, зависимость от длины волны, соответствующего диапазона видимого спектра λ (размытие из-за цвета, σcol); возможная предобработка образа объекта (размытие из-за предварительной обработки, σpp); состояние и поведение самого объекта контроля (размытие из-за состояния поверхности, σsc). Рассмотрим вариант без учета последних трех составляющих, считая, что они вносят несущественный вклад в итоговое размытие границ объекта, поскольку в работе рассматриваются объекты, которые не меняют свою форму и цвет при движении (возможные аварии и различные дорожно-транспортные происшествия не учитывались). Кроме того, для получения серий первичных изображений используется один и тот же фотодетектор (фотоаппарат Nikon D610 с сертификатом соответствия ТС № RU Д-JP.АЯ46.В.60315 ФГУ «РОСТЕСТ-МОСКВА»).
В качестве анализируемого объекта возьмем статическую фигуру транспортной инфраструктуры – дорожный знак, на рис. 1а он находится в фокусе фотодетектора, на рис. 1б границы объекта подвержены размытию при фокусном расстоянии камеры 50 мм и точки фокусировки камеры – 1,2 м. При этом на рис. 1б в качестве основных составляющих размытия необходимо принять во внимание компоненты σdet и σbg. Фоном, который занимает большую часть изображения, являются деревья с колышущейся листвой, также за дорожным знаком есть вторая проезжая часть автомобильной дороги с тремя полосами для движения автотранспортных средств, поэтому при съемке объектов фон может меняться из-за движения отдельных его элементов. Состояние фона, в данном случае, существенно влияет на исследуемые величины.
Определение составляющей размытия, характеризующейся настройками видео- и фотодетекторов (σdet) (рис. 1б), предлагается выполнять эмпирическим путем с учетом известных настроек камеры – фокусного расстояния, точки фокусировки, углов обзора, апертуры объектива – и на их основе получить экспериментальную зависимость [10].
При вычислении составляющей функции размытия, связанной с особенностями фона σbg, предполагается считать фоном все, что расположено за исследуемым объектом, без учета глубины позиционирования отдельных фоновых элементов [11–13].
Компонент функции размытия, учитывающий свойства среды [14, 15], можно представить с помощью следующего соотношения
, (1)
где Δλ – ширина спектрального диапазона цветовых компонент, имеющихся на изображении образа объекта, Ptr – функция прозрачности среды, являющаяся суммой функций преломления, освещенности, температурных фронтов и шумов; L – приведенное расстояние от фотодетектора до объекта; Н – характерный размер объекта; λ – длина волны оптического диапазона, соответствующая определенному цвету на изображении ; νf – приведенная скорость распространения световых волн в рассматриваемой среде.
Появление размытия из-за движения объекта справедливо, если за временной интервал формирования первичного изображения траектории перемещения исследуемого объекта и фотодетектора близки к прямой линии [16, 17].
В общем случае размытие за счет движения элементов информационно-измерительной системы будет включать составляющие, появившиеся как из-за движения искомого объекта, так и детектора (рис. 2), учитывая равновероятное влияние этих параметров, итоговое значение можно представить в следующем виде:
σmov = f(σob) + f(σsy), (2)
где функции размытия при движении объекта f(σob) и системы контроля f(σsy) определяются отдельно друг от друга для подвижных объектов, находящихся в фокусе, при неподвижной системе контроля с известными настройками камеры, и для подвижной системы контроля при статическом объекте. Причем оцененные размытия при движении камеры и объекта наблюдения необходимо рассматривать с учетом направления их действия, то есть в векторном виде. Их действия могут как усиливать, так и компенсировать друг друга при параллельном движении объекта и самой системы мониторинга [18].
Например, на рис. 3 представлены графики зависимости размытия образа объекта от его скорости как при движении перпендикулярно детектору системы контроля, так и под углом 45°, удаляясь от камеры при начальной точке фокусировки камеры на объекте наблюдения. Размытие (σ) равно ширине пограничного слоя между образом исследуемого объекта и фоном. Поскольку первоначальное изображение представляется в виде совокупности пикселей, то и функция размытия измеряется тоже в них.
Появление размытия фрагментов изображения также возможно из-за их удаленности от оси фотодетектора и связано с углом между осью фотодетектора и линией, связывающей детектор (как точку) и крайнюю точку исследуемого объекта. Если размытие на оси фотодетектора принять за условный минимум, то можно предположить следующее соотношение, справедливое при линейном изменении параметров среды на всей ширине объекта [14, 19]:
σsz = σex – σax = , (3)
где σsz – размытие, связанное с размером образа объекта, f(σax, σex) – функция, связывающая размытие точек образа на оси фотодетектора (σax) и на наибольшем удалении от нее (σex), – функция прозрачности среды в уровне наиболее удаленной точки исследуемого объекта, θ1 – угол между осью фотодетектора и линией, связывающей детектор и наиболее удаленную точку исследуемого объекта. Компоненту σsz предполагается учитывать в σmov.
Поскольку видимый диапазон включает длины волн от 0,37 до 0,75 мкм, то при распространении не в абсолютно прозрачном пространстве распределение цветов по интенсивности будет меняться. Общее размытие можно представить в виде функции , связывающей все представленные выше типы размытия, из выражений (1), (2), (3):
σΣ = σmat + σmov + σcol + σbg + σdet + σpp + σsc.
Представленная математическая модель размытия элементов образа объекта на изображении учитывает множество различных параметров, это приводит к сложностям при определении влияния каждого фактора. Для удобства проведения сравнительного анализа для некоторых классов прикладных задач предлагается использовать функцию размытия, приведенную к единице расстояния и единице цветового диапазона.
Заключение
Предложенная модель представления функции размытия образов объектов на изображении позволяет утверждать, что пограничный размытый слой характеризует не только шумовые составляющие изображения, но и несет важную информацию о состоянии и поведении самого объекта. Эта характеристика может выступать в качестве значимого критерия, регламентирующего эксплуатацию автоматизированной системы мониторинга и контроля в различных условиях, с учетом градиентов отдельных цветов; движения объекта исследования и аппаратной части системы мониторинга; первичной обработки образа при обнаружении, распознавании и детектировании искомого объекта.
Список литературы
Wiedemann M., Sauer M., Driewer F., Schilling K. Analysis and characterization of the PMD camera for application in mobile robotics // Proceedings of the 17th World Congress the International Federation of Automatic Control Seoul, Korea, July 6–11 2008. P. 46–51.
Lindner M., Kolb A. Calibration of the intensity-related distance error of the PMD ToF camera // In Proceedings of Spie, Intelligent Robots and Computer Vision, Boston, MA, USA. 2007. V. 6764. P. 56–64.
Sun Z., Bebis G., Miller R. On-road vehicle detection using optical sensors: A review // Proceeding of the IEEE International Conference on Intelligent Transportation Systems. 2004. V.6. P. 125–137.
Усанов Д. А., Скрипаль А. В., Авдеев К. С. Определение расстояния до объекта с помощью частотно-модулированного полупроводникового лазерного автодина // Письма в ЖТФ. 2007. Т. 33. Вып. 21. С. 72–77.
Кольцов П. П. Оценка размытия изображения // Компьютерная оптика. 2011. Т. 35. № 1. С. 95–102.
Фаворская М. Н., Шилов А. С. Алгоритмы реализации оценки движения в системах видеонаблюдения // Системы управления и информационные технологии / ИПУ РАН, ВГТУ, № 3.3(33), М. –Воронеж, 2008. С. 408–412.
Tan X., Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions // IEEE Transactions on image processing. 2010. V. 19. № 6. P. 1635–1650.
Robertson G., Mackinlay J., Card S. Information visualization using 3D interactive animation // Communications of the ACM. 1993. V. 36. No. 4. P. 57–71.
Локтев Д. А., Быков Ю. А., Коваленко Н. И. Использование метода анализа размытия изображения для определения внешних дефектов железнодорожного пути // Наука и техника транспорта. 2016. № 1. С. 69–75.
Локтев А. А., Локтев Д. А. Оценка измерений расстояния до объекта при исследовании его графического образа // Вестник МГСУ. 2015. № 10. С. 54–65.
Lelegard L., Vallet B., Bredif M. Multiscale Haar transform for blur estimation from a set of images // International Archives of Photogrammetry, Remote Sensing and Spatial Information Science, Munich, Germany, October 5–7, 2011. P. 65–70.
Григорьев А. В., Трусов В. А., Баннов В. Я., Андреев П. Г., Таньков Г. В. Моделирование следа размытия изображения круглой метки при ее компланарном и ортогональном виброперемещениях // Труды международного симпозиума «Надежность и качество». 2015. Т. 1. С. 107–109.
Сычёв В. П., Локтев А. А., Локтев Д. А., Виноградов В. В. Повышение информативности оценки содержания железнодорожного пути // Мир транспорта. 2017. Т. 15. № 2 (69). С. 20–31.
Скляров О. К. Волоконно-оптические сети и системы связи. – М.: СОЛОН-Пресс, 2004. 272 с.
Trifonov A. P., Pribytkov Y. N., Chernoyarov O. V., Mikhailov B. B., Estimating the image area with unknown parameters of the image and background // Journal of Communications Technology and Electronics. V. 60. 2015. No. 8. P. 852–859.
Локтев А. А., Локтев Д. А. Составление расчетной модели реконструируемых транспортных объектов историко-архитектурного наследия // Наука и техника транспорта. 2017. № 4. С. 71–77.
Вытовтов А. В., Шумилин В. В., Калач А. В. Распознавание области горения на черно-белом статическом изображении, полученном с борта беспилотного воздушного судна // Техносферная безопасность. 2018. № 2 (19). С. 12–24.
Локтев А. А., Локтев Д. А. Выявление и детектирование внешних дефектов верхнего строения пути агрегированным методом на основе стереозрения и анализа размытия образа // Внедрение современных конструкций и передовых технологий в путевое хозяйство. 2017. Т. 11 № 11. С. 96–100.
Chernoyarov O. V., Terekhov A. V., Litvinov S. V. The optimal estimates of the shift parameter of images in orthogonal function bases // Proceeding of the 2016 International Conference on Materials, Manufacturing and Mechanical Engineering (MMME2016). China, Beijing, 2016. P. 273–281.
References
Wiedemann M., Sauer M., Driewer F., Schilling K. Analysis and characterization of the PMD camera for application in mobile robotics // Proceedings of the 17th World Congress The International Federation of Automatic Control Seoul, Korea, July 6–11, 2008. P. 46–51.
Lindner M., Kolb A. Calibration of the intensity-related distance error of the PMD ToF camera // In Proceedings of Spie, Intelligent Robots and Computer Vision, Boston, MA, USA, 2007; Vol. 6764. P. 56–64.
Sun Z., Bebis G., Miller R. On-road vehicle detection using optical sensors: A review // Proceeding of the IEEE International Conference on Intelligent Transportation Systems. 2004. V. 6. P. 125–137.
Usanov D.A., Skripal A. V., Avdeev K. S. Opredeleniye rasstoyaniya do ob’yekta s pomoshch’yu chastotno-modulirovannogo poluprovodnikovogo lazernogo avtodina [Determination of the distance to the object using a frequency-modulated semiconductor laser autodyne] // Technical Physics Letters. 2007. V. 33. Issue 21. P. 72–77.
Koltsov P.P. Otsenka razmytiya izobrazheniya [Image blur evaluation] // Computer optics. 2011. V. 35. No. 1. P. 95–102.
Favorskaya M.N., Shilov A.S. Algoritmi realizatsii otsenki dvizheniya v sistemah videonablyudeniya [Algorithms for implementing traffic assessment in video surveillance systems] // Control Systems and Information Technologies / IPU RAS, VSTU, no. 3.3(33), Moscow-Voronezh, 2008. P. 408–412.
Tan X., Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions // IEEE Transactions on image processing. 2010. V. 19. No. 6. P. 1635–1650.
Robertson G., Mackinlay J., Card S. Information visualization using 3D interactive animation // Communications of the ACM. 1993. V. 36. No. 4. P. 57–71.
Loktev D. A., Bykov Yu. A., Kovalenko N. I. Ispol’zovanie metoda analiza razmitiya izobrazheniya dlya opredeleniya vneshnih defektov zheleznodorozhnogo puti [Use of the image blur analysis method for determining external defects of the railway track] // Science and Technology of Transport. 2016. No. 1. P. 69–75.
Loktev A. A., Loktev D. A. Otsenka izmerenii rasstoyaniya do ob’ekta pri issledovanii ego graficheskogo obraza [Estimation of distance measurements to an object in the study of its graphic image] // Vestnik MGSU. 2015. No. 10. P. 54–65.
Lelegard L., Vallet B., Bredif M. Multiscale Haar transform for blur estimation from a set of images // International Archives of Photogrammetry, Remote Sensing and Spatial Information Science, Munich, Germany, October 5–7, 2011. P. 65–70.
Grigoriev A. V., Trusov V. A., Bannov V. Ya., Andreev P. G., Tankov G. V. Modelirovanie sleda razmitiya izobrazheniya krugloi metki pri ee komplanarnom i ortogonal’nom vibroperemescheniyah [Modeling of the trace of blurring of the image of a circular mark in its complanar and orthogonal vibration displacements] // Proceedings of the International Symposium Reliability and Quality. 2015. V. 1. P. 107–109.
Sychev V. P., Loktev A. A., Loktev D. A., Vinogradov V. V. Povysheniye informativnosti otsenki soderzhaniya zheleznodorozhnogo puti [Increasing the information content of assessing the maintenance of the railway track] // World of transport. 2017. V. 15. No. 2 (69). P. 20–31.
Sklyarov O. K. Volokonno-opticheskiye seti i sistemy svyazi [Fiber-optic networks and communication systems]. – Мoscow, SOLON-Press. 2004. 272 p.
Trifonov A. P., Pribytkov Y. N., Chernoyarov O. V., Mikhailov B. B. Estimating the image area with unknown parameters of the image and background // Journal of Communications Technology and Electronics. V. 60. 2015. No. 8. P. 852–859.
Loktev A. A., Loktev D. A. Sostavlenie raschetnoi modeli rekonstroiruemih transportnih ob’ektov istoriko-kul’turnogo naslediya [Compilation of the calculation model of reconstructed transport objects of historical and architectural heritage] // Science and Technology of Transport. 2017. No. 4. P. 71–77.
Vytovtov A. V., Shumilin V. V., Kalach A. V. Raspoznavanie oblasti goreniya na cherno-belom staticheskom izobrazhenii, poluchennom s borta bespilotnogo vozdushnogo sudna [Burning region recognition on a black-and-white static image obtained from an unmanned aircraft] // Technosphere Safety. 2018. No. 2 (19). P. 12–24.
Loktev A. A., Loktev D. A. Viyavlenie i detektirovanie vneshnih defektov verhnego stroeniya puti agregirovannim metodom na osnove stereozreniya i analiza razmitiya obraza [Identification and detection of external defects of the upper structure of the track by an aggregated method based on stereovision and image blurring analysis] // Introduction of Modern Structures and Advanced Technologies in the Track Economy. 2017. V. 11. No. 11 (11). P. 96–100.
Chernoyarov O. V., Terekhov A. V., Litvinov S. V. The optimal estimates of the shift parameter of images in orthogonal function bases // Proceeding of the 2016 International Conference on Materials, Manufacturing and Mechanical Engineering (MMME2016). China, Beijing, 2016. P. 273–281.
Отзывы читателей
