Руководство по интеграции тепловизионных датчиков: OEM-ядра и периферийное ИИ-зрение

Современным автономным платформам, тактическому оборонному снаряжению и защищённым заводским системам нужны глаза, которые видят далеко за пределами видимого спектра. Установка длинноволнового инфракрасного (LWIR) датчика во встраиваемую периферийную систему — это совершенно другая игра по сравнению со стандартной видимой съёмкой. Стандартные RGB-датчики считают фотоны, отражённые от поверхности. Неохлаждаемые LWIR-микроболометры делают нечто совершенно иное: они улавливают чистое тепловое излучение, выходящее в атмосферном окне от 8 до 14 мкм. Но втискивание OEM-тепловизионного ядра в жёсткий бюджет SWaP (размер, вес, мощность и стоимость) — подумайте о поисковых дронах, складских AGV и полевых IoT-мониторах — создаёт серьёзные электрооптические, тепловые и алгоритмические проблемы. Нельзя просто подключить тепловизионное ядро к USB-порту и делать вид, что это обычная веб-камера. Это прецизионный аналого-цифровой радиометр, который сходит с ума при изменении температуры окружающей среды, дрейфует со временем и постоянно борется с оптическим виньетированием.

Суть вот в чём: чтобы получить низкую задержку и стабильный выходной сигнал, нужно строить сквозной план, охватывающий физическую разводку печатной платы, выбор правильной шины (MIPI CSI-2 против USB 3.0), обработку коррекции неоднородности (NUC) и получение чистых радиометрических данных прямо на периферии. Сочетая микропиксельные матрицы фокальной плоскости на основе оксида ванадия (VOx) с современными встраиваемыми системами на кристалле (SoC) — такими как NVIDIA Jetson Orin, NXP i.MX8 или специализированными периферийными NPU — можно добиться мультиспектрального слияния в реальном времени, автоматического обнаружения дефектов и дальней классификации людей или транспортных средств в полной темноте, густой пыли или проливном дожде. Этот план описывает всю инженерную дорожную карту — от черновой компоновки платы до периферийного ИИ-вывода.

Физика OEM LWIR-датчиков и критерии выбора датчиков

Чтобы тепловизионное ядро заработало, нужно понимать физику, происходящую внутри неохлаждаемой матрицы фокальной плоскости (FPA). Видимые CMOS-датчики используют фотоэлектрический эффект, чтобы перебросить валентные электроны через кремниевую запрещённую зону в зону проводимости. Тепловые датчики работают совсем не так. В диапазоне от 8 до 14 мкм эти детекторы действуют как микроскопические тепловые губки. Микроболометр по сути представляет собой изолированную резистивную мембрану, подвешенную над отражающим кремниевым основанием на крошечных микромеханических ножках. Входящее длинноволновое излучение нагревает эту подвешенную мембрану, изменяя её электрическое сопротивление в прямой зависимости от температуры цели. Схема считывания (ROIC) подаёт импульсное напряжение смещения или ток через структуру, измеряет крошечное изменение сопротивления и преобразует эти изменения в микрокельвинах в цифровые числа (DN) с помощью быстрых встроенных АЦП.

1 Микроболометры VOx против a-Si: тепловая чувствительность и дрейф

На практике ваш первый настоящий перекрёсток — выбор активной термисторной химии: оксид ванадия (VOx) против аморфного кремния (a-Si). Этот выбор определяет вашу исходную чувствительность, уровень шума 1/f, выход годных при производстве и то, насколько сильно вам придётся бороться с тепловым дрейфом в полевых условиях.

Оксид ванадия (VOx): Смотрите, тонкие плёнки VOx — это безусловный стандарт для тактической обороны, аэрокосмической отрасли и высоконадёжных промышленных модулей. VOx обладает высоким температурным коэффициентом сопротивления (ТКС), находящимся в районе от −2%/K до −3%/K при комнатной температуре (300 K). Такая чувствительность позволяет матрицам в фокальной плоскости на основе VOx достигать превосходных значений эквивалентной шуму разности температур (NETD), часто опускающихся ниже 30–40 мК с объективом f/1.0. Более низкий NETD означает, что вы различаете мельчайшие градации температуры, что напрямую выражается в чётких контурах объектов и высоком отношении сигнал/шум (SNR) в условиях низкого контраста — например, душными летними ночами, при работе в открытом море или над равнинными полями при сплошной облачности. Вдобавок VOx имеет значительно меньший фликкер-шум 1/f, чем аморфный кремний, что позволяет держать дрейф базовой линии под контролем в течение длительных смен.

Аморфный кремний (a-Si): Главное преимущество аморфного кремния — совместимость с полупроводниковым производством. Поскольку a-Si можно наносить на стандартных высокопроизводительных кремниевых КМОП-линиях, это традиционно экономит средства на обработке пластин. Но вы получаете и минусы: a-Si даёт более слабый ТКС (примерно от −1,5%/K до −2,2%/K) и более высокий собственный шум 1/f из-за неупорядоченной атомной структуры. Из-за этого ядра на a-Si обычно показывают более высокие значения NETD (≥ 50 мК при f/1.0). Если в сцене почти нет тепловых перепадов, выходной сигнал превращается в снежную бурю, если только не применять жёсткую временную фильтрацию, которая разрушает межкадровую чёткость при сопровождении быстрых целей.

2 Масштабирование разрешения: от матричных датчиков 32×24 до FPA 640×512 и 1280×1024

Недорогие термопарные матрицы (32×24 или 80×60) и бюджетные микроболометры (160×120) вполне подходят для базового обнаружения присутствия или выявления перегретого подшипника двигателя. Но для выделения целей с помощью периферийного ИИ, дальнего воздушного сопровождения или высокоточной метрологии нужна реальная плотность пикселей: матрицы 640×512 (класс VGA) или 1280×1024 (класс HD).

Разрешение определяет пространственную частоту в фокальной плоскости и подчиняется критериям Джонсона для обнаружения, распознавания и идентификации (DRI). Чтобы зафиксировать отметку на экране, оптика должна проецировать не менее 1,5 пар линий на критический профиль цели. Определение типа объекта (распознавание) требует 6 пар линий; точное установление, что именно это за объект (идентификация), — 12 пар линий. Математика, определяющая, сколько исходных пикселей приходится на цель, проста:

Пикселей на цель = (Размер цели [м] × Фокусное расстояние [мм]) / (Расстояние до цели [м] × Шаг пикселя [мкм])

Допустим, вы используете периметровый дрон для поиска человека-нарушителя (критическая ширина: 0,75 м), стоящего на расстоянии 800 метров и наблюдаемого через объектив 25 мм:

• ⚙️ Устаревшая FPA 17 мкм 320×256: Человек отображается примерно на 1,37 пикселя. Здесь нельзя гарантировать даже обнаружение; у периферийной ИИ-сети нет ни единого шанса классифицировать это крошечное пятно.
• ⚙️ Современная FPA 12 мкм 640×512: Человек занимает примерно 3,90 пикселя. Вы уверенно достигаете обнаружения и входите в диапазон базового присвоения класса.
• ⚙️ FPA высокой плотности 12 мкм 1280×1024: Цель покрывает 7,81 пикселя. Теперь ваш конвейер технического зрения имеет локальную плотность градиентов, необходимую архитектурам вроде YOLOv8 или RT-DETR для уверенных оценок достоверности.

Когда шаг пикселя сжимается с 17 мкм до 12 мкм или 8 мкм, площадь каждой крошечной пластины микроболометра резко падает. Пиксель 12 мкм собирает едва ли половину лучистой энергии пикселя 17 мкм. Чтобы не допустить взрывного роста NETD, разработчики датчиков увеличивают коэффициент заполнения выше 85%, тонко настраивают оптические резонансные полости и встраивают сверхмалошумящие интеграторные каскады непосредственно в считывающий кремний.

Инженеры, подбирающие готовые к производству варианты, могут оценить несколько конфигураций в каталоге продукции Purpleriver, где указаны форм-факторы, шаг пикселя и базовые разрешения.

3 Проектирование оптического тракта: германий, халькогениды и влияние f-числа

Оптика LWIR не имеет ничего общего с видимым стеклом. Стандартные оптические кроны или флинты, такие как BK7 или плавленый кварц, для излучения 8–14 мкм работают как сплошная кирпичная стена, поглощая тепловые фотоны уже в первых микронах материала. Поэтому тепловые системы опираются на экзотические инфракрасные элементы:

Монокристаллический германий (Ge): Германий — тяжёлая артиллерия тактической LWIR-оптики. Он обладает огромным показателем преломления (n ≈ 4,003 на 10,6 мкм), что позволяет конструкторам линз делать элементы тонкими, сдерживать сферические искажения и использовать более плоские кривые. В чём подвох? У него жёсткий тепловой сдвиг показателя преломления (dn/dT ≈ 3,96 × 10⁻⁴ / °C), поэтому фокус быстро уходит при изменении температуры окружающей среды. При нагреве выше 100 °C включается поглощение на свободных носителях, вызывая тепловой разгон, который полностью затемняет оптику.

Халькогенидные стёкла (например, GASIR, BD6): Халькогенидные материалы (соединения серы, селена, теллура и других элементов 16-й группы) решают несколько проблем германия. Преломление ниже (n ≈ 2,5–2,8), но тепловой дрейф показателя (dn/dT) значительно меньше. Это открывает путь к пассивной оптомеханической атермализации, удерживающей точный фокус в диапазоне от −40 °C до +85 °C без тяжёлых моторизованных механизмов. Более того, такие линзы можно прецизионно формовать, что резко снижает стоимость сборки полезной нагрузки дронов.

Реальность f-числа: Оптическая мощность, попадающая на неохлаждаемый микроболометр, убывает пропорционально квадрату f-числа объектива:

E_сенсор ∝ 1 / (4 × (f/#)²)

Замена объектива f/1.0 на оптику f/1.4 сокращает поток тепловых фотонов примерно вдвое — на 50%. На неохлаждаемом микроболометре это удваивает системный NETD. Ядро с паспортными 35 мК за стеклом f/1.0 работает ближе к 70 мК, когда вынуждено смотреть через апертуру f/1.4. Вашему ROIC приходится поднимать аналоговое усиление для компенсации, что тянет вверх шумовой пол и убивает точность детектирования на последующих этапах.

Электромеханическая интеграция и оптимизация SWaP-C

Неохлаждаемые микроболометрические ядра — чувствительные тепловые приборы. Без криогенных охладителей их матрицы в фокальной плоскости дрейфуют вместе с температурой корпуса камеры. Тепло, перетекающее от граничного процессора, драйвера двигателя или блока питания, создаёт неравномерные температурные градиенты по кристаллу микроболометра, разрушая радиометрическую калибровку и рисуя призрачные узоры по кадру.

1 Механический конверт и моделирование теплового радиатора

При установке OEM-ядра в тесные подвесы дронов или малые инспекционные головки строгая тепловая и механическая изоляция не подлежит обсуждению:

Тепловая изоляция от вычислительных модулей: Никогда не монтируйте неохлаждаемое ядро вплотную к плате с горячим ИИ-SoC (например, NVIDIA Jetson Orin NX или RK3588), который под серьёзной нагрузкой выделяет от 10 до 25 Вт. Это переменное вычислительное тепло будет накатывать на корпус теплового ядра динамическими тепловыми волнами. Заводские алгоритмы неравномерной коррекции (NUC) не успевают за направленными тепловыми градиентами, что приводит к виньетированию, круговому дрейфу и потере радиометрической калибровки.

Структурный теплоотвод: Закрепите ядро на жёсткой, выделенной несущей конструкции. Отводите тепло от корпуса ядра к основной раме с помощью высокотеплопроводных термопрокладок или гибких графитовых листов с теплопроводностью ≥ 5 Вт/(м·К). Ваша проектная цель: не допускать дрейфа внешней оболочки ядра быстрее чем на 0,5 °C в минуту. Медленные и плавные тепловые сдвиги позволяют бортовым термисторам выполнять полиномиальную коррекцию смещения без рывков изображения.

Механическая изоляция: Мембраны микроболометров и мостиковые опоры чувствительны к сильной вибрации. Гармоники высокооборотных двигателей или прямая вибрация редуктора (обычно от 50 Гц до 500 Гц) вызывают микрофонный звон в аналоговом тракте считывания. Устраните это, установив опору сердечника на силиконовые демпфирующие кольца или эластомерные изоляторы, специально настроенные на гашение базовых частот ваших двигателей.

2 Прецизионные межсоединения и высокоскоростная трассировка между платами

Современные миниатюрные сердечники используют высокоплотные мезонинные разъёмы для высокоскоростного цифрового видео, низкоскоростных шин управления и чистых линий постоянного тока. Выбор аппаратного обеспечения и аккуратная трассировка дорожек — это то, где проекты достигают успеха или застревают:

Мезонинные разъёмы: Дешёвые штыревые разъёмы расшатываются или корродируют под воздействием полевой вибрации и термоциклирования. Используйте проверенные в полевых условиях промышленные аппаратные решения с микрошагом, такие как Hirose Electric (высокоплотные серии DF40 или DF12) или варианты с высокой удерживающей способностью от Molex (например, SlimStack с шагом 0,40 мм). Они имеют двойные точки контакта для предотвращения прерываний сигнала при высоких перегрузках и встроенные заземляющие плоскости для экранирования высокоскоростных линий от окружающих радиочастотных помех.

Правила компоновки печатной платы и целостности сигнала: При трассировке линий MIPI CSI-2 или дорожек USB 3.0 между сердечником и основной платой:

• ⚙️ Строго выдерживайте дифференциальный импеданс 100 Ом ± 10% (50 Ом для несимметричной линии) на всём протяжении трассы.
• ⚙️ Поддерживайте перекос внутри пары ниже 0,15 мм (около 1 пс задержки распространения), чтобы предотвратить преобразование дифференциального шума в синфазный.
• ⚙️ Прокладывайте высокоскоростные пары непосредственно над непрерывной заземляющей плоскостью. Никогда не пересекайте трассой разрыв плоскости или границу питания; это создаёт высокочастотные контуры заземления, которые пропускают цифровой коммутационный мусор прямо в чувствительное аналоговое смещение сердечника.
• ⚙️ Очищайте шины питания, питающие смещение ROIC (V_BIAS, V_ANA), с помощью специализированных сверхмалошумящих LDO с коэффициентом подавления пульсаций источника питания (PSRR) более 70 дБ на частоте 100 кГц. Пульсации напряжения здесь приводят к горизонтальным полосам на тепловом кадре.

Электрические интерфейсы и протоколы передачи данных с низкой задержкой

Ваш выбор физической шины определяет потолок задержки кадра, нагрузку на процессор, сложность трассировки и общее энергопотребление.

1 MIPI CSI-2 против параллельного DVP против USB 3.0 Type-C

MIPI CSI-2 (последовательный интерфейс камеры): Для периферийных ИИ-приложений MIPI CSI-2 является явным победителем. Работая с дифференциальными линиями тактовой частоты и данных поверх физического уровня D-PHY, он передаёт несжатые 14-битные или 16-битные сырые кадры прямо в память SoC через прямой доступ к памяти (DMA). Поскольку приём кадров обрабатывается аппаратно, загрузка центрального процессора хоста падает почти до нуля. Задержка остаётся детерминированной и минимальной (< 5 мс), что жизненно важно при управлении высокоскоростной робототехникой или полёте дрона низко среди препятствий.

USB 3.0 / USB-C: USB-ядра (например, Purpleriver Mini 640 USB Core) — это рабочие лошадки для быстрой интеграции и развёртывания на стандартных промышленных ПК. Работая через стандартный USB Video Class (UVC) или выделенные bulk-конечные точки, эти ядра поддерживают plug-and-play в Linux, Windows и ROS. Компромисс заключается в стеке хост-контроллера: он вносит незначительный джиттер пакетов и добавляет задержку от 15 до 30 мс, что исключает его использование для замкнутого контура управления движением, чувствительного к микросекундам.

Параллельный DVP: Параллельные шины выводят пиксельную тактовую частоту (PCLK), сигналы синхронизации (HREF, VSYNC) и до 16 линий данных. Хотя их очень просто перехватывать на ПЛИС (например, Xilinx Artix-7), большое количество линий загромождает разводку печатной платы, занимает выводы платы и действует как миниатюрные антенны, излучающие ЭМП на высоких тактовых частотах.

2 Стек драйверов ядра: подсистемы V4L2 и прямое буферирование через DMA

Под встроенным Linux для корректной обработки тепловизионных кадров требуется драйверный фреймворк Video4Linux2 (V4L2) вместе с Media Controller API, поддерживаемый внеполосным каналом I2C или SPI для команд конфигурации:

Настройка нативных радиометрических форматов: Камеры видимого диапазона снимают в YUYV, RGB или упакованных данных Байера. Тепловизионные ядра выдают некалиброванные сырые значения или линейные данные температуры в виде 14-битных или 16-битных целых чисел на пиксель. Убедитесь, что ваш драйвер запрашивает и поддерживает нативные 16-битные кадры в оттенках серого:

#define V4L2_PIX_FMT_Y16 v4l2_fourcc('Y', '1', '6', ' ') /* 16-битный оттенок серого */

Если вы по ошибке настроите драйвер V4L2 на стандартный 8-битный оттенок серого (V4L2_PIX_FMT_GREY), буфер ядра отбросит половину ваших битов. Это разрушает ваш динамический диапазон и уничтожает крошечные разницы температур, необходимые для радиометрии.

Передача памяти без копирования: Прокачка 16-битного тепловизионного видео с разрешением 1280×1024 и частотой 60 Гц быстро сжигает пропускную способность памяти. Чтобы освободить процессор для задач ИИ, настройте буферы захвата с помощью V4L2_MEMORY_MMAP или V4L2_MEMORY_DMABUF. Это позволяет нижестоящим стекам обработки — OpenCV, NVIDIA DeepStream или собственному движку TensorRT — забирать буферы кадров напрямую, без дорогостоящих копирований памяти через пространство ядра.

Радиометрическая калибровка, NUC и работа без затвора

Каждый отдельный пиксель в матрице микроболометров — это изолированный микромеханический тонкоплёночный резистор с небольшими вариациями теплового сопротивления и чувствительности. Без коррекции в реальном времени, на лету, сырой кадр выглядит как помехи на старом ламповом телевизоре, покрытый шумом фиксированного паттерна (FPN).

1 Коррекция плоского поля (FFC) и механическая надёжность затвора

Стандартный способ устранения этого шумового паттерна — Коррекция плоского поля (FFC). FFC корректирует две отдельные переменные: разницу усиления по пикселям и дрейф смещения по пикселям.

Традиционно FFC опирается на внутреннюю механическую лопатку затвора, покрытую чёрным излучающим покрытием. Каждые несколько минут соленоид на долю секунды выдвигает лопатку перед FPA. Ядро снимает этот однородный температурный эталон и пересчитывает значения смещения:

Y_исправленный(i, j) = Усиление(i, j) × [ X_сырой(i, j) − Смещение(i, j) ]

В полевых условиях эта лопатка создаёт несколько инженерных компромиссов:

• ⚙️ Замирание кадра: Когда затвор опускается, видеопоток останавливается на 200–1000 мс. Если вы отслеживаете объект на высокой скорости, эта потеря кадра может сорвать захват цели. Вашему программному стеку нужно прогнозирующее отслеживание (например, фильтр Калмана), чтобы переносить состояния цели через паузу.
• ⚙️ Износ привода: Соленоиды — это движущиеся механические части. Обычно они выдерживают от 500 000 до 2 000 000 циклов и не любят сильной вибрации или условий замерзания.
• ⚙️ Отказ от затвора: Приложения с высокой надёжностью полностью отказываются от механической лопатки. Ядра без затвора используют сценовую коррекцию неоднородности (SBNUC) в паре с температурной телеметрией от термисторов, встроенных по оправе объектива, корпусу и ROIC. Прошивка корректирует смещения в реальном времени, обеспечивая непрерывный видеопоток без замираний.

2 Двухточечная калибровка и радиометрические уравнения на уровне пикселя

Настоящие радиометрические ядра измеряют точные температуры сцены, а не просто относительный контраст. Преобразование 14-битных или 16-битных сырых значений в реальные физические градусы Цельсия требует решения полной модели инфракрасного радиационного переноса:

DN_измеренный = R × [ ε × L(T_объекта) + (1 − ε) × L(T_отражённой) + τ_атм × L(T_атмосферы) ] + DN_смещение

Вот ключевые факторы:

• ⚙️ ε (Излучательная способность цели): Насколько эффективно поверхность излучает инфракрасную энергию по сравнению с идеальным абсолютно чёрным телом (0.0 ≤ ε ≤ 1.0). Голые полированные металлы имеют крайне низкую излучательную способность (ε &approx; 0.05 до 0.15) и действуют как инфракрасные зеркала, отражая окружающее тепло. Человеческая кожа, матовые покрытия и пластики обладают высокой излучательной способностью (ε &approx; 0.95 до 0.98), что делает их легко считываемыми.
• ⚙️ L(T): Спектральная энергетическая яркость, рассчитанная по закону излучения Планка в диапазоне от 8 до 14 мкм.
• ⚙️ T_отражённая: Температура фона, отражающаяся от цели и попадающая в объектив.
• ⚙️ τ_атм: Коэффициент пропускания атмосферы, который снижается на больших расстояниях или при высокой влажности из-за поглощения водяным паром в воздухе.
• ⚙️ R: Оптоэлектронная чувствительность ядра, установленная на заводе с помощью калибровочных камер с абсолютно чёрным телом.

Если вы настраиваете прецизионные установки, зависящие от калиброванных данных «объектив-сенсор», ознакомьтесь с конфигурациями, используемыми в Решения для объектива Mini2 640x512 чтобы увидеть, как различные фокусные расстояния подбираются к сенсорам.

Конвейеры периферийного ИИ-зрения и мультиспектральная обработка изображений

Запуск нейронных сетей на необработанных тепловизионных изображениях требует продуманной цепочки предварительной обработки. Большинство сетей обнаружения объектов построены для стандартных 8-битных трёхканальных RGB-изображений с большим количеством текстурных деталей. Подача некалиброванных 14-битных данных с высоким динамическим диапазоном напрямую в механизм логического вывода приводит к схлопыванию градиентов, пропущенным краям и снижению показателей уверенности.

1 Предварительная обработка: 14-битные/16-битные необработанные данные в 8-битные AGC и CLAHE

АЦП неохлаждаемого микроболометра выдаёт 14 бит динамического диапазона на пиксель, представляя 16 384 различных значений. Но встроенные ИИ-модели ожидают 8-битные значения (от 0 до 255). Нельзя просто разделить на 64; это уничтожит детали цели. Холодный фон неба при −30 °C поглотит динамический диапазон, сжимая всё происходящее на земле в узкую низкоконтрастную полосу тёмных пикселей.

Чтобы сохранить критически важные детали для логического вывода, используйте конвейер адаптивного сжатия динамического диапазона:

Гистограммная эквализация с ограничением плато (PEH): Стандартная гистограммная эквализация tends to раздувать фоновый шум в сценах с однородными температурами (например, открытая вода или бетонные площадки). Эквализация с ограничением плато ограничивает отдельные столбцы гистограммы потолком отсечения. Избыток распределяется равномерно по динамическому диапазону, не позволяя большим плоским областям поглощать доступный 8-битный спектр.

Контрастно-ограниченная адаптивная гистограммная эквализация (CLAHE): CLAHE обрабатывает кадры локальными участками (обычно плитки 8×8 или 16×16 пикселей). Локальное выравнивание контраста усиливает края, очерчивает тёплые блоки двигателей и выделяет силуэты людей, не размывая глобальный динамический диапазон.

Фильтрация с сохранением границ (билатеральная): Микроболометры демонстрируют больше высокочастотного пространственного шума, чем датчики видимого изображения. Применение быстрого билатерального или направляемого фильтра перед сжатием динамического диапазона устраняет случайный пиксельный шум, сохраняя структурные тепловые границы чёткими для вашего детектора.

2 Инференс глубокого обучения: YOLOv8 / RT-DETR с fusion теплового и RGB-каналов

Автономные дрон-подвесы, охранные турели и промышленные роботы часто используют мультиспектральные конфигурации: LWIR-ядро в паре с RGB-камерой. При развёртывании сетей реального времени, таких как YOLOv8 или RT-DETR, на встраиваемой платформе вроде NVIDIA Jetson Orin NX с использованием TensorRT, у вас есть три основных архитектурных варианта:

Ранний fusion: Тепловой поток преобразуется с помощью матриц гомографии для совмещения с перспективой визуальной камеры. Зарегистрированный тепловой канал напрямую конкатенируется с RGB-изображением, создавая 4-канальный входной тензор (RGB-T) для единого бэкбона сети. Такой подход сохраняет низкие вычислительные затраты, но требует жёсткой механической юстировки. Ошибка параллакса между объективами на разных дистанциях может ухудшить качество детекции.

Поздний fusion: В этой конфигурации одновременно работают две независимые модели: одна обрабатывает обработанные 8-битные тепловые кадры, другая — визуальное RGB-видео. Выходные ограничивающие рамки, классы и уверенности объединяются ниже по потоку с помощью мультиспектрального Non-Maximum Suppression (NMS) или байесовских моделей. Очевидное преимущество — избыточность: если пыль или дым ослепляют визуальную камеру, тепловая ветвь продолжает отслеживание. Недостаток: двойные бэкбоны примерно удваивают вычислительную нагрузку и пропускную способность памяти.

Fusion признаков среднего уровня: Это современный передовой подход к мультиспектральной детекции. Визуальные и тепловые входы проходят через отдельные начальные слои извлечения признаков. На промежуточных стадиях (таких как уровни пирамиды признаков P3, P4 и P5) блоки кросс-внимания обмениваются пространственными и контекстуальными сигналами между потоками. Тепловой поток выявляет тепловые сигнатуры (обнаруживая замаскированные объекты или скрытый персонал), в то время как RGB-поток добавляет тонкие отметки поверхности и текстуры. Объединённые признаки поступают в общую голову детекции, обеспечивая высокую точность классификации даже в сложных условиях.

Сравнительная витрина OEM LWIR-продуктов Purpleriver

Чтобы помочь инженерам и системным архитекторам выбрать подходящее ядро для их применения, в таблице ниже представлены два серийных LWIR-ядра от Purpleriver. Эти устройства покрывают различные потребности интеграции: ультракомпактная упаковка с низким энергопотреблением для бортовых систем и формирование изображений высокого разрешения для дальнего мониторинга и метрологии.

Для проверки процедур калибровки производственной линии, показателей оптических чистых помещений и оптомеханического контроля качества см. О нашей инженерной команде обзор.

Часто задаваемые вопросы (технический FAQ с глубоким погружением)