Тепловизионный модуль MIPI: встраиваемые LWIR-ядра высокого разрешения для дронов и периферийного ИИ

В автономных роботизированных платформах, беспилотных летательных аппаратах (БПЛА) и массивах периферийного компьютерного зрения задержка получения изображения и ограничения SWaP-C (размер, вес, мощность и стоимость) определяют успех миссии. Традиционные тепловизионные полезные нагрузки, использующие мостовые контроллеры USB 3.0, интерфейсы Ethernet или устаревший аналоговый CVBS, преобразуют цифровой выход длинноволнового инфракрасного (LWIR) микроболометра через несколько уровней трансляции протоколов. Это приводит к существенной задержке обработки, дрожанию передачи кадров, вытеснению потоков ЦП и паразитному рассеиванию мощности на уровне платы. Нативный Тепловизионный модуль камеры MIPI полностью обходит периферийные мостовые ИС, подавая несжатые 14-битные или 16-битные радиометрические пиксельные потоки непосредственно в головную систему-на-кристалле (SoC) по протоколу Camera Serial Interface 2 (MIPI CSI-2) альянса Mobile Industry Processor Interface.

Подключая матрицы микроболометрических детекторов напрямую к нативным аппаратным физическим приёмникам D-PHY на таких платформах, как NVIDIA Jetson, Rockchip RK3588, NXP i.MX8 и Raspberry Pi Compute Module 4 (CM4), инженеры встраиваемых систем получают потоковую передачу по конвейеру прямого доступа к памяти (DMA) без вмешательства головного ЦП. Эта архитектурная парадигма обеспечивает задержки получения кадра менее миллисекунды, детерминированную временную синхронизацию для мультиспектрального слияния датчиков и аппаратный доступ к памяти без копирования, необходимый для выполнения свёрточных нейронных сетей (CNN) и визуальных трансформеров (ViT) в реальном времени на физическом периферийном уровне.

Архитектура MIPI CSI-2 для длинноволновых инфракрасных (LWIR) датчиков

Внутренняя архитектура нативного неохлаждаемого тепловизионного ядра MIPI CSI-2 принципиально отличается от обычных КМОП-датчиков видимого спектра. Неохлаждаемое длинноволновое инфракрасное (LWIR) ядро основано на микроболометрической матрице в фокальной плоскости (FPA) из оксида ванадия (VOx) или аморфного кремния (α-Si). Вместо регистрации переходов электронов, вызванных фотонами, в кремниевых p-n-переходах каждый пиксель микроболометра поглощает тепловое излучение в диапазоне от 8 мкм до 14 мкм, изменяя своё физическое электрическое сопротивление в зависимости от температуры.

Под микроболометрической матрицей расположена интегральная схема считывания (ROIC). ROIC использует параллельно-столбцовые интеграторы и малошумящие 14-битные или 16-битные аналого-цифровые преобразователи (АЦП) для выборки изменений сопротивления по каждому пикселю. Из ROIC необработанные цифровые отсчёты поступают в сверхмаломощную программируемую вентильную матрицу (FPGA) или специализированную интегральную схему (ASIC). Этот встроенный процессорный блок выполняет базовые коррекции: двухточечную коррекцию неоднородности (NUC), динамическую замену дефектных пикселей (BPR) и цифровое улучшение деталей (DDE).

После коррекции данные поступают в уровень протокола передатчика MIPI CSI-2. Здесь пиксельные потоки пакетируются в выделенные байтовые последовательности и передаются через физический уровень MIPI D-PHY непосредственно в головную SoC по дифференциальным полосковым линиям.

Механика сигнализации физического уровня (D-PHY)

Интерфейс передачи использует спецификацию MIPI Alliance D-PHY — асинхронную архитектуру с синхронизацией от источника, оптимизированную для малопотребляющих соединений «точка-точка». D-PHY работает в двух различных режимах на одних и тех же физических контактах:

• ⚙️ Высокоскоростной (HS) режим: Использует низковольтную дифференциальную сигнализацию (SLVS) с номинальным дифференциальным размахом напряжения 200 мВ при синфазном уровне земли 200 мВ (рабочий диапазон от 100 мВ до 300 мВ). Режим HS передаёт полезные данные со скоростью от 80 Мбит/с до 1,5 Гбит/с на линию, обеспечивая максимальную пропускную способность при сохранении низкого уровня радиочастотных излучений.
• ⚙️ Режим низкого энергопотребления (LP): Переходит к несимметричной сигнализации КМОП-уровня 1,2 В. Режим LP управляет состояниями управления линией, протокольным квитированием, переходами в сверхмалопотребляющее состояние (ULPS) и разметкой границ кадров с минимальным паразитным потреблением.

Распределение тактового сигнала использует выделенную дифференциальную линию тактирования Double Data Rate (DDR), сопровождающую одну или две дифференциальные линии данных. В двухлинейной конфигурации байтовые потоки чередуются между линией данных 0 и линией данных 1. Для неохлаждаемого микроболометра 640×512, работающего на частоте 60 Гц с 16-битной радиометрической передачей, требуемая совокупная пропускная способность рассчитывается как:

С учётом кадрирования пакетов CSI-2, строчной синхронизации и накладных расходов вертикального гашения (обычно от 15% до 20%) общая пропускная способность интерфейса достигает примерно 375 Мбит/с. Одна линия D-PHY, работающая на скорости 800 Мбит/с, легко обеспечивает эту пропускную способность. Разделение этого потока на две дифференциальные линии, работающие на скорости 400 Мбит/с, позволяет аппаратным инженерам снизить рабочую тактовую частоту, значительно подавляя электромагнитные помехи (EMI) в чувствительных диапазонах GPS и радиочастотных приёмопередатчиков на корпусах беспилотников.

Структурирование пакетов, типы данных и виртуальные каналы

Протокол MIPI CSI-2 организует конвейер тепловизионных данных в структурированные пакетные уровни:

• ⚙️ Короткие пакеты (4 байта): Содержат 8-битный идентификатор данных (DI), 16-битный счётчик кадров или строк и 8-битный код коррекции ошибок (ECC). Короткие пакеты сигнализируют о начале кадра (FS, DI = 0x00) и конце кадра (FE, DI = 0x01), отмечая точные интервалы экспозиции теплового микроболометра.
• ⚙️ Длинные пакеты (переменная полезная нагрузка): Инкапсулируют отдельные горизонтальные строки теплового растра. Длинный пакет состоит из 4-байтового заголовка (DI, 16-битный счётчик слов, ECC), байтов полезной нагрузки и 2-байтового 16-битного завершающего кода циклической проверки избыточности (CRC) для обнаружения однобитовых и многобитовых ошибок передачи.

Байт DI определяет точное форматирование датчика через стандартные типы данных MIPI (DT):

• ⚙️ RAW14 (DT 0x2D) или RAW16 (DT 0x2E): Передаёт абсолютные линейные цифровые отсчёты, прямо пропорциональные потоку на поверхности микроболометра. Этот режим используется для научной радиометрии, точного сельскохозяйственного картографирования и периферийного прогнозного обслуживания.
• ⚙️ YUV422 8-бит (DT 0x1E): Передаёт обработанное АРУ, тонально отображённое видео для немедленного отображения на наземных станциях управления пилота (GCS) или аналоговых передатчиках нисходящего канала без необходимости контрастного растяжения на стороне хоста.
• ⚙️ Пользовательские типы данных (DT 0x30 по 0x37): Позволяют чередовать встроенные телеметрические строки. Тепловое ядро вводит показания внутреннего датчика температуры FPA, телеметрию термистора подложки ROIC, текущее состояние шторки и флаги конфигурации камеры непосредственно во вспомогательные строки выше или ниже полезной нагрузки изображения.

Используя идентификаторы виртуальных каналов MIPI (VC) (от 0 до 3), одно физическое соединение может мультиплексировать необработанные 14-битные радиометрические кадры на VC0 вместе с обработанным 8-битным видеосигналом на VC1. Такая двухпоточная передача устраняет необходимость в двух отдельных камерах или сложном программном транскодировании на главном процессоре.

Сравнительный анализ интерфейсных протоколов: MIPI CSI-2 против USB 3.0, GigE Vision и CVBS

Тепловизионные ядра, используемые в системах периферийного зрения, исторически опирались на USB 3.0 (UVC), промышленный Gigabit Ethernet (GigE Vision) или устаревший аналоговый композитный сигнал (CVBS). Хотя эти интерфейсы обеспечивают быстрое прототипирование по принципу plug-and-play или совместимость с длинными кабельными линиями, их архитектурные компромиссы делают их плохо подходящими для автономной воздушной и роботизированной автономии в реальном времени с ограничениями по SWaP.

Архитектурное превосходство MIPI CSI-2 основано на низкоуровневой аппаратной интеграции. При использовании USB 3.0 нативный параллельный или MIPI-поток от тепловизионного ядра должен проходить через мостовую микросхему (например, контроллер Infineon CX3 или Cypress FX3). Этот мостовой чип переупаковывает видео в пакеты Universal Video Class (UVC) USB, проходя через Extensible Host Controller Interface (xHCI) хоста, вызывая системные прерывания и проходя через сетевой/USB-стек ядра ОС, прежде чем достигнуть памяти приложения. Это создаёт транспортный джиттер от 15 до 45 миллисекунд.

Ещё более критичным для подвесов дронов является паразитное тепловыделение. Мостовой USB-контроллер потребляет от 350 мВт до 750 мВт, тогда как GigE PHY потребляет более 1 Вт. В герметичном 3-осевом мини-подвесе это локализованное тепло излучается непосредственно в корпус неохлаждаемого микроболометра. Поскольку неохлаждаемые болометры зависят от микрокельвинного теплового равновесия, локализованные источники тепла вызывают тепловой дрейф по всей ФПУ. Это провоцирует частые перекалибровки затвора Non-Uniformity Correction (NUC), которые замораживают видеопоток во время критических манёвров полёта.

Устранение мостовых микросхем через прямой интерфейс MIPI CSI-2 сохраняет стабильность тепловой калибровки, снижает энергопотребление транспортного физического уровня до менее 50 мВт и экономит до 50 граммов массы полезной нагрузки. Для исчерпывающего анализа компромиссов периферийных систем обратитесь к нашему руководству по интеграции высокопроизводительных тепловизионных модулей для периферийного ИИ и OEM БПЛА.

Встраиваемый аппаратный конвейер: прямой доступ к памяти (DMA) и периферийный ИИ без копирования

Основное преимущество развёртывания тепловизионного модуля MIPI в конвейерах искусственного интеллекта — это обработка памяти с нулевым копированием. Во встраиваемых системах-на-кристалле с общей физической памятью — таких как NVIDIA Jetson Orin Nano/AGX (архитектура Tegra) или Rockchip RK3588 — приёмник MIPI CSI-2 помещает поступающие строки развёртки непосредственно в физическую DRAM через выделенные аппаратные движки Direct Memory Access (DMA).

Архитектура драйвера ядра Linux и подсистема V4L2

Под встраиваемым Linux тепловизионные модули Purpleriver MIPI взаимодействуют через драйверный фреймворк Video4Linux2 (V4L2) и Linux Media Controller API. Тепловизионное ядро регистрируется как две логические сущности: I2C-клиентское устройство, отвечающее за управление и контроль во время выполнения (переключение состояния усиления, ручной запуск NUC, загрузка калибровочной кривой, цифровое масштабирование), и V4L2-субустройство, управляющее передатчиком MIPI CSI-2.

Интеграция начинается в исходных файлах Device Tree платы (.dtsi), которые отображают физическую топологию оборудования. Device tree определяет привязку порта CSI, отображение линий данных, дифференциальную тактовую частоту и GPIO сброса/отключения питания:

// Фрагмент узла Device Tree для интеграции с Jetson / RK3588;

Совместное использование буферов DMA без копирования с CUDA и TensorRT

Для запуска сетей обнаружения объектов (например, YOLOv8-Thermal, MobileNet-SSD) с высокой частотой кадров необходимо исключить копирование данных в памяти ЦП (memcpy). Благодаря использованию подсистемы Linux DMA-BUF выделенные кольцевые буферы V4L2 напрямую разделяются с контекстами памяти GPU/NPU без передачи данных через границы пользовательского пространства.

Последовательность включает три основных операционных шага:

• ⚙️ Выделение буферов: Пользовательское приложение инициализирует устройство захвата V4L2 с флагом V4L2_MEMORY_MMAP или V4L2_MEMORY_DMABUF , создавая физически непрерывные кадровые буферы в DRAM.
• ⚙️ Экспорт файлового дескриптора: Every buffer yields a unique file descriptor via the VIDIOC_EXPBUF ioctl call, mapping direct kernel memory handles.
• ⚙️ Direct Hardware Binding: The descriptor is imported directly into deep learning engines. On NVIDIA Jetson platforms, the file descriptor maps into CUDA device memory via cudaImportExternalMemory(), while computer vision pipelines wrap the buffer directly via OpenCV matrix headers without reallocating heap memory.

// C++ Zero-Copy Wrapping of 14-bit Radiometric Frame into OpenCV
struct v4l2_buffer buf = {0};
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
ioctl(v4l2_fd, VIDIOC_DQBUF, &buf);

// Wrap physical memory buffer into cv::Mat header without copying data
void* raw_kernel_ptr = buffer_mmap_ptrs[buf.index];
cv::Mat thermal_14bit(512, 640, CV_16UC1, raw_kernel_ptr);

// Direct pointer passage to TensorRT input tensor on unified memory
cudaExternalMemoryHandleDesc memDesc = {};
memDesc.type = cudaExternalMemoryHandleTypePosixFd;
memDesc.handle.fd = dma_buf_fds[buf.index];
memDesc.size = 640 * 512 * sizeof(uint16_t);
cudaImportExternalMemory(&extMem, &memDesc);

// Re-queue buffer immediately back to V4L2 capture queue
ioctl(v4l2_fd, VIDIOC_QBUF, &buf);

This unified pipeline delivers frame ingestion latencies under 1 millisecond. By freeing the host CPU from copying pixel data, system threads remain available for path planning, flight stabilization, and object tracking. To explore module selection strategies for embedded AI processing, review our AI thermal camera selection guide for high-precision OEM modules.

Характеристики и матрица выбора тепловизионных ядер MIPI серии Purpleriver MINI

Purpleriver engineers and manufactures the MINI series of uncooled infrared camera modules, developed specifically to resolve SWaP-C challenges in airborne gimbals, tactical micro-drones, handheld test instrumentation, and embedded edge vision arrays.

Uncooled Infrared Mini2 640×512 9mm Thermal Imaging Camera Module For Drones

The → Mini2 640×512 core represents our flagship high-resolution thermal imaging module designed for direct airborne deployment on drones and robotic platforms. Built around a sensitive 12 μm Vanadium Oxide (VOx) microbolometer array, the module delivers sharp, crisp image presentation, compact physical dimensions, and industry-leading cost-performance. Equipped with an integrated 9.0mm athermalized lens assembly and native MIPI CSI-2 interface, the Mini2 streams full 14-bit uncompressed digital raw temperature data alongside YUV display feeds, making it the ideal core for autonomous aerial surveillance, long-range thermal tracking, and search-and-rescue payloads.

• ✅ Array Format: 640 × 512 pixels (12 μm pixel pitch)
• ✅ Тепловая чувствительность: ≤ 40 mK (@25°C, F/1.0)
• ✅ Оптическая конфигурация: 9.0 mm athermalized wide-FOV Germanium lens
• ✅ Интерфейс: Native MIPI CSI-2 (Direct D-PHY), Low-profile FPC connectivity

Посмотреть детали продукта и цены ➔

Неохлаждаемый мини-модуль тепловизионной камеры 384×288 для дронов

The → MINI 384×288 series infrared thermal imaging temperature measurement module is an ultra-compact, high-precision online radiometric imager. Utilizing high-stability microbolometer detectors, it balances high thermal resolution with minimal power draw. The module features extensive functional versatility and multiple interface configurations (MIPI CSI-2, CVBS, and digital expansion), making it the primary choice across machine vision, safety inspection, intelligent manufacturing, equipment maintenance, and lightweight robot/drone airborne platforms.

• ✅ Array Format: 384 × 288 пикселей
• ✅ Радиометрическая поддержка: Precision point, line, and area online temperature measurement
• ✅ Multi-Interface Support: Direct MIPI CSI-2, Analog CVBS, and Industrial Expansion headers
• ✅ Область применения: Industrial diagnostics, airborne pipeline inspection, automated optical inspection

Посмотреть детали продукта и цены ➔

Comprehensive Engineering Comparison Matrix

For procurement planning and detailed unit economics across custom development projects, refer to our comprehensive thermal camera module price guide 2024: from DIY kits to pro edge AI.

Радиометрическая обработка сигнала: коррекция неоднородности (NUC) и калиброванная телеметрия

An uncalibrated microbolometer array cannot directly output true thermal imagery. Due to semiconductor manufacturing tolerances, individual microbolometer pixels exhibit variations in electrical resistance, temperature coefficients of resistance (TCR), and thermal dissipation characteristics. Without calibration, the raw output from a microbolometer array is dominated by fixed-pattern noise (FPN), obscuring the thermal scene.

Two-Point Non-Uniformity Correction (NUC) Physics

To convert spatial resistance offsets into a uniform image plane, Purpleriver MIPI cores implement real-time, hardware-accelerated Two-Point Non-Uniformity Correction:

Где:

• ⚙️ S_raw(i, j) represents the raw 14-bit ADC output count for pixel coordinates (i, j).
• ⚙️ Offset(i, j) is the additive calibration matrix obtained during blackbody shutter calibration, compensating for differences in microbolometer thermal dissipation and substrate thermal gradients.
• ⚙️ Gain(i, j) is the multiplicative responsivity correction matrix derived across wide-temperature calibration runs.

The thermal core balances two operational correction methods:

• ✅ Механический затвор NUC: A solenoid drops an athermalized, uniform mechanical blade in front of the FPA for roughly 250 milliseconds. The module acquires uniform dark-field frames to refresh the offset matrix. This method provides the highest radiometric stability under rapid ambient temperature shifts.
• ✅ Бесзатворная сценовая NUC (SBNUC): For high-speed drone racing or tactical tracking where a shutter freeze is unacceptable, internal motion-estimation algorithms analyze inter-frame camera motion. High-frequency spatial fixed-pattern noise is isolated from dynamic low-frequency scene data, continuously updating the offset matrix without mechanical interruption.

Bad Pixel Replacement (BPR) Engine

Uncooled microbolometer yields inevitably include a small fraction of defective pixels—elements that remain stuck high (open circuit), stuck low (shorted), or display excessive 1/f flicker noise. During factory blackbody qualification, the thermal core generates an onboard defect table mapping these pixel coordinates into non-volatile flash. During real-time pipeline streaming, an 8-neighbor spatial median interpolation filter replaces dead pixels on the fly, preventing missing data points from destabilizing convolutional feature extractors in downstream AI layers.

Linear Kelvin Radiometric Conversion

When configured for radiometric data delivery over the MIPI CSI-2 bus, output pixel intensities map linearly to absolute target temperatures. Depending on the configured telemetry bit depth, each Least Significant Bit (LSB) corresponds to an exact Kelvin increment:

Under this scaling, a 14-bit digital count of 30,000 translates precisely to 300.00 Kelvin (+26.85°C). Purpleriver modules incorporate two selectable gain calibration states:

• ⚙️ Режим высокого усиления: Optimized for high sensitivity across environmental ranges (-20°C to +150°C). Noise Equivalent Temperature Difference (NETD) reaches ≤ 40 mK, resolving slight thermal variations across building envelopes, search-and-rescue scenes, or electrical wiring.
• ⚙️ Режим низкого усиления: Compresses analog ROIC integration ramps to expand the dynamic range up to +550°C (or +650°C on custom configurations). This state is designed for industrial boiler monitoring, wildfire suppression, and localized smelting inspections.

Проектирование аппаратной платы-носителя: высокоскоростная дифференциальная трассировка и стандарты разъёмов

Interfacing a native MIPI thermal camera module to custom embedded carrier boards requires rigorous high-speed layout practices. The MIPI D-PHY interface combines high-speed, sub-nanosecond edge-rate differential signaling (HS mode) with single-ended 1.2V signaling (LP mode). Improper routing leads to common-mode phase skew, signal reflection, packet corruption, and frame drops.

Differential Trace Geometry and Impedance Control

High-speed MIPI lines require strict impedance control across the PCB trace topology:

• ⚙️ Differential Impedance: All MIPI D-PHY differential clock pairs (CLK_P, CLK_N) and data pairs (DATA0_P/N, DATA1_P/N) must be routed to achieve a target differential impedance of 100 Ω ± 10% (corresponding to a 50 Ω single-ended impedance to the reference ground).
• ⚙️ Intra-Pair Length Skew: The absolute trace length delta between the positive (_P) and negative (_N) traces of any single differential pair must not exceed 0.15 mm (6 mils). Skew imbalances convert differential signals into common-mode radiation, degrading EMI performance and distorting the eye diagram.
• ⚙️ Inter-Pair Length Matching: The length difference between data lane pairs and the high-speed differential clock pair must remain within 1.0 mm (40 mils) to satisfy receiver setup-and-hold timing parameters.
• ⚙️ Непрерывная опорная плоскость: High-speed pairs must run over an unbroken, solid copper Ground (GND) return plane. Never route MIPI traces across power plane splits or ground voids; discontinuities disrupt the return current path and induce significant jitter.
• ⚙️ Via Transitions: Signal vias should be minimized. Where layer transitions are necessary, route data lines through symmetrical via pairs flanked immediately by adjacent ground stitching vias placed within 0.5 mm to provide a continuous return path.

Interconnect Standards: Hirose Board-to-Board & FPC Headers

Purpleriver MINI series modules utilize specialized ultra-compact, multi-pin connectors—such as the high-speed mezzanine series from Hirose Electric (e.g., Hirose DF40 or DF12 low-profile families)—or locking micro-pitch Flexible Printed Circuit (FPC) headers.

When routing flexible flat cables (FFC/FPC) across UAV 3-axis brushless gimbals, always select shielded flex designs featuring dual-sided solid silver or copper cross-hatch shielding. Gimbal motor commutations create localized electromagnetic fields; proper shielding prevents PWM switching transients from coupling into the high-speed differential D-PHY lines.

Часто задаваемые вопросы: встраиваемые системы и инженерная интеграция