Przewodnik integracji czujników termowizyjnych: rdzenie OEM i wizja Edge AI

Nowoczesne platformy autonomiczne, taktyczny sprzęt obronny i wytrzymałe systemy fabryczne potrzebują oczu, które widzą daleko poza spektrum widzialne. Wrzucenie czujnika długofalowej podczerwieni (LWIR) do wbudowanego zestawu brzegowego to zupełnie inna gra w porównaniu ze standardowym obrazowaniem w świetle widzialnym. Standardowe czujniki RGB zliczają fotony odbijające się od powierzchni. Niechłodzone mikrobolometry LWIR robią coś zupełnie innego: wychwytują czyste promieniowanie cieplne uchodzące w oknie atmosferycznym od 8 do 14 µm. Ale wciśnięcie termicznego rdzenia OEM w napięty budżet SWaP (rozmiar, waga, moc i koszt) — pomyśl o dronach poszukiwawczych, pojazdach AGV w magazynach i terenowych monitorach IoT — stawia przed tobą poważne problemy elektrooptyczne, termiczne i algorytmiczne. Nie możesz po prostu podłączyć rdzenia termicznego do portu USB i udawać, że to zwykła kamera internetowa. To precyzyjny, analogowo-cyfrowy radiometr, który szaleje, gdy zmienia się temperatura otoczenia, dryfuje z czasem i nieustannie walczy z winietowaniem optycznym.

Oto sedno: uzyskanie niskolatencyjnego, skalnego-stabilnego wyjścia oznacza zbudowanie kompleksowego planu obejmującego fizyczne trasowanie PCB, wybór właściwej magistrali (MIPI CSI-2 kontra USB 3.0), obsługę korekcji niejednorodności (NUC) i uzyskiwanie czystych danych radiometrycznych prosto na brzegu. Łącząc matryce ogniskowe z tlenku wanadu (VOx) o mikroskopijnym rastrze z nowoczesnymi wbudowanymi układami System-on-Chip (SoC) — takimi jak NVIDIA Jetson Orin, NXP i.MX8 lub dedykowane brzegowe jednostki NPU — możesz osiągnąć fuzję multispektralną w czasie rzeczywistym, automatyczne wykrywanie wad oraz klasyfikację ludzi lub pojazdów z dużej odległości w całkowitej ciemności, gęstym pyle czy ulewnym deszczu. Ten plan przedstawia całą mapę drogową inżynierii, od przyziemnego rozmieszczenia płytek po wnioskowanie Edge AI.

Fizyka czujników LWIR OEM i kryteria doboru czujników

Sprawienie, by rdzeń termiczny działał, sprowadza się do zrozumienia fizyki działającej wewnątrz tej niechłodzonej matrycy ogniskowej (FPA). Widzialne czujniki CMOS wykorzystują efekt fotoelektryczny, aby przerzucić elektrony walencyjne przez przerwę energetyczną krzemu do pasma przewodnictwa. Czujniki termiczne w ogóle tak nie działają. W paśmie od 8 do 14 µm te detektory działają jak mikroskopijne gąbki cieplne. Mikrobolometr to w istocie izolowana membrana rezystorowa zawieszona nad odbijającą krzemową podstawą na maleńkich, mikromechanicznych nóżkach. Przychodzące promieniowanie długofalowe ogrzewa tę zawieszoną membranę, zmieniając jej opór elektryczny bezpośrednio w zależności od temperatury celu. Układ odczytu (ROIC) przykłada impulsowe napięcie polaryzacji lub prąd przez strukturę, mierzy maleńką zmianę oporu i przekształca te zmiany rzędu mikrokelwinów na liczby cyfrowe (DN) za pomocą szybkich przetworników ADC na matrycy.

1 Mikrobolometry VOx kontra a-Si: czułość termiczna i dryft

W praktyce twoim pierwszym prawdziwym rozdrożem jest wybór aktywnej chemii termistora: tlenek wanadu (VOx) kontra krzem amorficzny (a-Si). Ten wybór decyduje o surowej czułości, poziomie szumu 1/f, wydajności produkcji i o tym, jak bardzo musisz walczyć z dryftem termicznym w terenie.

Tlenek wanadu (VOx): Słuchaj, cienkie warstwy VOx to absolutny standard w obronności taktycznej, przemyśle lotniczym i wysokiej niezawodności modułach przemysłowych. VOx charakteryzuje się wysokim temperaturowym współczynnikiem rezystancji (TCR), wynoszącym około −2%/K do −3%/K w temperaturze pokojowej (300 K). Ta responsywność pozwala matrycom ogniskowym VOx osiągać doskonałe wartości różnicowej temperatury ekwiwalentnej szumu (NETD), często spadające poniżej 30 mK do 40 mK przy obiektywie f/1.0. Niższy NETD oznacza rozróżnianie drobnych gradacji temperatury, co przekłada się bezpośrednio na ostre jak brzytwa kontury obiektów i wysokie stosunki sygnału do szumu (SNR) w warunkach niskiego kontrastu — jak lepkie letnie noce, operacje na otwartym morzu czy płaskie, zachmurzone pola. Ponadto VOx ma znacznie mniej szumu migotania 1/f niż krzem amorficzny, co utrzymuje dryft linii bazowej pod kontrolą podczas długich zmian.

Krzem amorficzny (a-Si): Dużą zaletą krzemu amorficznego jest kompatybilność z liniami produkcyjnymi. Ponieważ a-Si można osadzać przy użyciu standardowych, wysokowydajnych linii CMOS, tradycyjnie pozwalało to oszczędzać na seriach płytek krzemowych. Ale ponosisz koszt: a-Si daje słabszy TCR (około −1,5%/K do −2,2%/K) i wyższy nieodłączny szum 1/f wynikający z jego nieuporządkowanej matrycy atomowej. Z tego powodu rdzenie a-Si regularnie osiągają wyższe wartości NETD (≥ 50 mK przy f/1.0). Jeśli masz sceny o niemal zerowej zmienności termicznej, obraz zamienia się w śnieżycę, chyba że zastosujesz brutalne filtrowanie czasowe, które niszczy klarowność między klatkami podczas śledzenia szybkich celów.

2 Skalowanie rozdzielczości: od matryc 32×24 do FPA 640×512 i 1280×1024

Niskobudżetowe matryce termopilowe (32×24 lub 80×60) i ekonomiczne mikrobolometry (160×120) sprawdzają się w podstawowym wykrywaniu obecności lub wykrywaniu spalonego łożyska silnika. Ale do ekstrakcji celów przez AI brzegowe, dalekiego zasięgu śledzenia lotniczego czy zaawansowanej metrologii potrzebujesz prawdziwej gęstości pikseli: matryc 640×512 (klasa VGA) lub 1280×1024 (klasa HD).

Rozdzielczość dyktuje twoją częstotliwość przestrzenną na płaszczyźnie ogniskowej, rządzoną przez kryteria Johnsona dla detekcji, rozpoznania i identyfikacji (DRI). Aby złapać punkt na ekranie, optyka musi rzutować co najmniej 1,5 pary linii na profil krytyczny celu. Rozpoznanie typu obiektu (rozpoznanie) wymaga 6 par linii; dokładne określenie, czym dokładnie jest (identyfikacja), wymaga 12 par linii. Matematyka rządząca tym, ile surowych pikseli pada na cel, jest prosta:

Piksele na celu = (Wymiar celu [m] × Ogniskowa [mm]) / (Odległość do celu [m] × Rozstaw pikseli [µm])

Załóżmy, że prowadzisz drona perymetrycznego szukającego intruza (szerokość krytyczna: 0,75 m) stojącego 800 metrów dalej, obserwowanego przez obiektyw 25 mm:

• ⚙️ Starsza FPA 17 µm 320×256: Człowiek odwzorowuje się na około 1,37 piksela. Nie możesz tu nawet zagwarantować detekcji; sieć AI brzegowa nie ma żadnych szans na sklasyfikowanie tej maleńkiej smugi.
• ⚙️ Nowoczesna FPA 12 µm 640×512: Człowiek osiąga około 3,90 piksela. Komfortowo osiągasz detekcję i wchodzisz w zakres podstawowego tagowania klas.
• ⚙️ Wysokiej gęstości FPA 12 µm 1280×1024: Cel pokrywa 7,81 piksela. Teraz twój potok wizyjny ma lokalną gęstość gradientu, której architektury takie jak YOLOv8 czy RT-DETR wymagają do ustalenia wskaźników pewności.

Kiedy zmniejszasz rozstaw pikseli z 17 µm do 12 µm lub 8 µm, powierzchnia każdej maleńkiej płytki mikrobolometru gwałtownie spada. Piksel 12 µm zbiera zaledwie połowę energii promienistej piksela 17 µm. Aby zapobiec pogorszeniu NETD, projektanci czujników zwiększają współczynnik wypełnienia powyżej 85%, dostrajają optyczne wnęki rezonansowe i pakują ultraniskoszumne stopnie integratora bezpośrednio w krzem odczytowy.

Inżynierowie poszukujący opcji gotowych do wdrożenia produkcyjnego mogą ocenić kilka konfiguracji w Katalogu produktów Purpleriver, który przedstawia formaty, rozmiary pikseli i rozdzielczości bazowe.

3 Inżynieria toru optycznego: german, chalkogenki i wpływ liczby przysłony

Optyka LWIR nie ma nic wspólnego ze szkłem widzialnym. Standardowe szkła optyczne crown lub flint, takie jak BK7 czy krzemionka topiona, zachowują się jak solidna ceglana ściana dla światła 8–14 µm, pochłaniając fotony termiczne już w pierwszych mikronach materiału. Oznacza to, że układy termowizyjne opierają się na egzotycznych elementach podczerwonych:

Monokrystaliczny German (Ge): German to ciężki zawodnik w dziedzinie taktycznego szkła LWIR. Oferuje ogromny współczynnik załamania (n ≈ 4,003 przy 10,6 µm), co oznacza, że projektanci soczewek mogą utrzymywać cienkie elementy, ograniczać dystorsje sferyczne i stosować bardziej płaskie krzywizny. Jest jednak haczyk? Ma brutalnie wysoki współczynnik termiczny zmiany załamania (dn/dT ≈ 3,96 × 10⁻⁴ / °C), więc gwałtownie rozogniskowuje się przy wahaniach temperatury otoczenia. Po przekroczeniu 100 °C przejmuje kontrolę absorpcja na swobodnych nośnikach, powodując niekontrolowany wzrost temperatury, który całkowicie wygasza obraz.

Szkła chalkogenkowe (np. GASIR, BD6): Materiały chalkogenkowe (związki siarki, selenu, telluru i innych pierwiastków grupy 16) rozwiązują kilka problemów z germanem. Współczynnik załamania jest niższy (n ≈ 2,5 do 2,8), ale termiczny dryft współczynnika załamania (dn/dT) jest znacznie mniejszy. Otwiera to drzwi do pasywnej optomechanicznej atermalizacji, utrzymując ostrość jak brzytwa w zakresie od −40 °C do +85 °C bez ciężkich przekładni silnikowych. Co więcej, soczewki te można precyzyjnie formować, co obniża koszty montażu w ładunkach dronów.

Weryfikacja rzeczywistości liczby przysłony: Moc optyczna docierająca do niechłodzonego mikrobolometru maleje z kwadratem liczby przysłony obiektywu:

E_czujnik ∝ 1 / (4 × (f/#)²)

Zamiana obiektywu f/1.0 na optykę f/1.4 tnie strumień fotonów termicznych mniej więcej o połowę, o około 50%. W niechłodzonym mikrobolometrze podwaja to systemowy NETD. Rdzeń o czułości 35 mK za szkłem f/1.0 pracuje bliżej 70 mK, gdy musi patrzeć przez przysłonę f/1.4. Układ ROIC musi podkręcić wzmocnienie analogowe, aby to skompensować, co podnosi poziom szumu i niszczy precyzję detekcji w dalszym torze.

Integracja elektromechaniczna i optymalizacja SWaP-C

Niechłodzone rdzenie mikrobolometryczne to czułe instrumenty termiczne. Bez chłodziarek kriogenicznych ich matryce ogniskowe dryfują wraz z temperaturą obudowy kamery. Ciepło przenikające z procesora brzegowego, sterownika silnika lub zasilacza tworzy nierównomierne gradienty temperatury na strukturze mikrobolometru, psując kalibrację radiometryczną i malując widmowe wzory na obrazie.

1 Obwiednia mechaniczna i modelowanie radiatora termicznego

Przy pakowaniu rdzenia OEM w ciasne gondole dronów lub małe głowice inspekcyjne, ścisła izolacja termiczna i mechaniczna jest niepodlegająca negocjacjom:

Izolacja termiczna od silników obliczeniowych: Nigdy nie montuj niechłodzonego rdzenia bezpośrednio przy płycie z gorącym układem AI SoC (takim jak NVIDIA Jetson Orin NX lub RK3588), który pod dużym obciążeniem może wydzielać od 10 W do 25 W. To zmienne ciepło obliczeniowe będzie zalewać obudowę rdzenia termicznego dynamicznymi falami cieplnymi. Fabryczne algorytmy korekcji niejednorodności (NUC) nie nadążają za kierunkowymi gradientami termicznymi, co prowadzi do winietowania, kołowego dryftu i utraty kalibracji radiometrycznej.

Strukturalne odprowadzanie ciepła: Zamocuj rdzeń do sztywnej, dedykowanej konstrukcji obudowy. Odprowadzaj ciepło z obudowy rdzenia do ramy głównej za pomocą wysokoprzewodzących podkładek termicznych lub elastycznych arkuszy grafitowych o przewodności ≥ 5 W/m·K. Twój cel projektowy: zapobiec dryfowaniu zewnętrznej powłoki rdzenia szybciej niż 0,5 °C na minutę. Utrzymywanie powolnych i stabilnych zmian termicznych pozwala pokładowym termistorom na wykonywanie wielomianowych korekcji offsetu bez wstrząsania obrazem.

Izolacja mechaniczna: Membrany mikrobolometrów i ramiona mostków są wrażliwe na silne wibracje. Harmoniczne silników o wysokich obrotach lub bezpośrednie wibracje przekładni (zwykle od 50 Hz do 500 Hz) powodują mikrofonowe dzwonienie w analogowym torze odczytu. Można to ograniczyć, osadzając mocowanie rdzenia na silikonowych pierścieniach tłumiących lub elastomerowych izolatorach dostrojonych specjalnie do wytłumiania częstotliwości podstawowych silników.

2 Precyzyjne połączenia i szybkie trasowanie między płytami

Nowoczesne miniaturowe rdzenie opierają się na złączach mezzanine o dużej gęstości do szybkiego cyfrowego wideo, wolnych magistral sterujących i czystych linii DC. Dobór komponentów i czyste prowadzenie ścieżek to moment, w którym projekty odnoszą sukces lub utykają:

Złącza mezzanine: Tanie listwy kołkowe luzują się lub korodują pod wpływem wibracji polowych i cykli termicznych. Trzymaj się sprawdzonych w przemyśle złączy mikroskokowych, takich jak Hirose Electric (seria DF40 lub DF12 o dużej gęstości) lub opcje o wysokiej retencji od Molex (takie jak SlimStack o rastrze 0,40 mm). Mają one podwójne punkty styku zapobiegające przerwom sygnału przy udarach o wysokim G oraz zintegrowane płaszczyzny masy ekranujące linie szybkie od otaczającego RF.

Zasady rozmieszczenia PCB i integralności sygnału: Podczas trasowania linii MIPI CSI-2 lub ścieżek USB 3.0 między rdzeniem a płytą główną:

• ⚙️ Utrzymuj impedancję różnicową ściśle na poziomie 100 Ω ± 10% (50 Ω dla pojedynczego końca) na całej długości ścieżki.
• ⚙️ Utrzymuj skośność wewnątrz pary poniżej 0,15 mm (około 1 ps opóźnienia propagacji), aby zapobiec konwersji szumu różnicowego na wspólny.
• ⚙️ Prowadź pary szybkie bezpośrednio nad nieprzerwaną płaszczyzną masy. Nigdy nie przeskakuj ścieżką przez podzieloną płaszczyznę lub granicę zasilania; tworzy to pętle masy o wysokiej częstotliwości, które wprowadzają cyfrowe zakłócenia przełączania prosto do wrażliwego analogowego polaryzowania rdzenia.
• ⚙️ Oczyść szyny zasilające polaryzację ROIC (V_BIAS, V_ANA) za pomocą dedykowanych ultra-niskoszumnych LDO o współczynniku tłumienia tętnień zasilania (PSRR) większym niż 70 dB przy 100 kHz. Tętnienia napięcia powodują poziome pasy na obrazie termicznym.

Interfejsy elektryczne i protokoły danych o niskiej latencji

Wybór magistrali fizycznej wyznacza górny limit opóźnienia klatki, obciążenia CPU, problemów z trasowaniem i całkowitego poboru mocy.

1 MIPI CSI-2 kontra równoległy DVP kontra USB 3.0 Type-C

MIPI CSI-2 (szeregowy interfejs kamery): W zastosowaniach AI na brzegu sieci MIPI CSI-2 jest zdecydowanym zwycięzcą. Prowadząc różnicowe linie zegara i danych przez warstwę fizyczną D-PHY, przesyła nieskompresowane 14-bitowe lub 16-bitowe surowe klatki prosto do pamięci SoC przez bezpośredni dostęp do pamięci (DMA). Ponieważ odbiór klatek jest obsługiwany sprzętowo, obciążenie CPU hosta spada niemal do zera. Opóźnienie pozostaje deterministyczne i minimalne (< 5 ms), co jest kluczowe przy sterowaniu szybką robotyką lub locie dronem nisko przez przeszkody.

USB 3.0 / USB-C: 1 MIPI CSI-2 kontra równoległy DVP kontra USB 3.0 Type-C.

W zastosowaniach edge AI MIPI CSI-2 jest zdecydowanym zwycięzcą. Prowadząc różnicowe linie zegara i danych przez warstwę fizyczną D-PHY, przesyła nieskompresowane 14-bitowe lub 16-bitowe surowe klatki prosto do pamięci SoC za pośrednictwem bezpośredniego dostępu do pamięci (DMA). Ponieważ odbiór klatek jest obsługiwany sprzętowo, użycie CPU hosta spada niemal do zera. Opóźnienie pozostaje deterministyczne i niewielkie (< 5 ms), co jest kluczowe, gdy sterujesz szybką robotyką lub lecisz dronem nisko przez przeszkody. USB 3.0 / USB-C:.

Tekst do przetłumaczenia jest następujący:

Under embedded Linux, handling thermal frames cleanly requires the Video4Linux2 (V4L2) driver framework along with the Media Controller API, supported by an out-of-band I2C or SPI link for configuration commands:

Configuring Native Radiometric Formats: Visible cameras shoot YUYV, RGB, or packed Bayer data. Thermal cores deliver uncalibrated raw values or linear temperature data via 14-bit or 16-bit integers per pixel. Make sure your driver requests and supports native 16-bit greyscale frames:

#define V4L2_PIX_FMT_Y16 v4l2_fourcc('Y', '1', '6', ' ') /* 16-bit Greyscale */

If you mistakenly set up your V4L2 driver for standard 8-bit greyscale (V4L2_PIX_FMT_GREY), the kernel buffer will drop half your bits on the floor. That ruins your dynamic range and obliterates the tiny temperature differences you need for radiometry.

Zero-Copy Memory Transfers: Shoving 16-bit thermal video at 1280×1024 resolution and 60 Hz burns through memory bandwidth fast. To keep your CPU free for AI tasks, configure your capture buffers using V4L2_MEMORY_MMAP lub V4L2_MEMORY_DMABUF. This lets downline processing stacks—OpenCV, NVIDIA DeepStream, or a custom TensorRT engine—grab frame buffers directly without expensive memory copies across kernel space.

Kalibracja radiometryczna, NUC i praca bez migawki

Every single pixel in a microbolometer array is an isolated, micromachined thin-film resistor with slight variations in thermal resistance and responsiveness. Without real-time, on-the-fly correction, the raw frame looks like static on an old tube TV, covered in fixed-pattern noise (FPN).

4.1 Flat-Field Correction (FFC) & Shutter Mechanical Reliability

The standard way to kill this noise pattern is Flat-Field Correction (FFC). FFC adjusts for two distinct variables: per-pixel gain differences and per-pixel offset drift.

Traditionally, FFC relies on an internal mechanical shutter paddle coated in an emissive black finish. Every few minutes, a solenoid swings the paddle in front of the FPA for a fraction of a second. The core samples this uniform temperature reference and recalculates its offset values:

Y_corrected(i, j) = Gain(i, j) × [ X_raw(i, j) − Offset(i, j) ]

In the field, that paddle introduces several engineering trade-offs:

• ⚙️ Frame Freeze: When that shutter drops, the video feed stalls for 200 ms to 1000 ms. If you're tracking an object at high speed, that dropout can break target lock. Your software stack needs predictive tracking (like a Kalman filter) to carry target states across the pause.
• ⚙️ Actuator Wear: Solenoids are moving mechanical parts. They typically max out between 500,000 and 2,000,000 cycles, and they don't like heavy vibration or freezing conditions.
• ⚙️ Going Shutterless: High-reliability applications skip the mechanical paddle entirely. Shutterless cores run Scene-Based Non-Uniformity Correction (SBNUC) paired with temperature telemetry from thermistors embedded across the lens barrel, housing, and ROIC. Firmware adjusts offsets in real time, delivering a non-stop, freeze-free video stream.

4.2 Two-Point Calibration & Pixel-Level Radiometric Equations

True radiometric cores measure exact scene temperatures rather than just relative contrast. Turning 14-bit or 16-bit raw values into actual physical degrees Celsius requires solving the full infrared radiative transfer model:

DN_measured = R × [ ε × L(T_object) + (1 − ε) × L(T_reflected) + τ_atm × L(T_atmosphere) ] + DN_offset

Here are the key factors in play:

• ⚙️ ε (Target Emissivity): How efficiently the surface emits infrared energy compared to an ideal blackbody (0.0 ≤ ε ≤ 1.0). Bare, polished metals have terrible emissivity (ε ≈ 0.05 to 0.15) and act like infrared mirrors, bouncing ambient heat. Human skin, matte coatings, and plastics run high emissivity (ε ≈ 0.95 to 0.98), making them straightforward to read.
• ⚙️ L(T): The spectral radiance calculated using Planck's Radiation Law across the 8 to 14 µm band.
• ⚙️ T_reflected: The background temperature reflecting off the target and into your lens.
• ⚙️ τ_atm: The atmospheric transmission factor, which drops off over long distances or in high humidity due to airborne water vapor absorption.
• ⚙️ R: The core's optoelectronic responsivity, established at the factory using blackbody calibration wells.

If you're setting up precision rigs that depend on calibrated lens-to-sensor data, check out the configurations used in the Mini2 640x512 Lens Solutions to see how varied focal lengths are matched to sensors.

Potoki wizyjne Edge AI i multispektralne przetwarzanie obrazu

Running neural networks over raw thermal imagery requires a deliberate pre-processing chain. Most object detection networks are built for standard 8-bit, 3-channel RGB imagery with plenty of textural detail. Shoving uncalibrated, high-dynamic-range 14-bit data directly into an inference engine leads to collapsed gradients, missed edges, and lower confidence scores.

5.1 Pre-Processing: 14-bit/16-bit Raw Data to 8-bit AGC & CLAHE

An uncooled microbolometer ADC produces 14 bits of dynamic range per pixel, representing 16,384 distinct values. But embedded AI models expect 8-bit values (0 to 255). You cannot simply divide by 64; doing that crushes your target details. A cold sky background at −30 °C will swallow the dynamic range, squeezing everything happening on the ground into a narrow, low-contrast band of dark pixels.

To retain critical details for inference, use an adaptive dynamic range compression pipeline:

1. Plateau-Equalized Histogram (PEH): Standard histogram equalization tends to blow out background noise in scenes with uniform temperatures (like open water or concrete pads). Plateau equalization caps individual histogram bins with a clipping ceiling. Any excess is distributed evenly across the dynamic range, preventing large, flat areas from consuming the available 8-bit spectrum.

2. Contrast Limited Adaptive Histogram Equalization (CLAHE): CLAHE processes frames in local patches (usually 8×8 or 16×16 pixel tiles). Equalizing contrast locally sharpens edges, outlines warm engine blocks, and highlights human silhouettes without washing out global dynamic range.

3. Edge-Preserving Bilateral Filtering: Microbolometers exhibit more high-frequency spatial noise than visible image sensors. Running a fast bilateral or guided filter before dynamic range compression scrubs out random pixel noise while keeping structural thermal edges crisp for your detector.

5.2 Deep Learning Inference: YOLOv8 / RT-DETR with Thermal & RGB Fusion

Autonomous drone gimbals, security turrets, and industrial robots frequently run multispectral setups: pairing an LWIR core with an RGB camera. When deploying real-time networks like YOLOv8 or RT-DETR onto an embedded platform like an NVIDIA Jetson Orin NX using TensorRT, you have three primary architectural choices:

Early Fusion: The thermal feed is warped via homography matrices to align with the visual camera's perspective. The registered thermal channel is concatenated directly with the RGB image, creating a 4-channel input tensor (RGB-T) for a single network backbone. This approach keeps compute overhead low, but requires tight mechanical alignment. Parallax error between lenses across varying depths can throw off detection performance.

Late Fusion: This setup runs two independent models simultaneously: one handling processed 8-bit thermal frames, the other processing visual RGB video. Output bounding boxes, classes, and confidences are merged downstream using multispectral Non-Maximum Suppression (NMS) or Bayesian models. The clear benefit is redundancy: if dust or smoke blinds the visual camera, the thermal branch keeps tracking. The downside: dual backbones roughly double your compute load and memory bandwidth.

Mid-Level Feature Fusion: This is the current cutting edge for multispectral detection. Visual and thermal inputs run through separate initial feature extraction layers. At intermediate stages (such as P3, P4, and P5 feature pyramid levels), cross-attention blocks swap spatial and contextual cues between streams. The thermal stream surfaces heat signatures (revealing camouflaged assets or hidden personnel), while the RGB stream adds fine surface markings and textures. The blended features pass to a common detection head, yielding high classification accuracy even in difficult conditions.

Porównawczy przegląd produktów Purpleriver OEM LWIR

To help engineers and system architects pick the right core for their application, the table below highlights two production-grade LWIR cores from Purpleriver. These units cover distinct integration needs: ultra-compact, low-power packaging for airborne systems, and high-resolution imaging for long-range monitoring and metrology.

To inspect production line calibration procedures, optical cleanroom metrics, and optomechanical quality controls, check the About Our Engineering Team overview.

Często zadawane pytania (techniczne FAQ wgłębne)