دليل وحدة الكاميرا الحرارية MIPI: تكامل الذكاء الاصطناعي عالي الدقة على الحافة لـ Raspberry Pi والطائرات بدون طيار

لنكن صريحين: لطالما كان جعل التصوير بالأشعة تحت الحمراء عالي الأداء يتوافق مع أجهزة الحوسبة المدمجة صداعًا كبيرًا لمهندسي النظم. في الماضي، كنا عالقين في توجيه خطوط SPI بطيئة ومنخفضة النطاق الترددي، أو نعاني مع واجهات متوازية خاصة قديمة، أو نستنزف ميزانيات الطاقة بإعدادات USB ضخمة ومستهلكة للطاقة. لكن الأمور تغيرت. لقد أدى وصول MIPI CSI-2 (الواجهة التسلسلية للكاميرا 2 الخاصة بمعالج صناعة الهواتف المحمولة) المعيار في مجال LWIR غير المبرد (الأشعة تحت الحمراء طويلة الموجة) إلى تغيير قواعد اللعبة بالكامل، ليجسر فجوة مادية ومعمارية هائلة.

من خلال تغذية إطارات حرارية خام عالية الدقة مباشرة إلى معالج إشارات الصور (ISP) أو وحدة معالجة الرسوميات (GPU) الخاصة بالمعالج المضيف - متجاوزة تمامًا اختناقات USB وSPI المعتادة - فتحت الوحدات الحرارية المزودة بتقنية MIPI الباب أمام التعلم الآلي الفوري فائق الانخفاض في زمن الانتقال على الحافة. نحن نتحدث عن تشغيل نماذج ثقيلة لاكتشاف الأجسام على أجهزة محمولة خفيفة الوزن مثل Raspberry Pi 4/5 وNVIDIA Jetson Orin Nano دون عناء.

دليل التكامل هذا هو دليلك الميداني. سواء كنت تبني حمولات للطائرات بدون طيار، أو تعد روبوتات مصانع مستقلة، أو تصمم مراكز مراقبة ذكية، فإن هذا المستند يفصل تخطيط العتاد على مستوى النحاس، وإعدادات التعريفات، وخطوط البرمجيات اللازمة لربط وحدة كاميرا حرارية MIPI عالية الدقة بالمعالجات المضيفة الحديثة. سنضع أيضًا بعض الوحدات التجارية الواقعية المعتمدة على ASIC تحت المجهر لترى كيف تترجم هذه المفاهيم إلى عتاد مادي مبني لتحمل العوامل الجوية.

MIPI CSI-2 مقابل الواجهات الحرارية القديمة: التحليل المعماري الحاسم

لنرى لماذا يُعد أنبوب MIPI CSI-2 الحراري المباشر الخيار الوحيد المنطقي للتعلم الآلي عالي الأداء على الحافة، دعونا ننظر إلى ما يحدث تحت الغطاء مقارنة بالنواقل القديمة مثل SPI أو USB أو الواجهات المتوازية (DVP).

إليكم المشكلة مع العتاد القديم: مع USB أو SPI، تضطر إطاراتك الحرارية الخام إلى اتخاذ منعطف طويل ومتعرج. يتم دفع البيانات عبر وحدة تحكم USB وسيطة أو شريحة جسر، وتنتقل عبر كابل، وتصل إلى مكدس برمجيات نظام التشغيل المضيف. هذا يعني أن وحدة المعالجة المركزية تُقاطع باستمرار لمعالجة حزم USB، مما يجبر أنظمتك على تحمل عقوبات زمن انتقال كبيرة، وأحمال عالية على وحدة المعالجة المركزية، وحزم أسلاك مادية أضخم.

إعداد MIPI المباشر إلى الناقل يغير كل ذلك. فهو يربط نواة المستشعر الحراري غير المبرد مباشرة بـ ASIC مخصص على اللوحة. من هناك، تنتقل البيانات عبر كابل شريطي MIPI CSI-2 مخصص ومحمي من الضوضاء مباشرة إلى منفذ دخول الفيديو الفعلي لنظام الشريحة على الرقاقة (SoC) المضيف. بفضل DMA العتادي (الوصول المباشر للذاكرة)، يتم إلقاء مصفوفات الفيديو الخام الواردة بتنسيق 14-بت (Y14) مباشرة في ذاكرة النظام دون طلب إذن من أنوية وحدة المعالجة المركزية الرئيسية. النتيجة؟ زمن انتقال فيزيائي أقل من ميلي ثانية.

نطاق ترددي عالٍ وأدنى زمن انتقال

يعمل بروتوكول MIPI CSI-2 عبر الطبقة الفيزيائية MIPI D-PHY الطبقة المادية، باستخدام أزواج إشارات تفاضلية عالية السرعة تتكون من مسار ساعة مخصص واحد وما يصل إلى أربعة مسارات بيانات. حتى التكوين الأساسي أحادي المسار D-PHY v1.1 يمنحك 1.5 جيجابت في الثانية من النطاق الترددي المادي الخام.

قارن ذلك بـ SPI، الذي يصل إلى حده الأقصى حوالي 50 ميجاهرتز (فعليًا 50 ميجابت في الثانية). بالتأكيد، يمكن لـ SPI التعامل مع مستشعر حراري صغير منخفض الدقة 160 × 120 يعمل بتردد بطيء 9 هرتز. ومع ذلك، إذا كنت تعمل على مستشعر احترافي بدقة 640 × 512 ينتج 30 إطارًا في الثانية بعمق إشعاعي كامل 14 بت، فلديك بعض العمليات الحسابية الثقيلة للتعامل معها:

معدل البيانات = 640 × 512 × 30 إطار/ثانية × 14 بت/بكسل ≈ 137.6 ميجابت في الثانية

لا يمكنك دفع ذلك عبر ناقل SPI دون توهين كبير للإشارة، وانحراف في الساعة، وأخطاء توقيت. ومحاولة دفع تلك المصفوفة الخام عبر USB 2.0 تغلف حزم الفيديو في إطارات بروتوكول معقدة، مما يرفع استخدام وحدة المعالجة المركزية إلى مستويات حرجة. يحافظ MIPI CSI-2 على البساطة عن طريق توجيه البكسلات الخام مباشرة، متخلصًا من ثقل البروتوكول ومخفضًا زمن الانتقال من الزجاج إلى الذاكرة إلى ما يقرب من الصفر.

في المجالات الواقعية عالية المخاطر مثل تجنب الاصطدام في المركبات الجوية غير المأهولة ذاتية القيادة، يمكن أن تشكل سرعة الالتقاط الخام الفارق الحرفي بين مهمة ناجحة وتحطم كامل. عند استخدام واجهة MIPI، يحصل نظام الرقاقة على حالة مستشعر الميكروبولومتر غير المبرد إطارًا تلو الآخر دون أي تأخير، مما يمنح خوارزمياتك البرمجية السرعة اللازمة لاكتشاف العوائق وتصحيح المسار فورًا.

داخل العتاد: معالجة ASIC وسلسلة إشارة الميكروبولومتر LWIR غير المبرد

لنرفع الدرع المعدني وننظر إلى السيليكون. جهاز وحدة كاميرا حرارية MIPI متطور هو أداة كهروبصرية دقيقة. مهمته هي أخذ الأشعة تحت الحمراء طويلة الموجة (التي تتراوح من 8 ميكرومتر إلى 14 ميكرومتر) وتحويل تلك الفوتونات إلى حزم رقمية متسلسلة ونظيفة جاهزة لوحدة المعالجة المركزية المضيفة لديك.

أولاً، يمر ضوء الأشعة تحت الحمراء عبر عدسة احترافية أساسية من الجرمانيوم، مثل بصريات ثابتة بحجم 9 مم. نظرًا لأن الزجاج العادي يحجب ضوء الأشعة تحت الحمراء طويلة الموجة، فإن الجرمانيوم هو المادة المفضلة هنا. تقوم العدسة بتركيز تلك الطاقة الحرارية على مصفوفة مستوية بؤرية مكتظة بميكروبولومترات غير مبردة من أكسيد الفاناديوم أو ثنائي السيليكون.

كل بكسل في تلك المصفوفة هو عبارة عن هيكل جسري مجهري معلق فوق السيليكون. عندما يصطدم فوتون من الأشعة تحت الحمراء بهذا الجسر، تتغير درجة حرارة الغشاء، مما يغير مقاومته الكهربائية. تقوم دائرة متكاملة للقراءة موصولة مباشرة أسفل مصفوفة الميكروبولومتر بمسح هذه التغيرات، وتطبيق تيارات انحياز، وتحويل تلك الإشارات التناظرية إلى قيم رقمية خام عالية الدقة عبر محولات تناظرية رقمية على الرقاقة (تنتج عادةً قيمًا خامًا بت 14 أو 16 بت).

الدور الحيوي للدائرة المتكاملة محددة التطبيق على اللوحة

إذا حاولت تغذية بيانات الميكروبولومتر الخام مباشرة إلى معالج مضيف دون تنظيفها أولاً، ستختنق وحدة المعالجة المركزية لديك. بيانات الميكروبولومتر الخام فوضوية بشكل لا يصدق: فهي مليئة بعدم التجانس المكاني، والبكسلات الميتة، والضوضاء الحرارية. لهذا السبب تستخدم نوى MIPI الحرارية عالية الجودة دائرة متكاملة محددة التطبيق على اللوحة للتعامل مع المهام الثقيلة قبل أن تصل البكسلات إلى خطوط MIPI.

فيما يلي مراحل المعالجة الأساسية للأجهزة التي تديرها الدائرة المتكاملة محددة التطبيق في الوقت الفعلي:

⚙️ تصحيح عدم التجانس (NUC): تعوض هذه الخطوة عن الانحراف بين البكسلات. بمرور الوقت، تتسبب حرارة الكاميرا الداخلية في إبلاغ البكسلات بشكل مختلف. تطبق الدائرة المتكاملة محددة التطبيق مصفوفات كسب وإزاحة في الوقت الفعلي، وتغلق مؤقتًا مصراعًا ماديًا داخليًا لإنشاء خط أساس لنقطة الصفر.
⚙️ استبدال البكسل التالف (BPR): عندما يموت بكسل ميكروبولومتر أو يعلق، تقوم الدائرة المتكاملة محددة التطبيق باستيفاء بيانات البكسل المحيطة لتغطيته بشكل فوري.
⚙️ التصفية المكانية والزمانية: يستخدم هذا خوارزميات تقليل الضوضاء التكيفية ثلاثية الأبعاد لخفض فرق درجة الحرارة المكافئ للضوضاء في الجهاز، مما يجعل الصورة واضحة حتى في المشاهد التي تكون فيها درجة الحرارة متساوية تقريبًا.
⚙️ التحكم التلقائي في الكسب وضغط النطاق الديناميكي: إذا كنت تريد فيديو قابل للقراءة البشرية، لا يمكنك فقط عرض تيار خام بت 14. تضغط الدائرة المتكاملة محددة التطبيق هذا النطاق الديناميكي الهائل إلى خرج عالي التباين بت 8 (باستخدام خوارزميات تباين مكانية مثل CLAHE).
⚙️ إدراج بيانات القياس عن بعد والبيانات الوصفية الإشعاعية: تقوم الدائرة المتكاملة محددة التطبيق بتضمين قيم درجة الحرارة المحسوبة مباشرة في خطوط الطمس لكل حزمة فيديو. هذا يسمح لشفرتك باستقصاء تقدير درجة الحرارة الدقيقة لأي بكسل واحد دون الحاجة إلى تحليل تيار بيانات منفصل تمامًا.

بمجرد معالجتها، تقوم ASIC بتغليف هذه البيانات في إطارات MIPI نظيفة (غالبًا باستخدام صيغ 14-bit raw أو UYVY أو RGB). تقوم أجهزة الإرسال الفيزيائية D-PHY بتسلسل هذه البيانات ودفعها عبر المسارات التفاضلية عالية السرعة. وفي الوقت نفسه، تنتقل أوامر التكوين وتعديلات السجلات والأوامر ذهابًا وإيابًا عبر واجهة التحكم بالكاميرا (CCI) - وهي في الواقع مجرد خط ساعة I2C قياسي يعمل في الوضع السريع بتردد يصل إلى 400 كيلو هرتز.

التكامل المدمج: دليل خطوة بخطوة لإعداد التعريفات وشجرة الأجهزة وخط أنابيب V4L2

إذا كنت تعمل في الورشة لتوصيل إحدى هذه الوحدات بلوحة مضمنة مثل BCM2711/BCM2712 (الموجودة في Raspberry Pi 4/5) أو NVIDIA Jetson، فأنت بحاجة إلى التأكد من محاذاة توصيلات الدبابيس (pinouts) الخاصة بجهازك، وشجرة الأجهزة (device tree)، وطبقات V4L2.

تخطيط توصيلات الدبابيس الفيزيائية

في معظم الإعدادات، يتصل قلب المستشعر بالمضيف عبر كابل شريطي مرن مطبوع (FPC) ذي خطوة دقيقة مكون من 15 سنًا أو 22 سنًا. تأكد من توصيل هذه الخطوط تمامًا على لوحتك:

⚙️ VCC (قضبان الطاقة): يتطلب عادةً خطوط طاقة أساسية منفصلة 3.3 فولت و 1.8 فولت وأحيانًا 1.2 فولت.
⚙️ GND (الأرضي): من الضروري لف دروع أرضية عالية التردد حول خطوط الساعة والبيانات التفاضلية للقضاء على التداخل تمامًا.
⚙️ MCLK (الساعة الرئيسية): إشارة $24\text{ MHz} - 27\text{ MHz}$ يوفرها المضيف لتشغيل آلة الحالة الداخلية لـ ASIC.
⚙️ I2C SDA / SCL (CCI): يتحكم في قراءة وكتابة السجلات.
⚙️ MIPI CLKP / CLKN: زوج خطوط الساعة التفاضلية.
⚙️ MIPI D0P/N & D1P/N: مساران من أزواج البيانات التفاضلية للإرسال.
⚙️ PWDN / RESET: دبابيس GPIO قياسية لتدوير الطاقة وإعادة ضبط ASIC بشكل كامل.

دمج شجرة الأجهزة (ملف مصدر DTSI)

لإعلام نواة لينكس بوجود قلب كاميرا يستمع على منفذ CSI الفيزيائي، يجب عليك كتابة وترجمة تراكب شجرة الأجهزة (.dtbo). إليك ملف شجرة أجهزة مُختبر يمكنك تكييفه لتسجيل قلب حراري مُدار بواسطة ASIC على عنوان I2C 0x30:

/dts-v1/;

التحقق من نظام V4L2 الفرعي والتحكم في خط الأنابيب

بمجرد ترجمة هذا التراكب وتشغيل نظامك، يجب أن تلتقط برامج تشغيل لينكس القياسية كاميرا MIPI وتعينها مباشرة كجهاز Video4Linux2. لنجرِ فحصًا سريعًا من الطرفية لتأكيد تسجيل الناقل الفيزيائي بشكل صحيح:

# استعلام النظام لتأكيد ارتباط المشغل

يجب أن يظهر في الطرفية مخرج واضح مثل هذا، مما يشير إلى أن مستقبل CSI للأجهزة قد حلل التراكب:

Unicam Video Capture (platform:fe801000.csi):

الآن، لنستعلم عن عقدة الجهاز المحددة لمعرفة نوع تكوين بيانات البكسل الذي ترسله الدائرة المتكاملة المخصصة (ASIC) عبر واجهة MIPI:

# عرض الدقائق المدعومة وصيغ البكسل

يجب أن ترى صيغًا لكل من البيانات الخام وتدفقات الفيديو النظيفة والمعالجة:

ioctl: VIDIOC_ENUM_FMT

إذا كنت ترغب في التقاط بعض الإطارات الخام وتفريغها مباشرة إلى القرص دون تحميل أي مكتبات فك تشفير ثقيلة، قم بتشغيل أمر الاختبار الطرفي هذا:

# التقاط إطارات Y14 الخام الإشعاعية مباشرة من وحدة MIPI

محرك التقاط في الوقت الفعلي وتحويل إشعاعي قائم على بايثون

لسحب هذا التدفق إلى خط أنابيب رؤية حاسوبية حقيقية، يمكنك كتابة غلاف بايثون خفيف باستخدام OpenCV. سيقوم هذا الكود بربط تدفق الإطار، وقراءة تعدادات البكسل الخام، وتحويلها إلى درجات حرارة سطح فعلية، وعرض تخطيط حراري موضعي:

import cv2

عروض المنتجات الصناعية: مقارنة المواصفات التقنية

عند توفير مستشعرات الأشعة تحت الحمراء غير المبردة لنشر منتج حقيقي، يجب موازنة المواصفات الميكانيكية وأنواع الواجهات مقابل حدود الحجم والوزن والطاقة (SWaP) لحمولتك. دعونا نلقي نظرة على نواتين حراريتين تجاريتين فائقتَي الصغر مصممتين للتعامل مع تحديات التكامل هذه في الميدان.

عرض المنتج 1: وحدة كاميرا التصوير الحراري Mini2 640x512 9mm للطائرات بدون طيار

Mini2 هي نواة حرارية فائقة الخفة وصغيرة الحجم مصممة لتُركب على محاور التثبيت الدقيقة، وهياكل الطائرات بدون طيار التجارية، والأطراف الروبوتية ذات المساحة الحرجة.

نظرة عامة تقنية:
وحدة التصوير الحراري بالأشعة تحت الحمراء غير المبردة Mini2 بدقة 640×512 وعدسة 9 مم للطائرات بدون طيار صُممت من الألف إلى الياء للحمولات الجوية الحرجة الوزن. من خلال الجمع بين مصفوفة ميكروبولومتر VOx غير المبردة عالية الحساسية وعدسة 9 مم مصنعة بدقة، تقدم هذه الوحدة صورًا حرارية بعيدة المدى فائقة الوضوح. ولأنها تُخرج قياسات إشعاعية خام وإطارات مُفلترة مباشرة من واجهة MIPI CSI-2, المدمجة، فإنك تتجاوز محولات USB الضخمة والمستهلكة للطاقة. وهذا يُترجم إلى أوقات طيران أطول، ومشاكل أقل في تثبيت الحمولة، ومقاييس تتبع نظيفة على الهدف.

عرض تفاصيل المنتج والأسعار ➔

عرض المنتج 2: وحدة كاميرا المستشعر الحراري ASIC

تجمع هذه الوحدة بين نواة غير مبردة من الدرجة الصناعية ولوحة واجهة متعددة الاستخدامات، مما يجعلها مثالية لأنظمة الأمان الثابتة، ومراقبة الشبكات، ومصفوفات سلامة المصانع.

نظرة عامة تقنية:
وحدة كاميرا المستشعر الحراري بالأشعة تحت الحمراء غير المبردة RJ45 CVBS RTSP IP بدقة 640*512 مبنية حول نواة معالجة ASIC قوية للعمل بشكل مستمر في البيئات الصعبة. تتميز هذه الوحدة باحتوائها على أجهزة شبكات أصلية. تحصل على إمكانيات RJ45 لبث الفيديو مباشرة عبر RTSP/RTMP، بالإضافة إلى خطوط فيديو CVBS التناظرية للتوصيل مباشرة بشاشات الأمان القديمة. إذا كنت تبني نظام مراقبة صناعيًا أكبر أو شبكة مراقبة حريق لمنشأة، فإن مرونة المنافذ المتعددة هذه توفر عليك عناء ربط وحدات تحكم نظام خارجية متسلسلة.

عرض تفاصيل المنتج والأسعار ➔

مصفوفة المواصفات المقارنة

دعنا نضع هاتين النواتين جنبًا إلى جنب لترى كيف تتوافق مواصفات أجهزتهما مع أهداف التصميم الخاصة بك:

نماذج نشر الذكاء الاصطناعي على الحافة والأنظمة الجوية

إن أخذ نواة MIPI خام غير مبردة وتثبيتها على هيكل طائرة بدون طيار نشطة ومستقلة يطرح تحديات فيزيائية وكهربائية. لتجنب الأعطال الميدانية، يجب أن تضع هذه العوامل الفيزيائية الأساسية في الاعتبار:

التدريع الكهرومغناطيسي (الحماية من التداخل الكهرومغناطيسي EMI)

الطائرات بدون طيار مليئة بالإلكترونيات المزعجة. وحدات التحكم في السرعة الحديثة متعددة المراوح (ESCs)، وخطوط القياس عن بعد التي تعمل على 915 ميجاهرتز، وأجهزة إرسال الفيديو الرقمية تطلق الكثير من الضوضاء عالية التردد. تعمل كابلات الكاميرا الشريطية القياسية كهوائيات، فتلتقط هذا التداخل وتفقد الحزم، مما يسبب تجمد الإطارات أو توقف الناقل الفيزيائي.

لتجنب ذلك، قم بلف خطوطك المرنة الفعلية بأشرطة حماية من النحاس أو الألومنيوم، وتأكد من توصيل هذا الدرع مباشرة بهيكل الكربون المركزي للطائرة بدون طيار. هذا يوجه الضوضاء بعيدًا عن الخطوط الحساسة عالية السرعة، مما يحافظ على نظافة إشارتك.

توزيع طاقة منخفض الضوضاء

عندما تضغط طائرتك بدون طيار على دواسة الوقود، تنخفض البطارية في الجهد أو ترتفع. أجهزة قياس الميكروبولومتر غير المبردة حساسة للغاية لتقلبات مدخلات الطاقة. إذا كان خط الطاقة لديك مشوشًا، فسترى نطاقات أفقية عبر الفيديو الحراري الخاص بك.

لمنع ذلك، استخدم منظم جهد خطي منخفض التسرب (LDO) مخصص ذو نسبة رفض عالية لإمداد الطاقة (PSRR) لتغذية النواة الحرارية. هذا يفصل المدخلات التناظرية للمستشعر عن انخفاضات البطارية وضوضاء تبديل المحرك.

عزل الاهتزازات الميكانيكية

محركات ومراوح الطائرات بدون طيار تخلق اهتزازات دقيقة عالية التردد. هذه الاهتزازات تسبب تشوهًا فيزيائيًا وضبابية حركة في الصور الحرارية، ويمكن أن تضغط على توصيلات الكابلات المرنة الفعلية بمرور الوقت.

لإصلاح ذلك، استخدم كرات تخميد مطاطية ناعمة (استهدف تصنيف صلابة شور من 30A إلى 40A) على حوامل المستشعر الخاصة بك. هذا يحافظ على عزل الكاميرا ويحمي دقتك المكانية البالغة 12 ميكرون من التشويه أثناء الرحلات عالية السرعة.

تصميم خط أنابيب الاستدلال بالذكاء الاصطناعي في الوقت الفعلي

استخدام واجهة MIPI مباشرة مع معالج مصاحب قوي (مثل Jetson Orin Nano) يسمح لك بتشغيل نماذج حديثة لاكتشاف الأجسام مثل YOLOv8 بشكل فوري. سير العمل هذا فعال للغاية لعمليات البحث والإنقاذ، أو الفحوصات الهيكلية، أو الدوريات الأمنية الآلية.

نظرًا لأن MIPI تتجاوز طبقات تحويل USB المعقدة، تتدفق الإطارات الخام إلى الذاكرة مع تأخير شبه معدوم. فيما يلي غلاف Python جاهز للتكامل يستخدم محرك تنفيذ TensorRT من NVIDIA لتشغيل استدلال عالي السرعة على إطارات حرارية خام:

import sys

الأسئلة الشائعة المتعمقة للمطورين (استكشاف الأخطاء التقنية وإصلاحها)