آماده سازی دوربین AI در لب با ISP HiSilicon و NPU

یک خط لوله ی سخت افزار متحد شده هي سيليکان تراشه هاي اينجا عاليه آنها پردازشگر سیگنال تصویر (ISP) و واحد پردازش نفوذ (NPU) را به عنوان یک سیستم کار می کنند. این روش دستگاه های قدرتمندی AI برای کاربردهای AI مدرن ایجاد می کند.

مزایای کلیدی از AI آن- دستگاه:

• ⬇ششدریاچه کاهش یافته:سریعتر واکنش
• ⬆شش& حداکثر:اطلاعات بیشتر به صورت محلی پردازش میشه
• 🔒افزایش خصوصی:اطلاعات حساسی روی دستگاه باقی می ماند.

رشد سریع انرژی محاسبات AI روی دستگاه این مزایای را نشان می دهد. پردازش دستگاه به طور قابل توجهی از گزینه های ابر در حال گسترش سریع است.

این راهنما برای ساختن این سیستم های دوربین AI با NPU استفاده می کند.

حذف کلید

• تراشه های سیلیکنآی اسپ و NPU رو ترکیب کن اين باعث ميشه دوربين AI روي دستگاه هاي لبه خيلي خوب کار کنه.
• دستگاه سازمان سریع و خصوصیه اين اطلاعات محلي رو پردازش ميکنه که اطلاعات حساسي رو امن نگه داره
• ISP تصاویر برای مدل AI آماده می کند. مطمئن ميشه که جزئيات مهم رو ببينه نه فقط عکس هاي زيبايي
• NPU يکيهتراشه ويژهبراي اي آي وظایف AI بسیار سریعتر را اجرا می کند و از قدرت کمتر از یک تراشه کامپیوتر استفاده می کند.
• اتصال ISP و NPU مستقیماً زمان ذخیره می کند. این روش "صفر-کپی" سیستم AI رو بسیار کاربرد میکنه.

ارتفاع پاپیلین برای کامرا در انتهایی

یک لوله ی سخت افزار طراحی شده بنیاد موثر است.دوربین AI روی لبه. این معماری تعریف می کندحسگربه مدل اي آي مسیر اطلاعات معمولی در a HiSilicon SoC: سنسور → ISP → DDR → NPU است. این فرایند دستگاه برای حریم خصوصی ضروری است. این عکس ها رو به طور محلی پردازش میکنه، داده های حساس را از ابر و سیستم اصلی دور نگه میدارهحافظه.

. . . . . . .

پردازشگر علامت تصویر (ISP) داده های تصویری برای مدل AI آماده می کند. هدف آن با آماده کردن تصاویر برای چشمان انسان فرق دارد . یک ISP که برای دید ماشین تنظیم شده مستقیماً عملکرد الگوریتم های AI را بهینه می سازد.

برخی از توابع ISP برای AI مهمتر است.نقشه ی تون به طور قابل توجهی دقت طبقه بندی را بهبود می دهد. با این حال، کاهش صداهای سنتی گاهی گاهی اوقات می تواند با محو کردن جزئیات خوبی که یک مدل AI از آن استفاده می کند صدمه بزند.

. . . .

واحد پردازش نفوذ (NPU) یک پردازنده تخصص برای AI است. این شتاب سخت افزار برای تصویر AI فراهم میکنهHSilicon NPUs حاوی موتورهای اختصاصی برای شتاب کردن عملیات شبکه نفوذ (CNN) دارند.این تخصص سازی واحد پردازش نحی رو بسیار کارآمد میکنه

چرا ان پي اي براي اي آي بهتره؟

• به طور خاص برای ریاضی شبکه عصبی طراحی شده است.
• از قدرت خیلی کمتر از یک CPU یا GPU برای وظایف AI استفاده می کند.
• ویژگی های اضافی برای بهینه سازی انرژی

این کاربردی NPU را برای دستگاه های قدرت باطری ایجاد می کند که AI دوربین در لبه اجرا می کند. NPU بدون هزينه بالاي برق شتابي قدرتمندي رو به همراه مياره

آزمایش اعتباری: SENSOR به NPU

جریان بهینه داده ISP و NPU را به یک سیستم متصل می کند. سنسور تصوير نور رو ميگيره ISP داده های خام را به یک قالب مناسب برای مدل AI پردازش می کند. اطلاعات سپس به واحد پردازش خنثي براي تحليل حرکت ميکنه این مسیر مستقیم کمینه را به حداکثر می دهد و به حداکثر تری را می دهد. NPU بالا رفتن سنگين برنامه ي AI رو انجام ميده تمام اين جريان کار روي تراشه اتفاق مي افته این سیستم سریع، خصوصی و کارآمد برای برنامه های پیشرفته AI را ایجاد می کند.

AI-AARE ISP TUNING

تنظیم ISP برای مدل AI با تنظیم چشمان انسان متفاوت است. یک ISP آگاهی AI داده های تصویر را برای حداکثر دقت مدل آماده می کند، نه جذاب بصری. این شامل تجارت های عمدایی در پردازش تصویر میشه توسعه دهندگان می توانند با هم تراز کردن تنظیمات ISP با نیازهای خاص شبکه عصبی را باز کنند. این روش اطمینان می دهد که NPU مفیدترین داده های ممکن را دریافت می کند.

هاردوار ......

توسعه دهندگان می توانند با استفاده از سخت افزار اختصاص ISP یا قابلیت های نرم افزار CPU انجام دهند. برای دستگاه های لبه، پیش پردازش سخت افزار تقریبا همیشه انتخاب برتری است. سخت افزار ISP به عنوان شتاب دهنده قدرتمند برای عملکرد های خاص مانند مقیاس و تبدیل فضای رنگ عمل می کند. این روش سودمند عظیمی را فراهم می کند.

یک روش بر اساس سخت افزار استفاده از قدرت قابل توجه کمتر است. پیش پردازش ISP می تواند باشدده تا 100 درانرژي بيشتر از اجراي يک عمليات روي پردازش پردازي در سیستم های حلزونی بالا، یک خط لوله ای بر مبنای CPU می تواند اطراف مصرف شود.۱۰۰۰ میلی وات در هر مگا پیکسل، که ده برابر بیشتر از خود حسگر تصویر است.. آژانس از اين نقاشي سنگين برق دوري مي کنه

جدول زیر این دو روش را مقایسه می کند:

یادداشت:در حالی که نرم افزار انعطاف بیشتری ارائه می دهد، هزینه عملیات برق و پهنای باند حافظه آن را برای بیشتر کاربردهای لبه واقعی زمان غیر عملیاتی می کند. شتاب سخت افزار ISP برای ساخت سیستم های موثر ضروری است.

پرونده های خروجی

قالب داده های تصویر که ISP را ترک می کند مستقیماً اجرای NPU را تاثیر می گذارد. انتخاب قالب خروجی درست پهنای باند حافظه را کاهش می دهد و شتاب می دهد. هدف این است که ارسال داده به NPU در قالبی که می تواند با کمترین تبدیل استفاده کند.

بسیاری از مدل های AI، به خصوص آنهایی برای تشخیص شیء، نیازی به اطلاعات کامل رنگی ندارند. آنها اغلب در قالب های خاکستری یا نیمه پرورانی مانند NV12 (YUV 4:2: 0) عمل می کنند.

• کاهش اندازۀ داده:یک چارچوب NV12 ۵۰٪ کوچکتر از یک RGB یا YUV ۴:۴ مقایسه است.
• ترابری حافظه را کاهش می دهد:ارسال داده های کمتر بین ISP، حافظه و NPU، پهنای باند را آزاد می کند.
• جلوگیری از حیات ها:مدیریت پهنای باند موثر برای پیشگیری تاخیر، مخصوصااولین لایه از یک CNN.

ISP می تواند وظیفه هایی مانند تبدیل فضای رنگ (e. ...... بایر به NV12) و بینی (میانگی پیکسل) در سخت افزار. این پیش پردازش جلد داده را قبل از اینکه از ISP خارج شود کاهش می دهد و اطمینان می دهد که کل خط لوله به خوبی اجرا می شود.

تصمیم گیری و دقیق

افشای مناسب و گستره پویایی برای اجرای قابل اعتماد ، حیاتی است. تصویری که خیلی تاریک و خیلی روشن است می تواند باعث شکست یک مدل شود. ..آی آگاهی AI تمرکز میکنه حتي اگر اين تصوير رو براي يه شخص غير طبيعي به نظر بياد

يه تکنيک قدرتمندهافشای خودکار. این روش برای چهره هایی در چارچوب بهینه می رود.

1. آشکارسازی:سیستم صورت ها را به عنوان منطقه های علاقه (ROIs) شناسایی می کند.
2. محاسبه:این افشای ایده آل را بر اساس نور درون آن ROI محاسبه می کند.
3. کاربرد:دوربین به طور پویایی تنظیمات جدید را اجرا می کند.

هنگامی که چهره های چندین موجود هستند، سیستم می تواند از یک میانگین ساده یا یک میانگین اندازه ای استفاده کند که چهره های بزرگتر و برجسته تر را اولویت می دهد.

برای صحنه هایی که تضاد بالاست، مثل یک آسمان درخشان و سایه های عمیق،گسترۀ پویشی پهنه) WDR (ضروريه WDR چندین افشایی را به دست آوردن جزئیات در هر دو مناطق روشن و تاریک ترکیب می کند. پارامترهای کلید WDR برای یک مدل دستیابی شامل:

• افزایش دنبال سیاه سراسری: مناطق تاریک را روشن می کند تا اشیاء مخفی را آشکار کند.
• قدرت WDR: تنظیمات مخالف محلی می کند تا جزئیات به روشنی بیشتر بررسی شود.

در محیط های نور کم، ISP باید در آنجا باشدتعادل روشنايي و صدا. افزایش حسگر می تواند یک تصویر را روشن کند و همچنین صدای اضافه می کند که می تواند یک مدل را گیج کند. استفاده از ISP های پیشرفتهکاهش صداي دو بعدي که جزئيات مهم رو حفظ ميکنه. برای شرایط بسیار کم نور) زیر ۰٫۰۱ lx ، برخی سیستم ها از aروش تشکیک چند نفر محاسباتی. این روش داده ها از طیف نور مختلف ترکیب می کند تا تصویری واضح ایجاد کند که دوربین استاندارد فقط تاریکی را ببیند.

NPU و مودل اپیتیماتیات

بهتر کردن مدل شبکه عصبی به اندازه تنظیم سازی ISP مهم است. یک مدل که برای سرورهای ابری طراحی شده یا تلفنهای هوشمند بالا روی یک دستگاه لبه محدود شده با قدرت طراحی نخواهد کرد ...... سازگاری مدل مناسب و یک خط لوله اطلاعات موثر ضروری است برای باز کردن پتانسیل های هیسیلونNPUName. این فرایند اطمینان می دهد که سخت افزار در عملکرد اوج اجرا می شود.

آموزش آموختن به راهنمایی

توسعه دهندگان اغلب مدل AI اولیه در محیط منابع بالایی ایجاد می کنند. این مدل ها رو از سکوي های قدرتمند برگردوندن مثل اونایادگیری عمیق با تلفن های هوشمندیبه سیستم های جابجا شده چندین چالش را معرفی می کند. پایان بالاتلفن هاقدرت پردازش و حافظه بيشتر از دستگاه هاي لبه هاي معمولي دارن

تطبیق این مدل های پیچیده نیاز به یک فرایند بهینه سازی دقت دارد.

• قدرت محاسبهی:دستگاه هاي لبه پردازنده هاي قدرتمند کمتر دارن اونا تلاش ميکنن که بزرگ بشنهیمدل ها به طور موثري
• محدودیتهای حافظه:سخت افزار ضربه محدودي داره بارگذاری مدل های بزرگ توسعه داده شده برای فلجتلفن هااغلب غير ممکنه
• کاربرد انرژی:بسیاری از دستگاه های لبه استفاده می کنند. برق گرسنههیمدل ها می توانند زمان عملیاتشون را کوتاه کنند.
• خطرات امنیتی:دستگاه های لبه می توانند در برابر حملات فیزیکی بیشتر آسیب پذیرند. این باعث می شود که امنیت داده ها یک نگرانی بحرانی در طی مدل پخش بشهاندرویدو ساحل ديگه

برای حل این مسائل، مهندسیان یک جریان کاری واضح را دنبال می کنند تا یک مدل برای NPU آماده کنند.

1. دریافت یک مدل نقطه شناوری:فرایند با یک مدل استاندارد از وآموزش رسمچارچوب مثل تنسور فلو یا پیتورچ این مدل معمولا برای قدرتمند توسعه میشهتلفن هايا سرورهاي ابر
2. بهینه سازی برای سخت افزار:مدل تحت فشار و کوانتیزی قرار می گیرد. این گام مدل را به یک قالب کارآمدتر تبدیل می کند و آن را برای دستگاه هایی با منابع محدود، مناسب می سازد، از جمله آنهایی که با آن هاییشتاب دهنده های تلفنی.

اين سازگاري براي هر چيزي مهمهاندروید- دستگاه لبه هدف این است که مدل را کوچک کنیم بدون از دست دادن دقت زیادی، یک وظیفه کلید برای هر چیزیاِی. مدل نهایی باید به اندازه کافی قوی باشد که در شرایط دنیای واقعی عمل کنه، که می تواند بسیار متفاوت باشد با داده های تمیز که در طول توسعه ی قدرتمند استفاده می شود.تلفن ها.

. . . .

دقت تصویر ورودی یک تجارت بحرانی بین دقت و عملکرد ایجاد می کند. یک دقت بالاتر می تواند دقت تشخیص برای اشیاء کوچک را بهبود دهد. با این حال، این نیازمند بیشتر به حافظه و پردازش نیاز داردNPUName. غذا دادن یک جریان نسخه بالا به یک دستگاه بدون توجه با دقت می تواند سریع سیستم را بیش از حد بار کند.

توسعه دهندگان بايد نقطه ي شيريني رو براي برنامه ي خاصشون پيدا کنن این اشتباه است که فرض کنیم بالاترین تصویر ممکن همیشه بهتر است. در عوض، مهندس ها بايد برنابعاد ورودی بر اساس مفهوم پخش و محدوده های سخت افزار. اناِیميتونه کمک کنه تعادل بهتري

برای بسیاری از وظایف، یک قطعی پایین تر دقت کافی را با کمتری فراهم می کند. اين آزاد ميکنهNPUNameبراي پرداخت فريم هاي بيشتري در ثانيه انتخاب درست بستگی به اهداف درخواست دارد، چه سرعت زمان واقعی و یا بیشترین جزئیات است. این بخش اصلی طراحی یه کارآمدهاندرویدسيستم.

سِرو

بعد از بهینه سازی مدل، مرحله نهایی ایجاد یک مسیر داده های موثر به سمتNPUName. موثرترين روش مقيد صفره این تکنیک به ISP اجازه می دهد که داده های تصویر مستقیم را در یک بافر حافظه بنویسد که NPU می تواند بدون هیچ کپی میانگین توسط C به دسترسی پیدا کند. پي پي.

تکنیک های صفر روپی اجازه می دهند که انتقال داده بین فضاهای حافظه مختلف بدون نیاز به CPU برای تکرار داده ها را می دهند. این رویکرد استفاده CPU و مصرف پهنای باند حافظه را به حداقل می دهد، که منجر به سود نمایش بزرگی می شود.

در یک خط لوله سنتی، CPU تصویر را از یک بافر ISP به یک میانفر جداگانه NPU کپی می کند. این عملیات کپی چرخه های CPU و پهنای باند حافظه را مصرف می کند و یک ضربه ای ایجاد می کند. صفر کپي اين قدم رو از بين ميبره آی اسیNPUNameیک منطقه حافظه به اشتراک بگذارید که یک جریان اطلاعات مستقیم با سخت افزار را افزایش دهد سخت افزار مهم را فراهم می کندشتابی.

مزایای عملیات قابل توجه است. با حذف تکپی اطلاعات، پیوند صفر صفر را به طور عمیقی کم می کند و از طریق ورودی افزایش می دهد. این اصل اصل اصلی برای ساختن یک عملیات بالاستخط لوله ml اندروید.

با پیاده سازی یک خط پلیس صفر، سیستم ها می توانند بهبود به عبارت دیگری دست یابند۱. ۵x به ۹ ×بستگي به پيچيدگي هاهیپر کار. این باعث میشه یه تکنیک غیر قابل مذاکره برای دوربین کارای بالاییهیبعداندرویددستگاه. این کل سیستم را اطمینان می دهد که از سنسور تا ترجیح، به عنوان یک واحد کارآمد عمل می کند.

اختصاصیه های زیبایی

بهینه سازی پیشرفته سخت افزار را به محدوده های مطلقش فشار می دهد. پس از تنظیم ISP و مدل، مهندسان می توانند تکنیک های عمیق تر را برای مدیریت بارهای کاری پیچیده بکار کنند. این روش ها روی تعادل منابع سیستم تمرکز می کنند تا به اهداف عملکرد خاصی برای دوربین لبه بر روی لبه بررسی شود.

ماهواره ي ماهيت

اجرای چندین جریان ویدئویی روی یک دستگاه لبه یک چالش قابل توجهی است. هر جریان برای منابع سخت افزار محدود رقابت می کند. اگر با دقت مدیریت نشده باشد، این می تواند به ضربه های عملیات منجر شود. مهندسین باید چندین محدودیت ها را حساب کنند:

• قدرت پردازش محدودی:NPU و حافظه این دستگاه اندازه و پیچیدگی مدل هایی را که می توانند در یک زمان اجرا کنند محدود می کنند.
• مسائل تقسیم پذیری:همانطور که مدل ها پیچیده می شوند، توانایی سخت افزار برای رسیدگی کردن جرینه ها یا وظایف بیشتری کاهش می یابد.
• محدودیتهای انرژی:فرار کردن چند جریان مصرف قدرت را افزایش می دهد که یک عامل مهمی برای دستگاه های باطری است.

مدیریت مناسب اطمینان می دهد که سیستم پایدار و واکنش باشد حتی هنگام پردازش چندین فیلم ویدئویی همزمان است.

آخرين بار. تروگچ

مهندس ها اغلب با تجارت بین مرخصی و ترکیب روبرو می شوند

لاتینسزمان طول ميکشه تا يک فريم از دستگيري تا نتيجه حرکت پایین برای برنامه های زمان واقعی مهمه. ضررتعداد کل فریم هایی است که سیستم می تواند در طول یک دوره پردازش کند. عبور بالا برای نظارت مناطق بزرگ مهم است.

برای اولویت دادن افزایش پایین، توسعه دهندگان می توانند تغییرات خاصی انجام دهند.

• انتخاب مدلهای سبک:استفاده از مدل های کارآمد مانند موبایل نیت زمان کاهش می دهدNPU روی ترجیح می دهد.
• اعمال برابری سازی:تبدیل کردن مدل به یک قالب دقیق پایین تر ( مانند INT8) اندازه اش را کوچک می کند و محاسبات را سرعت می دهد.
• بهینه سازی زمان بندی: تنظیم اتمام وقت های دسته کوتاه تر و استفاده از زمان بندی بر اساس اولویتیاطمینان می دهد که درخواست فوری فوری سریع بررسی شود.

این انتخاب ها به ایجاد یک سیستم قابل واکنش برای وظایف حساس زمان کمک میکنند.

تصمیم گیری نقش فیلین

به اندازه کافی نیست مهندس ها بايد تمام سيستم رو اندازه بگيرن تا نقاط ضعيف پيدا کنن نمایش کامل لوله یک تصویر کامل از عملکرد فراهم می کند. این شامل اندازه گیری شیشه به شیشه میشه که وقتي که نور به سنسور ميرسه تا وقتي که نتيجه کمک آماده بشه

به يه پيش بيني کم شیشه به شیشه ای برای کاربردهای صنعتی و خودکار حیاتی است که تصمیم های تقسیم دوم اهمیت دارند. با تحلیل کل مسیر داده-Sensor → ISP → DDR → توسعه دهندگان NPU می توانند شناسایی و درست کنند منبع تاخير. این گام نهایی اطمینان می دهد که کمک کامل دوربین روی سیستم لبه به کارایی اوج عمل می کند.

---

استفاده از همگامی بین ISP و NPU برای لبه ی بالا عملیات AI ضروری است. یک لوله ی صفر ، با سخت افزار ، قدرت کامل رو باز میکنهسلام سیلیکون. این وفق یابی را فراهم می کندذخیره های قابل توجهی و NPU را قادر به تحویل AI افزایش دهد.

مهندس ها می توانند این تمرینات را به کار ببرند تا NPU را به محدودیت های خود ببرند. آنها تشویق می شود که نتایج خود را به اشتراک بگذارند و به جامعه توسعه دهنده کمک کنند.

اين ساختار تمام نيازها رو برآورده ميکنه کوتاه، اطلاعاتی و قابل عملیه

---

نتيجه

استفاده از همگامی بین ISP و NPU برای لبه ی بالا عملیات AI ضروری است. يه لولپي صفر، سخت افزار، قدرت کامل "هيسيکون" رو باز ميکنه این یکپارچه های قابل توجهی برای ذخیره ی انرژی فراهم می کند و NPU را قادر می سازد تا بررسی AI افزایش یابد.

مهندس ها می توانند این تمرینات را به کار ببرند تا NPU را به محدودیت های خود ببرند. آنها تشویق می شود که نتایج خود را به اشتراک بگذارند و به جامعه توسعه دهنده کمک کنند.

FAQ

چرا به جای چشم انسان های آی اسپ رو آماده کنی؟

یک ISP تنظیم شده برای AI اولویت دقت مدل را در برابر عکس تصویری اولویت می دهد. این جزئیات و تفاوت ها را افزایش می دهد که به یک الگوریتم AI در انجام کار خود کمک می کند. این متفاوت با ساختن تصویری لذت بخش برای مردم برای دیدن فرق دارد. هدف این است که به NPU مفید ترین داده ها را تغذیه کنیم.

چي باعث ميشه NPU بهتر از پرداخت پردازش براي AI؟

NPU یک پردازنده تخصصی است که برای محاسبات AI طراحی شده است. این شبکه ریاضیات عصبی بسیار موثرتر از یک CPU عمومی است. این تخصیص منجر به مصرف انرژی پایین تر و سرعت های سریع تر می شود که آن را برای دستگاه های لبه ایده آلی می سازد.

پيوند صفر کپي چيه؟

پیوند صفر رونویسی یک تکنیک است که به ISP و NPU اجازه می دهد یک مکان حافظه اشتراک بگیرد. ISP داده های تصویر را مستقیم می نویسد که NPU می تواند آن را بخواند. این روش کپی داده های CPU را حذف می کند، که کمتری را کاهش می دهد و عبور سیستم را افزایش می دهد.

بايد زير پايي رو انتخاب کنم

انتخاب به نیازهای درخواست بستگی دارد.

• حرکت پایینبراي کارهاي واقعي ضروريه
• ضربان بالابرای سیستم هایی مهم است که باید بسیاری از جریان ویدئویی یا چارچوب ها را در یک زمان پردازش کنید.

مهندسین این فاکتورها برای رسیدن به اهداف عملکرد مشخص تعادل می کنند.