پردازش AI واقعی- زمانی که چرا Latency کلید HSilicon هست

برای هیسیکان AI SoCs، شیرین پایین ترین برنامه ریزی است. این سخت افزار تمرکز بر روی اجرای شیرینی کم پردازش داده زمان واقعی را قادر می سازد. رشد بازار " اي اي" به يک پيش بيني143 ميليارد دلار تا 2034.تقاضاي اين سخت افزار رو بررسي ميکنه توي سيستم هايي که اهميت دارهیک تاخیر بیش از ۱۰۰ میلی ثانیه اجرای امنیت را تضعیف می کند. معماری های تخصصه ی هاسیلیکان این عملکرد پایان به انتها اولویت می کند. این طراحی سخت افزار افزاری بهتر از عملیات AI دنیای واقعی اطمینان میدهTOPS خام در انعکاس نمایش سخت افزار واقعی شکست خورد. این فعالیت های سخت افزاری روی اجرای لاتینس کلید برای اجرای سخت افزار AI است. همانطور که خود سخت افزار هسته ي اجراي سخت افزار اي آي است.

حذف کلید

حرکت پایین برای چیپس های هی سیلیکان خیلی مهمه. معنيش اينهتراشهسريع تصميم ميگيره که کليد کارهاي واقعيه
طراحی ویژه هیسیکان، به نام داوینچی NPU، به مدل های AI کمک می کند سریع کار می کند. از یک مکعب سه بعدی منحصر به فرد استفاده میکنه تا سریع ریاضی کنه
قسمت هاي ويژهتراشه، مثل پردازشگر علامتی تصویر ، به بخش AI اصلی کمک کنید اونا تمام سيستم رو با انجام کارهاي خاص سريع تر ميکنن
پردازش سریع AI به ماشین های خود رانندگی، شهرهای هوشمند و دستگاههای هوشمند کمک می کند. اونا رو امن تر ميکنه و در زندگي واقعي بهتر کار ميکنه

چرا اخيراً در اِدجِ اِي

در برنامه هاي لبه اي، هر ميلي ثانيه شمرده ميشه سیستم باید در زمان واقعی پردازش داده ها را بررسی کند، جایی که سقوط عقب می تواند منجر به رویدادهای نادرست شود. واسه همينه که لاتنسي مهمه. الگوریتم های کنترل به تصمیمات فوری برای حفظ ثبات و امنیت بستگی دارند. تاخیر میتونه تمام عملکرد سیستم رو به خطر بندازهاجرای سخت افزار واقعی فقط درباره برق پردازش نیز نیست بلکه درباره سرعت نهایی خروجی قابل عمل است.

اعتقاد آينده ي عمومي

حرفه ای به طور رسمی توضیح AI را تعریف می کند که زمانی که یک مدل AI برای دریافت یک ورودی و یک پیش بینی را برگرداند. این اندازه گیری معمولاً در میلی ثانیه بیان می شود.با این حال، عکس کامل تر از اجرای سیستم را ارائه می دهد. کل سفر رو از دست دادن داده تا آخرين عمليات رو پوشش ميده

این مرحله کامل شامل چندین مرحله متفاوته:

دریافت داده و پیش پردازش: سخت افزار اول داده های ورودی را آماده می کند. این مرحله شامل قالب بندی و اعتبار داده های پیش از رسیدن به مدل AI است.
نمونه مدل: این زمان محاسبات اصلی است. سخت افزار مدل AI را اداره می کند تا یک پیش بینی بر اساس داده ورودی را ایجاد کند. نمايش در اينجا حياتيه
پس از پردازش و خروجی: سخت افزار خروجی مدل را قالب می دهد. این نتیجه را برای اجزای سیستم بعدی آماده می کند، مانند یک کنترل کننده دست رباتیک یا نمایش.

یادداشت:برای AI تعامل، سایر متریک های دیگر نیز مشخص شده است.زمان به اولین نشانه)TTFT (اندازه گیری می کند که یک کاربر چقدر سریع اولین قطعه از یک پاسخ، که حیاتی برای یک تجربه ی نرم است.

ضربه های پروژه های ژنرال-PUROPOS

CPU های عمومی برای تقاضای AI مدرن ساخته نمی شوند.CPU ها از تعداد کمی هسته های قدرتمند استفاده می کنند، معمولاً بین 4 تا 64. اين معماري بهترين کارهاي پيچيده با این حال، مدل های AI نیاز به محاسبه های بسیار موازی دارند که هزاران عملیات ساده را در یک زمان اجرا می کنند. اين تغيير شکل قابل توجهي ايجاد ميکنهطراحی پردازش سی پیی روی عملیات خود را برای بارهای کار موازی محدود می کند.

حتی در سیستم هایی با یک GPU قدرتمند، CPU می تواند عملکرد کلی را محدود کند، مخصوصا در برنامه های حساسیتپردازش سی پی برای تغذیه داده ها به سرعت کافی به شتاب دهنده تلاش میکنه که به اجرای تصویر سیستم صدمه می زنه بخاطر همينهسخت افزار تخصصیبراي نمايش اي آي بهينه لازمه

نشانه ها به طور واضح شکل عملی بین CPU ها و سخت افزار تخصصواحد پردازش خنثی(انپایو) برای مدل های عمومی AI مانند YOLOv3، NPU ها عملکرد بسیار بهتری به ارائه می دهند.

نوع سیستم	کاهش نسبی
فقط سیستم پردازشی	خط پایه
سیستم بر اساس NPU	1.6x سريعتر

این داده نشان می دهد که سخت افزار وقف شده به طور قابل توجهی زمان لازم را برای اجرای مدل AI کاهش می دهد. مزایای معماری NPU ها مستقیماً به عملکرد پایین ترجمه می شود. نمودار زیر نشان می دهد که چگونه پلت های سخت افزارهای تخصصی متفاوتی برای مدل های AI را به دست آورده اند.

در نهایت، تکیه به CPU ها برای تکلیف AI زمان واقعی واکنشی سیستم رو به خطر میکنه. سخت افزار به سادگی برای این کار طراحی نشده است. به دست آوردن مواد کمي که مسائل ميخواد سخت افزاري ساخته شده براي مدل هاي اي آي اطمينان کردن عمليات و قابليت اعتماد

آرشيتور هيزيکون براي دير

هیسیلیکان به اجرای صنعتی پایین رشته خود را از طریق یک معماری سخت افزاری عمومی به دست می آورد. این طرح فراتر از یک پردازنده قدرتمند است. یکپارچه های مخصوص محاسباتی، یه سرعت بالاحافظهسيستم و شتاب دهنده هاي سخت افزاري این ترکیب اطمینان می دهد که داده ها حرکت می کند و با بیشینه کارایی، که برای کاربردهای AI زمان واقعی ضروری است. عملکرد کل سیستم به این یکپارچه محکم بستگی دارد.

داستان وينسي

واحد پردازش دوینسی نو این NPU یک شتاب دهنده AI قدرتمند است که مخصوصا برای عملیات ریاضیاتی طراحی شده که قدرت داردمدل های مدرن AI. معماری آن یکسان نیست؛ انواع مختلف واحد های محاسبات را ترکیب می کند تا عملیات بهینه سازی شود. اين...طراحی غيرعادیيه دليل اصلي براي عملکرد عاليشه

هسته حاوی سه اجزای اصلی که با هم کار می کنند:

واحد های اسکالر: این ها از منطق عمومی و جریان کنترل برای مدل های AI استفاده می کنند.
واحد بردار: اینها برای اجرای بسیاری از عملیات ساده به یک زمان عالی هستند، یک نیاز مشترک برای لایه های خاص در مدل AI.
واحد مکعب سه بعدی: این حیاتی ترین اجزای برای شتاب سازی AI است. اين واحدها براي انجام ضرب در ماتريکس با سرعت فوق العاده ساخته شده اند.

معماری سفارشی Huawei یک مدل شتاب مکعب 3D برای محاسبات ماتریس را معرفی کرد. این پردازش داده هایی سریع تر و انرژی بیشتر در مقایسه با CPU های سنتی و GPU ها را فعال می کند. سخت افزار اطراف یک مکعب ۱۶×16x16 ساختار شده است که برای ریاضیات مورد استفاده در مدل AI است.

این ساختار به هسته داوینچی اجازه می دهد که مدل AI پیچیده را با کمترین تاخیر پردازش کند. واحدهای مکعب برآورد سنگین ریاضیات ماتریس را ردیف می کنند، در حالی که واحدهای بردار و اسکالایی وظایف اطراف را مدیریت می کنند. این تقسیم کار در داخل شتاب دهنده ی AI اطمینان می دهد که هیچ بخشی از سخت افزار یک ضربه ای ایجاد نمی کند. نتیجه عملیات برتری و کمتری برای درخواست بارهای کاری AI است. این شتاب دهنده های AI اساسی برای اجرای کلی سیستم هستند.

ماموریت های شناسایی و بیماری هایی

NPU سریع اطلاعات سریع لازم داره اگه شتاب دهنده ي AI بايد منتظر اطلاعات باشه طراحی سخت افزار های های سیلیکان این چالش را با یک سلسله ی پیچیده حافظه ی روی چیپ و بین سریع ارتباطات. این اجزای یک سوپرچی راه داده ایجاد می کنند و به حداقل اطلاعات مربوط به حرکت در اطراف چیپ می شود. این جریان داده های موثر برای اجرای تجسّم سخت افزار حیاتی است.

هیسیکان SoCs از ارتباطات پیشرفته برای پیوند NPU و CPU و حافظه استفاده می کند. این اطمینان میده که تمام اجزای می توانند با کمترین تاخیر ارتباط برقرار کنند. انتخاب تکنولوژی حافظه همچنین نقش حیاتی در عملکرد سیستم دارد.

مدل چیپ	اتصال	حافظه فناوری
کرین 960	آرم سی سی سی سی-5500	LPDDR4-1600 (۶۴- مجرای دوبیتی )
کرین 970	آرم سی سی سی سی-5500	LPDDR 4

فراتر از حافظه اصلی، سیستم استفاده از چند لایه از حافظه (چیپ) استفاده می کند. "داوینچی NPU" حاوی حافظه محلی خودشه این اجازه می دهد که شتاب دهنده ی AI داده های اغلب مورد استفاده قرار بده به شدت کاهش دسترسي اطلاعاتي این معماری همچنین کاربری قدرت را بهبود می دهد.جريان اطلاعات موثر در چيپ اغلب توسط یک شبکه در چیپ (NoC) مدیریت می شود، مصرف قدرت را با فرستادن داده های انعطاف پذیر کاهش می دهد. این روش شمارش فیزیکی را کاهش می دهد و عملکرد را بهبود می دهد.تکنیک های دیگر این کاربردی را افزایش می دهند:

جمع آوری: این روش برای تنظیم جریان داده بین واحد های سخت افزار استفاده می کند.
میانگیری: مطمئن می شوند که داده ها دقیقا وقتی شتاب دهنده AI به آن نیاز دارند جلوگیری از انرژی و هدر رفته

. . . .

NPU بازیکن ستاره است، اما این تنها شتاب دهنده سخت افزار تیم نیست. هیسیکن سویسیک های یکتایی از شتاب دهنده های سخت افزاری ویژه یکپارچه میکنند. این شتاب دهنده ها از CPU و NPU کار میکنند، که پایان به پایان کل خط لوله AI را کاهش می دهند. این رویکرد برای تکلیف های پیچیده مانند تحلیل ویدئویی زمان واقعی حیاتی است و قابلیت موثر روی دستگاه را قادر می سازد.

در برنامه های دید کامپیوترپردازش نشان تصویر)ISP (يه شتاب دهنده سخت افزار خيلي مهمه ISP مستقیماً با NPU کار می کند تا نمایش بهتری بهتر برساند.

ISP به کارهای پردازش تصویر اولیه مانند ترکیب گستره داینامیک (HDR) و کاهش صداهای پیشرفته رسیدگی می کند.
این اطلاعات ویدئو را به طور خاص برای مدل AI که در NPU اجرا می کنند آماده و بهینه سازی می کند.
این پیش پردازش توسط یک شتاب دهنده سخت افزار اختصاص شده یعنی NPU داده های تمیز و آماده برای تحلیل دریافت میکنه که نتيجه اي نهايي رو سرعت ميده

به همون لحظه رمز ویدئویی ها و رمزگشایی های شتاب دهنده ی AI برای تحلیل جریان ویدئویی بالا رمز هستند. اين شتاب دهنده ها کل خط لوله پردازش ويديويي رو روي يک تراشه مديريت ميکنن

اونا رودخانه های ویدئویی در حال رمزگشایی میکنن بدون بارگیری پرداخت پرداخت رو رمزگشایی میکنن
اونا به NPU اجازه ميدن که ويدئو رو بصورت محلي تحليل کنه
آنها فقط داده های حادثه حیاتی را ارسال می کنند، که به شدت پهنای باند و هزینه های ذخیره سازی را کاهش می دهد.

این تیم شتاب دهنده های مخصوص سخت افزار ها مطمئن میکنه که هر مرحله ی یک وظیفه ای از دست داده تا خروجی نهایی، برای سرعت بهینه شده این روش مقطع ابتدایی برای طراحی سخت افزار چیزی است که لبه ی "HSilicon" را در عملکرد پایین پایین برای AI واقعی زمان می دهد. ترجمه ی بین این شتاب دهنده ها سطحی از عملکرد را ارائه می دهد که یک پردازشگر نمی تواند مطابقت داشته باشد.

افزوده های لختی

سخت افزار پایین یک نسل جدید از سیستم های هوشمند را باز می کند. اجرای این سیستم ها به پردازش فوری داده ها بستگی دارد. معماری سخت افزار های هیسیکان سرعت لازم را برای کاربردهای AI دنیای واقعی حیاتی فراهم می کند. عملکرد برتری مدل های AI آن را قادر می سازد که تصمیم گیری فوری را که میلی ثانیه ها اهمیت دارد.

آزمايشگاهي

در سیستم های خودمختار، زیر پایین یک شرایط غیر قابل مذاکره برای امنیت و دقت است. سخت افزارحسگراطلاعات و اجرای مدل AI با کمترین تاخیر برای مطمئن شدن عملکرد قابل اطمینان.

وسیله های خودکاری: برای یک ماشین خود رانندگی، تشخیص یافتن پیاده رو شناسایی و استفاده کردن ترمز ها لازم است و۵۰ تا ۱۰۰ میلی ثانیه. هر تاخيري که فراتر از اين قضيه به خطر ميرسه سخت افزار ماشين بايد اين اجرا رو بطور مداوم تحويل بده
رباتیک صنعتیName: روانجمنخط، روبات ها براي انجام کارهاي دقيق نياز به بازخورد سريع دارنچرخه های اجرای زیر- ۱۰ میلیزبرای مدل AI اجازه می دهدکنترل کيفيت بهتر و امنيت کارگران این فعالیت سخت افزار پایین پایین به طور مستقیماً بهتر میشه.

دریافت شدن

شهرها و کارخانه های هوشمند از آنالیزهای AI در دوربین برای بهبود کارآمد و امنیت استفاده می کنند. این نیاز به سخت افزار لبه قدرتمند است که قادر به پردازش جریان ویدئو در زمان واقعی است. اجرای این مدل های AI کلید موفقیت آنهاست.

تشخیص تهدید زمان واقعی:در شهرهای هوشمند دوربین های عمومی نظارت کنند سخت افزار تجزیه ویدئویی را بررسی می کندتشخیص نقض های ترافیک، اشیای متروکه یا دیگر تهدید های بالقوه، که واکنش فوری رو قادر به انجام دادن این اجرای AI کمک به اجرای قانون و بهینه سازی خدمات اورژانس.

تو کارخانه هاي باهوشيسیستم های دیدگاه های سازمان کنترل کیفیت فوری را فراهم می کنند سخت افزار مدل های بازرسی را اجرا می کند، .شناسایی نقص هایی مثل خراش یا اشتباهی. این بازخورد فوری کیفیت محصول را بهبود می دهد بدون کم کردن تولید. نمايش مدل AI اينجا حياتي است.

نمایشگاه های مغز و MEDIA

پردازش AI پایین پایین تجربه کاربر در الکترونیکی مصرف کننده و دستگاه های درمانی را افزایش می دهد. سخت افزار ویژگی های پیچیده ای را قادر می سازد که مستقیما روی دستگاه اجرا می کنند.

تلویزیون های هوشمندیمدل هاي اي آي براي ويدئوي واقعي 8 کي بالا رفته پردازنده AI سخت افزار برای افزایش دادن جزئیات و کاهش صدفيک عکس برتري این عملکرد در سطح بالا فورا اتفاق می افتد. براي تله دارويي و لباس هاييسخت افزار روی دستگاهNameاطلاعات بیومتریک رو تحلیل میکنهمدل های تشخیص رویداد اضطراری نیاز به مرکز کمتر از ۵۰ میلی ثانیه دارندبراي هشدار کاربران يا پرسنل پزشکي. اين عملکرد سريع اي آي ميتونه زندگي رو نجات بده.

براي لبه ي واقعي ، مسئله ي پايان به پايان.طریق محاسباتی خام تنها اجرای سخت افزار واقعی را تعریف نمی کند. معماري سخت افزار هيسيکون با داوينچي NPU و شتاب دهنده هاي سخت افزاري اين اجراي حياتي ضعف پايين رو تحويل ميده اجرای این شتاب دهنده های سخت افزار کلید است. شتاب دهنده های سخت افزار عملکرد عالی فراهم میکنن

یادداشت برای توسعه دهندگان:شما بايد سخت افزار رسيدگي کنيد این ضمانت میکنه که فعالیت های سخت افزار واقعی و قابل اعتماد باشه لاتنسي براي اين عملکرد سخت افزار مهمه. شتاب دهنده ها و سخت افزارها اين اجرا رو تحويل ميدن عملکرد شتاب دهنده های سخت افزار ضروریه اجرای سخت افزار بستگی به این شتاب دهنده های سخت افزار است.

Written by Wyatt Yan from ic-online.com

ic-online.com is a fast-growing global electronic components distributor and a trusted ERAI member, delivering authentic parts and secure supply chain solutions to customers worldwide.

We provide millions of in-stock ICs and semiconductors with same-day shipping, while offering complete one-stop BOM sourcing and turnkey PCBA services, including PCB fabrication, SMT assembly, and full production support.

From prototype to mass production, we help engineers and buyers reduce costs, shorten lead times, and simplify procurement.

One BOM. One Partner. One Complete PCBA Solution.

Visit ic-online.com and submit your RFQ today.

FAQ

چرا مرخصي مهمتر از TOPS برای لبه ی AI است؟

TOPS قدرت پردازش خام رو اندازه گیری می کنه لاتنسی زمان کامل برای تصمیم می گیرد. برای برنامه های زمان واقعی مانند رانندگی خودمختاری، تصمیم سریع برای امنیت و عملکرد حیاتی بیشتر از عبور محاسباتی بالا است.

یک حرکت پایین مطمئن می شود که سیستم می تواند بلافاصله به اطلاعات جدید واکنش دهد.

ان پي اي داوينچي چيه؟

ان پي اي داوينچي شتاب دهنده ي ويژه ي "هيسيلينکان" هست از یک معماری سه بعدی منحصر به فرد برای ریاضی ماتریس استفاده می کند. این طراحی به طور قابل توجهی محاسبه های مدل AI را سرعت می دهد. این ترجمه مستقیم را کاهش می دهد و عملکرد کلی سیستم برای وظایف زمان واقعی را بهبود می دهد.

چگونه شتاب دهنده های سخت افزار عملکرد AI را بهبود می دهند؟

شتاب دهنده های سخت افزار، مانند یک پردازشگر نشان تصویر (ISP) ، کارهای مشخص را کنترل می کنند. اونا از پردازنده اصلی وظیفه ها خالی میکنن اين پردازش موازي رو کاهش ميده کل خط لوله AI سریع تر می شود و پایان به انتها پایین می رود و افزایش کاربرد روی دستگاه را قادر می سازد.