User:Ai402112117/الکس نت

Comparison of the LeNet and AlexNet convolution, pooling, and dense layers
(AlexNet image size should be 227×227×3, instead of 224×224×3, so the math will come out right. The original paper said different numbers, but Andrej Karpathy, the former head of computer vision at Tesla, said it should be 227×227×3 (he said Alex didn't describe why he put 224×224×3). The next convolution should be 11×11 with stride 4: 55×55×96 (instead of 54×54×96). It would be calculated, for example, as: [(input width 227 - kernel width 11) / stride 4] + 1 = [(227 - 11) / 4] + 1 = 55. Since the kernel output is the same length as width, its area is 55×55.)

"این مقاله در حال ترجمه از ویکی انگلیسی است

لطفا حذف نشود."

AlexNet نام یک معماری شبکه عصبی کانولوشن (CNN) است که توسط Alex Krizhevsky با همکاری ایلیا Sutskever و Geoffrey Hinton ، که استاد دکترای کریژفسکی در دانشگاه تورنتو بود، طراحی شد.

AlexNet در چالش تشخیص بصری در مقیاس بزرگ ImageNet در 30 سپتامبر 2012 رقابت کرد. این شبکه با خطای 15.3 درصدی جزو 5 خطای برتر شد و بیشتر از 10.8 درصد، کمتر از رتبه دوم بود. نتیجه اصلی مقاله این بود که عمق مدل برای عملکرد بالای آن ضروری بود و هزینه محاسباتی بالایی ایجاد می کرد، اما با استفاده از واحدهای پردازش گرافیکی (GPU) در زمان آموزش قابل انجام شد.

کار های پیشین

با توجه به مقاله AlexNet، شبکه قبلی Cireșan "تا حدودی مشابه است." هر دو در ابتدا با CUDA نوشته شده بودند تا با پشتیبانی از GPU اجرا شوند. در واقع، هر دو در واقع فقط انواعی از طرح‌های CNN هستند که توسط Yann LeCun و همکاران معرفی شده‌اند. (1989) که الگوریتم پس انتشار را به گونه‌ای از معماری اصلی CNN کونیهیکو فوکوشیما به نام " نئوگنیترون " اعمال کرد. معماری بعدها با روش J. Weng به نام max-pooling اصلاح شد.

طراحی شبکه

AlexNet شامل هشت لایه است: پنج لایه اول لایه های کانولوشن هستند، برخی از آنها لایه های max-pooling و سه لایه آخر لایه های کاملاً متصل هستند. شبکه، به جز آخرین لایه، به دو نسخه تقسیم می شود که هر کدام روی یک GPU اجرا می شوند. کل ساختار را می توان به صورت زیر نوشت:

$$(CNN\to RN\to MP)^{2}\to (CNN^{3}\to MP)\to (FC\to DO)^{2}\to Linear\to softmax$$

• CNN = لایه کانولوشن (با فعال سازی ReLU)
• RN = عادی سازی پاسخ محلی
• MP = maxpooling
• FC = لایه کاملا متصل (با فعال سازی ReLU)
• خطی = لایه کاملا متصل (بدون فعال سازی)
• DO = ترک تحصیل

از تابع فعال‌سازی غیراشباع ReLU استفاده کرد که عملکرد تمرینی بهتری را نسبت به tanh و sigmoid نشان داد.

نفوذ

AlexNet به عنوان یکی از تأثیرگذارترین مقالات منتشر شده در بینایی کامپیوتر در نظر گرفته می شود، که باعث شده است مقالات بیشتری با استفاده از CNN و GPU برای تسریع یادگیری عمیق منتشر شوند. طبق گفته Google Scholar تا اوایل سال 2023، مقاله AlexNet بیش از 120000 بار مورد استناد قرار گرفته است.

منابع

[[Category:معماری شبکه‌های عصبی]] [[Category:نرم‌افزارهای یادگیری عمیق]]