Deep Residual Shrinkage Network جۆرێکی باشترکراوی Deep Residual Network ە. بە بنەڕەت، ئەمە integration ی Deep Residual Network، attention mechanisms، و soft thresholding functions ە.
تا ڕادەیەک، کارکردنی Deep Residual Shrinkage Network دەتوانرێت ئاوا تێبگیرێت: ئەم network ە attention mechanisms بەکاردەهێنێت بۆ ناسینەوەی ئەو feature انەی کە گرنگ نین (unimportant features)، و پاشان soft thresholding functions بەکاردەهێنێت بۆ سفرکردنەوەیان (setting them to zero)؛ بە پێچەوانەوە، feature ە گرنگەکان دەناسێتەوە و دەیانپارێزێت. ئەم process ە توانای deep neural network زیاد دەکات بۆ دەرهێنانی useful features لەو signal انەی کە noise یان تێدایە.
1. هاندەری توێژینەوە (Research Motivation)
یەکەم، کاتێک sample ەکان classify دەکەین، بوونی noise — وەک Gaussian noise, pink noise, و Laplacian noise — شتێکی لێدەرنەچووە (inevitable). بە شێوەیەکی گشتیتر، زۆرجار sample ەکان زانیاری (information) وایان تێدایە کە پەیوەندی نییە بە current classification task ەکەوە، کە ئەمە دەکرێت وەک noise سەیر بکرێت. ئەم noise انە دەتوانن کاریگەری خراپیان هەبێت لەسەر performance ی classification. (Soft thresholding هەنگاوێکی سەرەکییە لە زۆربەی ئەلگۆریزمەکانی signal denoising.)
بە نموونە، کاتێک لە قەراغ شەقام قسە دەکەیت، دەنگی قسەکردنەکە ڕەنگە تێکەڵ بێت لەگەڵ دەنگی هۆڕن ی سەیارە و تایەی سەیارە. کاتێک speech recognition (ناسینەوەی دەنگ) ئەنجام دەدەین لەسەر ئەم signal انە، ئەنجامەکە (results) بێگومان کاریگەری دەنگی هۆڕن و تایەکانی لەسەر دەبێت. لە ڕوانگەی deep learning ەوە، پێویستە ئەو feature انەی پەیوەندییان بە هۆڕن و تایەکانەوە هەیە لاببرێن (eliminated) لە ناو deep neural network ەکەدا، بۆ ئەوەی کاریگەری خراپیان نەبێت لەسەر ئەنجامی speech recognition ەکە.
دووەم، تەنانەت لە ناو هەمان dataset یشدا، بڕی noise زۆرجار لە sample ێک بۆ sample ێکی تر جیاوازە. (ئەمە هاوشێوەیە لەگەڵ attention mechanisms؛ ئەگەر dataset ێکی image وەربگرین وەک نموونە، شوێنی ئەو object ەی مەبەستمانە لایان ڕەنگە لە هەر وێنەیەکدا جیاواز بێت، و attention mechanisms دەتوانێت focus بخاتە سەر شوێنی تایبەتی object ەکە لە هەر وێنەیەکدا.)
بۆ نموونە، کاتێک classifier ی سەگ و پشیلە (cat-and-dog) train دەکەین، با وا دابنێین ٥ وێنەمان هەیە کە وەک “dog” label کراون. وێنەی یەکەم ڕەنگە سەگ و مشکی تێدا بێت، وێنەی دووەم سەگ و قاز، وێنەی سێیەم سەگ و مریشک، وێنەی چوارەم سەگ و کەر (donkey)، و وێنەی پێنجەم سەگ و مراوی (duck). لە کاتی training دا، classifier ەکە بێگومان تووشی دەستێوەردان (interference) دەبێت لەلایەن object ە ناپەیوەندیدارەکان وەک مشک، قاز، مریشک، کەر، و مراوی، کە ئەمە دەبێتە هۆی کەمبوونەوەی classification accuracy. ئەگەر بتوانین ئەم object ە ناپەیوەندیدارە بناسین — واتە مشک، قاز، مریشک، کەر، و مراوی — و ئەو feature انەی پەیوەندییان پێیانەوە هەیە لایان ببەین (eliminate)، ئەوا ڕەنگە بتوانین accuracy ی cat-and-dog classifier ەکە بەرز بکەینەوە.
2. دەربارەی Soft Thresholding
Soft thresholding هەنگاوێکی سەرەکییە (core step) لە زۆربەی ئەلگۆریزمەکانی signal denoising. ئەمە ئەو feature انەی کە absolute value ەکەیان کەمترە لە threshold ێکی دیاریکراو لادەبات (eliminate)، و ئەو feature انەی کە absolute value ەکەیان گەورەترە لەو threshold ە “shrink” دەکات (کەم دەکاتەوە) بەرەو سفر. ئەمە دەتوانرێت جێبەجێ بکرێت بە بەکارهێنانی ئەم formula یە:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Derivative ی output ی soft thresholding بەرامبەر بە input ەکە بریتییە لە:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]وەک لە سەرەوە دیارە، derivative ی soft thresholding یا ١ە یا ٠. ئەم تایبەتمەندییە هاوشێوەی ReLU activation function ە. بۆیە، soft thresholding دەتوانێت مەترسی (risk) تووشبوونی deep learning algorithms بە gradient vanishing و gradient exploding کەم بکاتەوە.
لە soft thresholding function دا، دانانی threshold ەکە پێویستە دوو مەرج (conditions) جێبەجێ بکات: یەکەم، threshold ەکە دەبێت positive بێت (ژمارەیەکی موجەب بێت)؛ دووەم، threshold ەکە نابێت لە بەهای هەرە گەورەی (maximum value) input signal ەکە زیاتر بێت، ئەگەر نا output ەکە بە تەواوەتی دەبێت بە سفر.
هەروەها، باشترە کە threshold ەکە مەرجی سێیەمیش جێبەجێ بکات: هەر sample ێک دەبێت threshold ی تایبەت بە خۆی (independent threshold) هەبێت بەپێی بڕی ئەو noise ەی کە تێیدایەتی.
هۆکارەکە ئەوەیە کە ناوەڕۆکی noise زۆرجار جیاوازە لە ناو sample ەکاندا. بۆ نموونە، شتێکی باوە کە لە ناو هەمان dataset دا، Sample A noise ی کەمتری تێدا بێت بەڵام Sample B noise ی زیاتری تێدا بێت. لە کاتێکی ئاوادا، کاتێک soft thresholding ئەنجام دەدەین لە ناو ئەلگۆریزمێکی denoising دا، Sample A پێویستە threshold ێکی بچووکتر بەکار بهێنێت، لە کاتێکدا Sample B پێویستە threshold ێکی گەورەتر بەکار بهێنێت. ئەگەرچی ئەم feature و threshold انە مانای فیزیكی ئاشکرایان نامێنێت لە ناو deep neural networks، بەڵام مەنتقە بنچینەییەکە هەر هەمان شتە. واتە، هەر sample ێک دەبێت threshold ی سەربەخۆی هەبێت کە دیاریکراو بێت بەپێی ناوەڕۆکی noise ەکەی.
3. میکانیزمی سەرنج (Attention Mechanism)
تێگەیشتن لە Attention mechanisms ئاسانترە لە بواری computer vision. سیستەمی بینینی ئاژەڵان دەتوانێت target ەکان جیا بکاتەوە بە خێرا scan کردنی هەموو ناوچەکە، و پاشان focus خستنە سەر target object ەکە بۆ دەرهێنانی وردەکاری زیاتر (extract more details) لەگەڵ سەرکوتکردنی زانیاری ناپەیوەندیدار (suppressing irrelevant information). بۆ زانیاری ورد، تکایە سەیری سەرچاوەکان پەیوەندیدار بە attention mechanisms بکە.
Squeeze-and-Excitation Network (SENet) ڕێگایەکی نیسبەتەن نوێی deep learning ە کە attention mechanisms بەکاردەهێنێت. لە ناو sample ە جیاوازەکاندا، بەشداری (contribution) channel ە جیاوازەکانی feature بۆ classification task ەکە زۆرجار جیاوازە. SENet sub-network ێکی بچووک بەکاردەهێنێت بۆ بەدەستهێنانی کۆمەڵێک weight (Learn a set of weights)، و پاشان ئەم weight انە لێکدەدات لە feature ی channel ە پەیوەندیدارەکان بۆ گۆڕین (adjust) ی قەبارەی feature ەکان لە هەر channel ێکدا (Apply weighting to each feature channel). ئەم process ە دەتوانرێت ببینرێت وەک ئەنجامدانی ئاستی جیاوازی attention بۆ سەر feature channel ە جیاوازەکان.
لە ئەم ڕێگەیەدا، هەر sample ێک خاوەنی set ێکی سەربەخۆیە لە weight. بە واتایەکی تر، weight ەکان بۆ هەر دوو sample ێکی جیاواز، جیاوازن. لە ناو SENet دا، ئەو ڕێڕەوە (path) ی تایبەتەی بۆ بەدەستهێنانی weight ەکان بەکاردێت بریتییە لە “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function.”
4. Soft Thresholding لەژێر Deep Attention Mechanism
Deep Residual Shrinkage Network سوود (inspiration) لەو structure ی sub-network ەی SENet وەردەگرێت بۆ جێبەجێکردنی soft thresholding لەژێر deep attention mechanism. لە ڕێگەی sub-network ەکەوە (کە لە ناو سندوقە سوورەکەدا نیشان دراوە)، network ەکە فێر دەبێت کە set ێک لە threshold دابنێت (Learn a set of thresholds) بۆ ئەنجامدانی soft thresholding بۆ هەر feature channel ێک.
لە ناو ئەم sub-network ەدا، سەرەتا absolute value ی هەموو feature ەکانی input feature map حساب دەکرێت. پاشان، لە ڕێگەی global average pooling و average-کردنەوە، feature ێک بەدەست دێت، کە بە A ئاماژەی بۆ دەکرێت. لە ڕێڕەوەکەی تردا (path ەکەی تر)، feature map ەکە پاش global average pooling دەچێتە ناو fully connected network ێکی بچووک. ئەم fully connected network ە Sigmoid function بەکاردەهێنێت وەک لایەی کۆتایی (final layer) بۆ normalize کردنی output ەکە بۆ نێوان ٠ و ١، کە coefficient ێک بەدەست دەهێنێت بە ناوی α. Threshold ی کۆتایی دەتوانرێت دیاری بکرێت بە α×A. کەواتە، threshold ەکە بریتییە لە حاسڵی زەربی ژمارەیەک لە نێوان ٠ و ١ لەگەڵ average ی absolute values ی feature map ەکە. ئەم ڕێگەیە زامین (ensure) دەکات کە threshold ەکە تەنها positive نییە، بەڵکو زۆر گەورەش نابێت.
زیاد لەوە، sample ە جیاوازەکان دەبنە هۆی threshold ی جیاواز. لە ئەنجامدا، تا ڕادەیەک، ئەمە دەتوانرێت لێکدانەوەی بۆ بکرێت وەک attention mechanism ێکی تایبەتمەند: feature ە ناپەیوەندیدارەکان بە task ی ئێستا دەناسێتەوە، و لە ڕێگەی دوو convolutional layers دەیگۆڕێت بۆ بەهایەکی نزیک لە سفر، و پاشان بە بەکارهێنانی soft thresholding سفریان دەکات؛ یان بە پێچەوانەوە، feature ە پەیوەندیدارەکان بە task ی ئێستا دەناسێتەوە، و لە ڕێگەی دوو convolutional layers دەیگۆڕێت بۆ بەهایەکی دوور لە سفر، و دەیانپارێزێت (preserves them).
لە کۆتاییدا، بە کەڵەکە-کردنی (stacking) ژمارەیەک لە basic modules (Stack many basic modules) لەگەڵ convolutional layers, batch normalization, activation functions, global average pooling, و fully connected output layers, Deep Residual Shrinkage Network ی تەواو بونیاد دەنرێت.
5. توانای گشتگیرکردن (Generalization Capability)
Deep Residual Shrinkage Network، لە ڕاستیدا، میتۆدێکی گشتییە بۆ feature learning. ئەمە هۆکارەکەی ئەوەیە کە لە زۆر task ی feature learning دا، sample ەکان کەم تا زۆر noise و زانیاری ناپەیوەندیدار (irrelevant information) یان تێدایە. ئەم noise و زانیارییە ناپەیوەندیدارانە ڕەنگە کاریگەرییان هەبێت لەسەر performance ی feature learning. بۆ نموونە:
لە Image classification، ئەگەر وێنەیەک هاوکات چەندین object ی تری تێدا بێت، ئەم object انە دەتوانرێت وەک “noise” تێبگیرێن. Deep Residual Shrinkage Network ڕەنگە بتوانێت attention mechanism بەکاربهێنێت بۆ سەرنجدان (notice) بە ئەم “noise” انە، و پاشان soft thresholding بەکاربهێنێت بۆ سفرکردنی ئەو feature انەی کە پەیوەندییان بە ئەم “noise” انەوە هەیە، بەمەش ئیحتمالی بەرزبوونەوەی image classification accuracy هەیە.
لە Speech recognition، بە تایبەتی لە ژینگەیەکی (environment) noisy وەک قسەکردن لە قەراغ شەقام یان لە ناو کارگەیەکی پیشەسازی، Deep Residual Shrinkage Network ڕەنگە accuracy ی speech recognition باشتر بکات، یان لانی کەم، میتۆدێک پێشکەش دەکات کە توانای باشترکردنی accuracy ی speech recognition ی هەبێت.
سەرچاوەکان (Reference)
کاریگەری ئەکادیمی (Academic Impact)
ئەم paper ە زیاتر لە ١٤٠٠ جار citation ی بۆ کراوە لە Google Scholar.
بەپێی ئامارە ناسەرەکییەکان (incomplete statistics)، Deep Residual Shrinkage Network (DRSN) ڕاستەوخۆ تەتبیق کراوە یان بە دەستکارییەوە تەتبیق کراوە لە زیاتر لە ١٠٠٠ publications/studies لە بوارە جیاوازەکاندا، وەک mechanical engineering, electrical power, vision, healthcare, speech, text, radar, و remote sensing.
BibTeX
@article{zhao2020deep,
title={Deep residual shrinkage networks for fault diagnosis},
author={Zhao, Minghang and Zhong, Shisheng and Fu, Xuyun and Tang, Baoping and Pecht, Michael},
journal={IEEE Transactions on Industrial Informatics},
volume={16},
number={7},
pages={4681--4690},
year={2020},
publisher={IEEE}
}