Deep Residual Shrinkage Network اصل ءَ Deep Residual Network ءِ یک گہتریں variant انت۔ بنیادی طور پر، Deep Residual Shrinkage Network تہا Deep Residual Network، Attention mechanisms، ءُ Soft thresholding functions ھور ءُ ھوار انت۔
ما Deep Residual Shrinkage Network ءِ کار ءِ طریقہ ءَ چوش سرپد بیت کنیں۔ اول، network اے Attention mechanisms ءَ کارمرد کنت تا کہ غیر ضروری features ءَ پجار (identify) بیاریت۔ رندا، network اے Soft thresholding functions ءَ کارمرد کنت تا کہ اے غیر ضروری features ءَ zero بکنت۔ دگہ نیمگا، network ضروری features ءَ پجار یاریت ءُ آہاں ءَ ساتیت (retain)۔ اے عمل deep neural network ءِ طاقت ءَ گیش کنت۔ اے عمل network ءَ کمک کنت تا کہ noise والا signals چہ useful features در بیاریت۔
1. تحقیقی محرک (Research Motivation)
اول، وہدے کہ algorithm اے samples ءَ classify کنت، گڑا noise ضرور بیت۔ اے noise ءِ مثال Gaussian noise، pink noise، ءُ Laplacian noise انت۔ گیش وسیع معنی ءِ تہا، samples ءِ تہا اکثر چشیں معلومات ہست کہ current classification task ءِ گونا ہیچ کار نہ داریت۔ ما اے زائدیں معلومات ءَ noise گوشت کنیں۔ اے noise اے classification ءِ performance ءَ کم کنت۔ (Soft thresholding باز signal denoising algorithms ءِ تہا یک مہم گام انت۔)
مثال ءِ ہڈا، ما سڑک ءِ کرا گپ ءُ تران ءِ بارہ ءَ خیال کنیں۔ Audio ءِ تہا موٹر آنی ہارن ءُ پہیہ آنی توار بیت کنت۔ ما بلکین اے signals ءِ سرا speech recognition کنیں۔ پس منظر (Background) ءِ توار ضرور result ءِ سرا اثر دورنت۔ Deep learning ءِ نظریہ چہ، deep neural network ءَ ہارن ءُ پہیہ آنی features ءَ دور کنگ لوٹیت۔ اے عمل ناہلیت کہ features اے speech recognition ءِ results ءَ خراب بکنت۔
دومی ایش انت کہ، noise ءِ مقدار ہر sample ءِ تہا فرق کنت۔ اے تبدیلی یک dataset ءِ تہا ہم بیت۔ (اے تبدیلی ءُ Attention mechanisms ءِ میان ءَ یکجاہی ہست۔ یک image dataset ءِ مثال ءَ زوریں۔ ہر عکس ءِ تہا target object ءِ جگہ مختلف بیت کنت۔ Attention mechanisms ہر عکس ءِ تہا target object ءِ خاص جگہ ءِ سرا focus کت کنت۔)
مثال ءِ ہڈا، یک cat-and-dog classifier ءَ training دیگ ءِ وہد ءَ خیال کنیں، ما کرا 5 عکس ہست کہ “dog” لیبل استنت۔ Image 1 ءِ تہا بلکین کچک (dog) ءُ مشک (mouse) ببیت۔ Image 2 ءِ تہا کچک ءُ ہس (goose) ببیت۔ Image 3 ءِ تہا کچک ءُ مرگ (chicken) ببیت۔ Image 4 ءِ تہا کچک ءُ ہر (donkey) ببیت۔ Image 5 ءِ تہا کچک ءُ بٹ (duck) ببیت۔ Training ءِ دوران، غیر ضروری objects اے classifier ءَ پریشان کن انت۔ اے objects مشک، ہس، مرگ، ہر، ءُ بٹ انت۔ اے پریشانی ءِ وجہ ءَ classification accuracy کم بیت۔ اگر ما اے غیر ضروری objects ءَ پجار آرگ بکنیں۔ گڑا، ما اے objects ءِ features ءَ ختم کت کنیں۔ اے طریقہ ءِ سرا، ما cat-and-dog classifier ءِ accuracy ءَ گیش کت کنیں۔
2. Soft Thresholding
Soft thresholding باز signal denoising algorithms ءِ یک بنیادی حصہ انت۔ اگر features ءِ absolute values چہ یک حد (threshold) ءَ کم ببن، گڑا algorithm آ features ءَ ختم کنت۔ اگر features ءِ absolute values چہ آ threshold ءَ برز ببن، گڑا algorithm آہاں ءَ zero ءِ نیمگا shrink کنت۔ Researchers جہلہ داتگیں formula ءِ سرا Soft thresholding ءَ implement کت کن انت:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Soft thresholding ءِ output ءِ derivative اے input ءِ لحاظ ءَ چوش انت:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]برزی فارمولہ پیش داریت کہ Soft thresholding ءِ derivative یا 1 انت یا 0۔ اے خاصیت ReLU activation function ءِ وڑ ءَ انت۔ پدا، Soft thresholding اے deep learning algorithms ءِ تہا gradient vanishing ءُ gradient exploding ءِ خطرہ ءَ کم کنت۔
Soft thresholding function ءِ تہا، threshold ءِ setting باید دو شرط ءَ پورا بکنت۔ اول، threshold باید یک positive number ببیت۔ دومی، threshold اے input signal ءِ maximum value چہ برز بوہگ نہ لوٹیت۔ وگرنہ، output مکمل zero بیت۔
ہمدا، threshold بہتر انت کہ سیمی شرط ءَ ہم پورا بکنت۔ ہر sample ءَ وتی noise ءِ حساب ءَ یک independent threshold بوہگ لوٹیت۔
ایشیاءِ وجہ ایش انت کہ، باز samples ءِ تہا noise ءِ مقدار مختلف انت۔ مثال ءِ ہڈا، یک dataset ءِ تہا Sample A بلکین کم noise داریت، ولې Sample B زیادہ noise داریت۔ اے صورتحال ءِ تہا، Soft thresholding ءِ وہد ءَ، Sample A ءَ کسانیں threshold کارمرد کنگ لوٹیت۔ Sample B ءَ مزنیں threshold کارمرد کنگ لوٹیت۔ Deep neural networks ءِ تہا، اگرچہ اے features ءُ thresholds وتی واضح physical معنی ءَ ضائع کن انت۔ ولې، بنیادی logic ہمیش انت۔ یعنی کہ، ہر sample ءِ کرا یک independent threshold بوہگ لوٹیت۔ خاص noise ءِ مقدار اے threshold ءَ فیصلہ کنت۔
3. Attention Mechanism
Researchers اے computer vision ءِ شعبہ ءِ تہا Attention mechanisms ءَ آسانی سرا سرپد بیت کن انت۔ جانور آنی vision systems تیز scan کنگ ءِ سرا targets ءَ پجار یار انت۔ رندا، vision systems وتی attention ءَ target object ءِ سرا focus کن انت۔ اے عمل system ءَ اجازت داریت کہ زیادہ details بیاریت۔ ہمے وڑ ءَ، system غیر ضروری معلومات ءَ دبائیت (suppress)۔ تفصیل ءِ خاطر ءَ، مہربانی بکن ات Attention mechanisms ءِ literature ءَ بچار ات۔
Squeeze-and-Excitation Network (SENet) اے deep learning ءِ یک نوکیں طریقہ انت کہ Attention mechanisms ءَ کاربندیت۔ مختلف samples ءِ تہا، مختلف feature channels اے classification task ءِ خاطر ءَ مختلف حصہ ڈال انت۔ SENet یک کسانیں sub-network کارمرد کنت تا کہ Learn a set of weights بکنت۔ رندا، SENet اے weights ءَ ہر channel ءِ features ءِ گونا multiply کنت۔ اے عمل ہر channel ءِ features ءِ magnitude ءَ adjust کنت۔ ما اے عمل ءَ چوش دیست کنیں کہ مختلف feature channels ءِ سرا مختلف attention levels لگگ ءَ انت۔
اے طریقہ ءِ تہا، ہر sample ءِ کرا یک independent set of weights ہست۔ دگہ لفظے تہا، ہر دو مختلف samples ءِ weights یک دگر ءَ چہ مختلف انت۔ SENet ءِ تہا، weights حاصل کنگ ءِ خاص راستہ ایش انت: “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function.”
4. Deep Attention Mechanism ءِ گونا Soft Thresholding
Deep Residual Shrinkage Network اے SENet sub-network ءِ structure ءَ کارمرد کنت۔ Network اے structure ءَ deep attention mechanism ءِ چیر ءَ Soft thresholding کنگ ءِ خاطر ءَ کاربندیت۔ Sub-network (کہ سہریں box ءِ تہا انت) Learn a set of thresholds کنت۔ رندا، network اے thresholds ءَ کارمرد کنانہ ہر feature channel ءِ سرا Soft thresholding apply کنت۔
ما اے sub-network ءِ تہا، system اول input feature map ءِ تمام features ءِ absolute values حساب کنت۔ رندا، system اے Global Average Pooling ءُ averaging کنت تا کہ یک feature حاصل بکنت، ایشیا ما A گوشیں۔ دومی path (Identity path) ءِ تہا، system اے feature map ءَ Global Average Pooling ءِ رندا یک کسانیں fully connected network ءِ تہا داریت۔ اے fully connected network اے Sigmoid function ءَ آخری layer ءِ طور پر کارمرد کنت۔ اے function اے output ءَ 0 ءُ 1 ءِ میان ءَ normalize کنت۔ اے عمل یک coefficient پیدا کنت، ایشیا ما α گوشیں۔ ما final threshold ءَ α × A ءِ صورت ءَ پیش داشت کنیں۔ پدا، threshold دو number آنی product انت۔ یک number اے 0 ءُ 1 ءِ میان ءَ انت۔ دومی number اے feature map ءِ absolute values ءِ average انت۔ اے طریقہ یقین داریت کہ threshold positive انت۔ اے طریقہ ہم یقین داریت کہ threshold باز مزن نہ انت۔
ہمدا، مختلف samples مختلف thresholds پیدا کن انت۔ پدا، ما اے طریقہ ءَ یک خاصیں Attention mechanism سمجھت کنیں۔ اے mechanism features ءَ کہ current task ءِ گونا ہمگر نہ انت، پجار یاریت۔ اے mechanism دو Convolutional layers ءِ ذریعہ اے features ءَ zero ءِ نزدیک transform کنت۔ رندا، اے mechanism اے Soft thresholding ءَ کارمرد کنانہ اے features ءَ zero کنت۔ یا کہ، اے mechanism features ءَ کہ current task ءِ گونا ہمگر انت، پجار یاریت۔ اے mechanism دو Convolutional layers ءِ ذریعہ اے features ءَ zero چہ دور transform کنت۔ آخر ءَ، اے mechanism اے features ءَ ساتیت (preserves)۔
آخر ءَ، ما یک تعداد ءَ basic modules ءَ stack کنیں (Stack many basic modules)۔ ما Convolutional layers، Batch Normalization، Activation functions، Global Average Pooling، ءُ fully connected output layers ءَ ہم شامل کنیں۔ اے عمل مکمل Deep Residual Shrinkage Network ءَ جوڑ کنت۔
5. Generalization ءِ صلاحیت (Generalization Capability)
Deep Residual Shrinkage Network اے feature learning ءِ خاطر ءَ یک general method انت۔ پرچا کہ، باز feature learning tasks ءِ تہا، samples اکثر noise دار انت۔ Samples غیر ضروری معلومات ہم دار انت۔ اے noise ءُ غیر ضروری معلومات feature learning ءِ performance ءَ اثر مند کت کن انت۔ مثال ءِ ہڈا:
Image classification ءَ خیال کنیں۔ یک عکس ءِ تہا بلکین دگہ باز چیز ببیت۔ ما اے چیزاں ءَ “noise” سمجھت کنیں۔ Deep Residual Shrinkage Network بلکین Attention mechanism ءَ کاربندیت۔ Network اے “noise” ءَ notice کنت۔ رندا، network اے Soft thresholding ءَ کارمرد کنت تا کہ اے “noise” والا features ءَ zero بکنت۔ اے عمل image classification accuracy ءَ بہتر کت کنت۔
Speech recognition ءَ خیال کنیں۔ خاص طور پر، شور ءُ شغب والا ماحول ءِ تہا، چوش کہ سڑک ءِ کرا یا factory workshop ءِ تہا گپ ءُ تران۔ Deep Residual Shrinkage Network اے speech recognition accuracy ءَ بہتر کت کنت۔ یا کم از کم، network یک methodology داریت۔ اے methodology اے speech recognition accuracy ءَ بہتر کنگ ءِ صلاحیت داریت۔
حوالہ (Reference)
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}