Deep Residual Shrinkage Network: Highly Noisy Data خٲطرٕ اکھ Artificial Intelligence Method

Deep Residual Shrinkage Network چھُ دراصل Deep Residual Network ہُک اکھ بہتر Variant۔ اصلس منز چھُ یہِ Deep Residual Network، Attention Mechanisms تہٕ Soft Thresholding Functions ہُک مجموعہ (Integration)۔

کینہہ حد تک، Deep Residual Shrinkage Network ہٕچ کٲم کرنٕچ صلاحیت ہیکو أسۍ یہِ سمجھتھ کہ: یہِ چھُ Attention Mechanisms ہُک استعمال کرتھ غیر ضروری (unimportant) Features شناخت کران تہٕ Soft Thresholding Functions ذریعے تمن Zero سیٹ (set) کران؛ یا بییہِ طرفہٕ، یہِ چھُ ضروری Features شناخت کران تہٕ تمن برقرار (retain) تھاوان۔ یہِ عمل چھُ Deep Neural Network کِس Noise والین Signals منزٕ مفید Features نیرہٕ کڈنس منز مدد کران۔

1. Research Motivation

گۄڈٕ، ییلہِ أسۍ Samples کِہ Classifying چھِ کران، Noise مثلاً Gaussian Noise، Pink Noise تہٕ Laplacian Noise آسُن چھُ لازمی۔ وسیع معنن منز، Samples منز ہیکن اکثر یِژھ معلومات آسِتھ یوس موجودہ Classification Task سٟتۍ متعلق چھنہٕ آسان، تہٕ اتھ تہِ ہیکو أسۍ Noise ونِتھ۔ یہِ Noise ہیکہِ Classification Performance پؠٹھ غلط اثر تراوِتھ۔ (Soft thresholding چھُ واریاہن Signal Denoising Algorithms منز اکھ اہم قدم۔)

مثالے، سڑکِ کنارے کتھ باتھ کرنہٕ وزِ ہیکہِ آوازِ منز گاڑین ہٕندِ ہارن یا ٹایرن ہٕنز آواز مِلِتھ گژھتھ۔ ییلہِ یمن Signals ہٕنز Speech Recognition کرنہٕ ییہِ، تہٕ نتیجہِ گژھہِ ضرور خراب۔ Deep Learning کِس نظریہ سٟتۍ، ہارن تہٕ ٹایرن ہٕندۍ Features گژھن Deep Neural Network منز ختم (Eliminate) کرنہٕ ینہٕ تاکہ تم Speech Recognition کِس نتیجس خراب نہٕ کرِن۔

دۄیم، اکی Dataset منز تہِ چھُ الگ الگ Samples منز Noise amount اکثر مختلف آسان۔ (یہِ چھُ Attention Mechanisms سٟتۍ رلان؛ اگر اکھ Image Dataset وچھو، مختلف تصویرن منز ہیکہِ Target Object مختلف جاین پؠٹھ آسِتھ، تہٕ Attention Mechanisms ہیکن پرؠتھ تصویرِ منز Target Object کِس خاص لوکیشنس (Location) پؠٹھ توجہ دِتھ۔)

مثالے، اگر اسۍ کیٹ-اینڈ-ڈاگ (Cat-and-Dog) Classifier ٹرین (train) کرو، تہٕ “Dog” لیبل (Label) والی 5 تصویر چھِ۔ گۄڈنِچہِ تصویرِ منز ہیکہِ ہُن تہٕ گگُر آسِتھ، دۄیمس منز ہُن تہٕ آنٛز، تریمس منز ہُن تہٕ کوکر، څوٗرمس منز ہُن تہٕ خر، تہٕ پنجمس منز ہُن تہٕ بتُکھ۔ Training دوران گژھہِ Classifier یمن غیر متعلق چیزن (Irrelevant Objects) مثلاً گگُر، آنٛز، کوکر، خر تہٕ بتُکھ سٟتۍ Distub، تہٕ Classification Accuracy گژھہِ کم۔ اگر اسۍ یمن غیر ضروری چیزن—گگُر، آنٛز، کوکر، خر تہٕ بتُکھ—شناخت کٔرِتھ تمن ہٕندۍ Features ختم کٔرو، تیلہِ ہیکہِ Cat-and-Dog Classifier ہٕچ Accuracy بہتر گژھتھ۔

2. Soft Thresholding

Soft thresholding چھُ واریاہن Signal Denoising Algorithms ہُک اکھ اہم حصہ۔ یہِ چھُ تمن Features ختم کران یمن ہُنٛد Absolute Value اکہِ خاص Threshold کھوتہٕ کم چھُ آسان، تہٕ یمن ہُنٛد Absolute Value اتھ Threshold کھوتہٕ زیادہ چھُ آسان تمن چھُ یہِ Zero کُن Shrink کران۔ یہِ ہیکو أسۍ یتھ Formula سٟتۍ لاگو کٔرِتھ:

Soft thresholding output ہُک Derivative، Input کِس حسابہٕ چھُ یہِ:

ہیری دِینہٕ آمُت، Soft thresholding ہُک Derivative چھُ یا تہِ 1 آسان یا 0۔ یہِ خصلت چھِ ReLU Activation Function ہیو۔ لہذا، Soft thresholding سٟتۍ چھُ Deep Learning Algorithms منز Gradient Vanishing تہٕ Gradient Exploding ہُک خطرہ کم گژھان۔

Soft thresholding function منز، Threshold سیٹ (set) کرنہٕ وزِ گژھن زٕ شرطہٕ پورٕ گژھنۍ: گۄڈٕ، Threshold گژھہِ Positive (مثبت) آسُن؛ دۄیم، Threshold گژھہِ نہٕ Input Signal کِس Maximum Value کھوتہٕ زیادہ آسُن، ورنہٕ Output ییہِ سوروئی Zero۔

بییہِ، Threshold گژھہِ ترِیم شرط تہِ پورٕ کرُن: پرؠتھ Sample ہُک گژھہِ پننِس Noise Content مُطابق پنُن الگ Independent Threshold آسُن۔

یہِ چھُ امیوجہ کہ Samples منز چھُ Noise content اکثر مختلف آسان۔ مثالے، اکثر چھُ یہِ گژھان کہ اکی Dataset منز Sample A منز چھُ کم Noise آسان مگر Sample B منز چھُ زیادہ Noise آسان۔ یتھ حالتس منز، Denoising algorithm منز Soft thresholding کرنہٕ وزِ، Sample A خٲطرٕ گژھہِ کم Threshold تہٕ Sample B خٲطرٕ گژھہِ زیادہ Threshold استعمال کرُن۔ اگرچہ Deep Neural Networks منز یمن Features تہٕ Thresholds ہٕنز واضح Physical definitions چھِ نہٕ آسان، مگر بنیادی منطق (Logic) چھِ سہی۔ یعنی، پرؠتھ Sample ہُک گژھہِ پننِس Noise content مُطابق پنُن الگ Independent Threshold آسُن۔

3. Attention Mechanism

Attention Mechanisms چھِ Computer Vision فیلڈس منز سمجھنۍ آسان۔ جانورن ہُنٛد Visual System چھُ ساری علاقہ تیزی سان Scan کران تہٕ Target Object شناخت کران، پتہٕ چھُ صرف اتھ Target Object پؠٹھ Attention دیوان تاکہ مزید تفصیلات (Details) حاصل کرِ تہٕ غیر ضروری معلومات (Irrelevant information) کرِ نظر انداز۔ تفصیلات خٲطرٕ وچھِیو Attention Mechanisms متعلق لٹریچر۔

Squeeze-and-Excitation Network (SENet) چھُ Attention Mechanisms استعمال کرن وول اکھ نوُ Deep Learning Method۔ مختلف Samples منز، مختلف Feature Channels ہُنٛد Classification Task منز حصہ (Contribution) چھُ مختلف آسان۔ SENet چھُ اکھ لۄکُٹ Sub-network استعمال کٔرِتھ “Learn a set of weights” (Weights ہٕچ اکھ سیٹ حاصل کران) تہٕ پتہٕ یمن Weights چھُ متعلقہ Channels ہٕندین Features سٟتۍ ضرب (multiply) دِوان تاکہ پرؠتھ Channel کِس Feature size ایڈجسٹ (Adjust) کرِ۔ یتھ عملس ہیکو أسۍ “Apply weighting to each feature channel” ونِتھ۔

یتھ طریقہِ منز، پرؠتھ Sample ہٕچ چھِ پنٕنۍ Independent Weights آسان۔ SENet منز، Weights حاصل کرنُک راستہ چھُ: “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function”۔

4. Soft Thresholding with Deep Attention Mechanism

Deep Residual Shrinkage Network چھُ Soft thresholding یُس Deep Attention Mechanism تحت چھُ، حاصل کرنہٕ خٲطرٕ SENet Sub-network سٹرکچر (Structure) پیٹھہٕ اِنسپریشن (Inspiration) ہیزان۔ Red box منز دِینہٕ آمُت Sub-network ذریعے ہیکو أسۍ “Learn a set of thresholds” (Thresholds ہٕچ اکھ سیٹ حاصل کٔرِتھ) پرؠتھ Feature Channel پؠٹھ Soft thresholding لاگو کٔرِتھ۔

اتھ Sub-network منز، گۄڈٕ چھُ Input Feature Map کِس سارِنی Features ہُک Absolute Value کڈنہٕ یِوان۔ پتہٕ Global Average Pooling تہٕ Averaging ذریعہ چھُ اکھ Feature حاصل گژھان، ییتھ $A$ وننہٕ چھُ یِوان۔ دۄیمہِ راستہ (Identity path) منز، Global Average Pooling پتہٕ یُس Feature Map چھُ میلان، سہ چھُ اکہِ لۄکٹِس Fully Connected Network منز دِینہٕ یِوان۔ یہِ Fully Connected Network چھُ Sigmoid Function آخری Layer کِس طور استعمال کران تاکہ Output ییہِ 0 تہٕ 1 درمیان Normalize کرنہٕ، تہٕ اکھ Coefficient چھُ میلان ییتھ $\alpha$ وننہٕ چھُ یِوان۔ لہذا، Final Threshold ہیکو أسۍ $\alpha \times A$ سٟتۍ ظاہر کٔرِتھ۔ یعنی، Threshold چھُ 0 تہٕ 1 درمیان اکھ نمبر × Feature Map کِس Absolute Values ہُک Average۔ یہِ طریقہ چھُ یقین دِلاوان زِ Threshold چھُ نہ صرف Positive بلکہ یہِ گژھہِ نہٕ حد کھوتہٕ زیادہ بڈٕ۔

مزيد برآں، مختلف Samples ہٕندۍ چھِ مختلف Thresholds آسان۔ نتیجتاً، کیہہ حد تک ہیکو أسۍ اتھ اکھ خاص Attention Mechanism سمجھِتھ: یہِ چھُ تمن Features شناخت کران یم موجودہ Task سٟتۍ متعلق چھِ نہٕ آسان، تہٕ تمن چھُ زٕ (2) Convolutional Layers ذریعے 0 کِس قریب کران تہٕ Soft thresholding ذریعے تمن بالکل Zero سیٹ کران؛ یا بییہِ طرفہٕ، یہِ چھُ Task سٟتۍ متعلق Features شناخت کران، تمن 0 نش دوٗر کران تہٕ تمن برقرار (Preserve) تھاوان۔

آخرس منز، کینہہ خاص تعداد منز Basic Modules (“Stack many basic modules”)، Convolutional Layers، Batch Normalization، Activation Functions، Global Average Pooling تہٕ Fully Connected Output Layers سٟتۍ مِلٲوِتھ چھُ مکمل Deep Residual Shrinkage Network بنان۔

5. Generalization Capability

Deep Residual Shrinkage Network چھُ دراصل اکھ عام Feature Learning Method۔ یہِ امیوجہ کہ واریاہن Feature Learning Tasks منز چھِ Samples منز کم یا زیادہ Noise یا غیر متعلقہ معلومات آسان۔ یہِ Noise ہیکہِ Feature Learning کِس کارکردگی (Performance) پؠٹھ اثر تراوِتھ۔ مثالے:

Image Classification منز، اگر تصویرِ منز باقی چیز تہِ آسَن، تمن ہیکو أسۍ “Noise” سمجھِتھ۔ Deep Residual Shrinkage Network ہیکہِ Attention Mechanism سٟتۍ یمن “Noise” چیزن نوٹس (Notice) کٔرِتھ Soft thresholding ذریعے تمن Zero سیٹ کٔرِتھ Image Classification Accuracy بہتر کٔرِتھ۔

Speech Recognition منز، خاص کر شور واجِنی جایہِ مثلاً سڑکِ کنارے یا فیکٹری منز، Deep Residual Shrinkage Network ہیکہِ Speech Recognition Accuracy بہتر کٔرِتھ، یا کم از کم اکھ یُتھ طریقہِ کار فراہم کٔرِتھ یُس Accuracy بہتر کرنس منز مدد دیِہ۔

Academic Impact

اتھ پیپرز (Paper) چھِ Google Scholar پؠٹھ 1400 کھوتہٕ زیادہ Citations۔

نامکمل اعداد و شمار مُطابق، Deep Residual Shrinkage Network (DRSN) چھُ 1000 کھوتہٕ زیادہ Publications/Studies منز براہ راست استعمال یا Modify کٔرِتھ استعمال کرنہٕ آمُت، یمن منز Mechanical Engineering، Electrical Power، Vision، Healthcare، Speech، Text، Radar تہٕ Remote Sensing شامل چھِ۔

حوالہ جات (References)

BibTeX

@article{Zhao2020,
  author    = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
  title     = {Deep Residual Shrinkage Networks for Fault Diagnosis},
  journal   = {IEEE Transactions on Industrial Informatics},
  year      = {2020},
  volume    = {16},
  number    = {7},
  pages     = {4681-4690},
  doi       = {10.1109/TII.2019.2943898}
}