Deep Residual Shrinkage Network بولسا Deep Residual Network نىڭ ياخشىلانغان بىر ۋارىيانتىدۇر (Variant). ماھىيەت جەھەتتىن ئېيتقاندا، Deep Residual Shrinkage Network ئۆز ئىچىگە Deep Residual Network، Attention Mechanism ۋە Soft Thresholding Function لىرىنى ئالىدۇ.
بىز Deep Residual Shrinkage Network نىڭ خىزمەت پىرىنسىپىنى (Working Principle) تۆۋەندىكىچە چۈشىنىشىمىز مۇمكىن. ئاۋۋال، تور Attention Mechanism نى ئىشلىتىپ، مۇھىم بولمىغان Feature لارنى تونۇۋالىدۇ. ئاندىن، تور Soft Thresholding Function ئارقىلىق بۇ مۇھىم بولمىغان Feature لارنى نۆلگە ئايلاندۇرىدۇ. ئەكسىچە، تور مۇھىم Feature لارنى تونۇۋالىدۇ ۋە ئۇلارنى ساقلاپ قالىدۇ. بۇ جەريان Deep Neural Network نىڭ ئىقتىدارىنى كۈچەيتىدۇ. بۇ جەريان يەنە تورنىڭ Noise بار بولغان سىگناللاردىن پايدىلىق Feature لارنى ئېلىشىغا ياردەم بېرىدۇ.
1. تەتقىقات مۇددىئاسى (Research Motivation)
بىرىنچىدىن، ئالگورىتم Sample لارنى تۈرگە ئايرىۋاتقاندا (Classify)، شاۋقۇن (Noise) مۇقەررەر مەۋجۇت بولىدۇ. مەسىلەن، Gaussian Noise، Pink Noise ۋە Laplacian Noise. كەڭ مەنىدىن ئېيتقاندا، Sample لار كۆپىنچە نۆۋەتتىكى Classification ۋەزىپىسىگە مۇناسىۋەتسىز ئۇچۇرلارنى ئۆز ئىچىگە ئالىدۇ. بىز بۇ مۇناسىۋەتسىز ئۇچۇرلارنى Noise دەپ قارىساق بولىدۇ. بۇ Noise لار Classification ئۈنۈمىنى تۆۋەنلىتىشى مۇمكىن. (Soft Thresholding بولسا نۇرغۇن Signal Denoising ئالگورىتملىرىدىكى ھەل قىلغۇچ بىر باسقۇچ.)
مەسىلەن، يول بويىدىكى پاراڭنى كۆز ئالدىمىزغا كەلتۈرەيلى. ئاۋاز ھۆججىتىدە ماشىنا كورنايلىرى ۋە چاق ئاۋازلىرى بولۇشى مۇمكىن. بىز بۇ سىگناللارغا Speech Recognition ئىشلىتىمىز دەيلى. ئارقا كۆرۈنۈش (Background) ئاۋازلىرى نەتىجىگە تەسىر قىلىدۇ. Deep Learning نۇقتىسىدىن قارىغاندا، Deep Neural Network كورناي ۋە چاق ئاۋازلىرىغا توغرا كېلىدىغان Feature لارنى چىقىرىۋېتىشى كېرەك. بۇنداق قىلىش ئارقىلىق بۇ Feature لارنىڭ Speech Recognition نەتىجىسىگە تەسىر قىلىشىنىڭ ئالدىنى ئالغىلى بولىدۇ.
ئىككىنچىدىن، Noise مىقدارى ھەربىر Sample دا ئوخشاش بولمايدۇ. ھەتتا بىر Dataset ئىچىدىمۇ شۇنداق. (بۇ ئەھۋال Attention Mechanism غا ئوخشاپ كېتىدۇ. Image Dataset نى مىسالغا ئالايلى. ھەر بىر رەسىمدىكى Target ئوبيېكتنىڭ ئورنى ئوخشىماسلىقى مۇمكىن. Attention Mechanism ھەر بىر رەسىمدىكى Target ئوبيېكتنىڭ ئالاھىدە ئورنىغا دىققەت قىلالايدۇ.)
مەسىلەن، “ئىت” دەپ بەلگە قويۇلغان 5 رەسىم بىلەن ئىت-مۈشۈك Classifier نى تەربىيەلەشنى (Training) ئويلىشىپ باقايلى. 1-رەسىمدە ئىت ۋە چاشقان بولۇشى مۇمكىن. 2-رەسىمدە ئىت ۋە غاز بولۇشى مۇمكىن. 3-رەسىمدە ئىت ۋە توخۇ بولۇشى مۇمكىن. 4-رەسىمدە ئىت ۋە ئېشەك بولۇشى مۇمكىن. 5-رەسىمدە ئىت ۋە ئۆردەك بولۇشى مۇمكىن. Training جەريانىدا، مۇناسىۋەتسىز ئوبيېكتلار Classifier غا دەخلى قىلىدۇ. بۇ ئوبيېكتلار چاشقان، غاز، توخۇ، ئېشەك ۋە ئۆردەكلەردۇر. بۇ دەخلى قىلىش Classification توغرىلىقىنىڭ (Accuracy) تۆۋەنلىشىگە سەۋەب بولىدۇ. ئەگەر بىز بۇ مۇناسىۋەتسىز ئوبيېكتلارنى تونۇپ، ئۇلارغا توغرا كېلىدىغان Feature لارنى يوقىتالىساق، ئىت-مۈشۈك Classifier نىڭ توغرىلىقىنى ئاشۇرالايمىز.
2. يۇمشاق بوسۇغا قىممەت (Soft Thresholding)
Soft Thresholding بولسا نۇرغۇن Signal Denoising ئالگورىتملىرىدىكى يادرولۇق (Core) باسقۇچ. ئەگەر Feature لارنىڭ مۇتلەق قىممىتى (Absolute Value) مەلۇم بىر بوسۇغا قىممەت (Threshold) تىن تۆۋەن بولسا، ئالگورىتم بۇ Feature لارنى يوقىتىدۇ. ئەگەر Feature لارنىڭ مۇتلەق قىممىتى بۇ Threshold تىن يۇقىرى بولسا، ئالگورىتم ئۇلارنى نۆلگە قاراپ قىسقارتىدۇ (Shrink). تەتقىقاتچىلار Soft Thresholding نى تۆۋەندىكى فورمۇلا ئارقىلىق ئەمەلگە ئاشۇرۇشى مۇمكىن:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Soft Thresholding Output نىڭ Input قا بولغان تۇرىمىسى (Derivative) تۆۋەندىكىچە:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]يۇقىرىدىكى فورمۇلا شۇنى كۆرسىتىدۇكى، Soft Thresholding نىڭ Derivative سى يا 1 يا 0 بولىدۇ. بۇ خاسىيەت ReLU Activation Function نىڭ خاسىيىتى بىلەن ئوخشاش. شۇڭا، Soft Thresholding ئۇسۇلى Deep Learning ئالگورىتملىرىدا Gradient Vanishing ۋە Gradient Exploding خەۋپىنى تۆۋەنلىتىدۇ.
Soft Thresholding Function دا، Threshold نى بەكىتىش ئىككى شەرتكە ئۇيغۇن كېلىشى كېرەك. بىرىنچى، Threshold چوقۇم مۇسبەت سان (Positive) بولۇشى كېرەك. ئىككىنچى، Threshold كىرگۈزۈلگەن سىگنالنىڭ ئەڭ چوڭ قىممىتىدىن (Maximum Value) ئېشىپ كەتمەسلىكى لازىم. بولمىسا، Output پۈتۈنلەي نۆل بولۇپ قالىدۇ.
ئۇندىن باشقا، Threshold ئۈچىنچى شەرتكىمۇ ئۇيغۇن كەلسە تېخىمۇ ياخشى. ھەربىر Sample ئۆزىدىكى Noise مىقدارىغا ئاساسلانغان ھالدا، ئۆزىگە خاس مۇستەقىل Threshold قا ئىگە بولۇشى كېرەك.
سەۋەبى، Noise مىقدارى Sample لار ئارىسىدا كۆپىنچە پەرقلىق بولىدۇ. مەسىلەن، بىر Dataset ئىچىدە، Sample A دا Noise ئاز، Sample B دا Noise كۆپ بولۇشى مۇمكىن. بۇ ئەھۋالدا، Soft Thresholding قىلىۋاتقاندا، Sample A كىچىكرەك Threshold نى ئىشلىتىشى كېرەك. Sample B چوڭراق Threshold نى ئىشلىتىشى كېرەك. Deep Neural Network لاردا، بۇ Feature لار ۋە Threshold لار ئۆزىنىڭ ئېنىق فىزىكىلىق مەنىسىنى يوقىتىۋېتىشى مۇمكىن. بىراق، ئاساسىي لوگىكا (Basic Logic) ئوخشاش. يەنى، ھەربىر Sample مۇستەقىل Threshold قا ئىگە بولۇشى كېرەك. ئېنىق Noise مىقدارى بۇ Threshold نى بەلگىلەيدۇ.
3. دىققەت مېخانىزمى (Attention Mechanism)
تەتقىقاتچىلار Computer Vision ساھەسىدىكى Attention Mechanism نى ئاسانلا چۈشىنەلەيدۇ. ھايۋانلارنىڭ كۆرۈش سىستېمىسى پۈتۈن دائىرىنى تېز Scan قىلىپ، Target نى پەرقْلەندۈرىدۇ. كېيىن، كۆرۈش سىستېمىسى دىققىتىنى (Attention) نىشان ئوبيېكت (Target Object) قا مەركەزلەشتۈرىدۇ. بۇ ھەرىكەت سىستېمىنىڭ تېخىمۇ كۆپ تەپسىلاتلارنى ئېلىشىغا يول قويىدۇ. شۇ ۋاقىتنىڭ ئۆزىدە، سىستېما مۇناسىۋەتسىز ئۇچۇرلارنى باستۇرىدۇ. تەپسىلاتلار ئۈچۈن Attention Mechanism ھەققىدىكى ئەدەبىياتلارغا قاراڭ.
Squeeze-and-Excitation Network (SENet) بولسا Attention Mechanism نى ئىشلىتىدىغان نىسبەتەن يېڭى Deep Learning ئۇسۇلىدۇر. ئوخشىمىغان Sample لاردا، ئوخشىمىغان Feature Channel لىرى Classification ۋەزىپىسىگە پەرقلىق ھەسسە قوشىدۇ. SENet كىچىك بىر Sub-network ئارقىلىق بىر يۈرۈش ئېغىرلىقنى (Set of Weights) ئالىدۇ. ئاندىن، SENet بۇ Weight لارنى مۇۋاپىق كەلگەن Channel لارنىڭ Feature لىرى بىلەن كۆپەيتىدۇ. بۇ مەشغۇلات ھەربىر Channel دىكى Feature لارنىڭ چوڭلۇقىنى تەڭشەيدۇ. بىز بۇ جەرياننى ئوخشىمىغان Feature Channel لىرىغا پەرقلىق دەرىجىدە Attention قوللىنىش دەپ قارىساق بولىدۇ.
بۇ ئۇسۇلدا، ھەربىر Sample مۇستەقىل بىر Set Weight لارغا ئىگە بولىدۇ. باشقىچە ئېيتقاندا، ئىختىيارىي ئىككى Sample نىڭ Weight لىرى ئوخشاش بولمايدۇ. SENet تا، Weight لارنى ئېلىشنىڭ ئېنىق يولى: “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function”.
4. چوڭقۇر دىققەت مېخانىزمى ئاستىدىكى يۇمشاق بوسۇغا (Soft Thresholding with Deep Attention Mechanism)
Deep Residual Shrinkage Network بولسا SENet Sub-network نىڭ قۇرۇلمىسىنى ئىشلىتىدۇ. تور بۇ قۇرۇلمىدىن پايدىلىنىپ Deep Attention Mechanism ئاستىدا Soft Thresholding نى ئەمەلگە ئاشۇرىدۇ. Sub-network (قىزىل رامكا ئىچىدە كۆرسىتىلگەن) Learn a set of thresholds (بىر يۈرۈش Threshold لارنى ئۆگىنىدۇ). ئاندىن، تور بۇ Threshold لارنى ئىشلىتىپ ھەر بىر Feature Channel دا Soft Thresholding ئېلىپ بارىدۇ.
بۇ Sub-network تا، سىستېما ئاۋۋال Input Feature Map تىكى بارلىق Feature لارنىڭ مۇتلەق قىممىتىنى ھېسابلايدۇ. كېيىن، سىستېما Global Average Pooling ۋە ئوتتۇرىچە قىممەت (Average) ئېلىپ، A دەپ ئاتىلىدىغان بىر Feature نى ئالىدۇ. يەنە بىر يولىدا (Identity Path)، سىستېما Feature Map نى Global Average Pooling دىن كېيىن كىچىك بىر Fully Connected Network قا كىرگۈزىدۇ. بۇ Fully Connected Network ئاخىرقى قەۋەت سۈپىتىدە Sigmoid Function نى ئىشلىتىدۇ. بۇ Function چىقىرىش قىممىتىنى (Output) نى 0 بىلەن 1 ئارىسىغا Normalize قىلىدۇ. بۇ جەريان α دەپ ئاتىلىدىغان بىر كوئېففىتسېنتنى (Coefficient) بېرىدۇ. بىز ئاخىرقى Threshold نى α × A دەپ ئىپادىلەيمىز. شۇڭا، Threshold ئىككى ساننىڭ كۆپەيتىمىسى بولىدۇ. بىر سان 0 بىلەن 1 نىڭ ئارىسىدا. يەنە بىر سان بولسا Feature Map مۇتلەق قىممەتلىرىنىڭ ئوتتۇرىچە قىممىتى. بۇ ئۇسۇل Threshold نىڭ Positive بولۇشىنى كاپالەتكە ئىگە قىلىدۇ. بۇ ئۇسۇل يەنە Threshold نىڭ بەك چوڭ بولۇپ كەتمەسلىكىنىمۇ كاپالەتكە ئىگە قىلىدۇ.
ئۇندىن باشقا، ئوخشىمىغان Sample لار ئوخشىمىغان Threshold لارنى ھاسىل قىلىدۇ. نەتىجىدە، بىز بۇ ئۇسۇلنى ئالاھىدە بىر Attention Mechanism دەپ چۈشىنىشىمىز مۇمكىن. بۇ Mechanism نۆۋەتتىكى ۋەزىپە بىلەن مۇناسىۋەتسىز Feature لارنى تونۇۋالىدۇ. بۇ Mechanism ئىككى Convolutional Layer ئارقىلىق بۇ Feature لارنى 0 گە يېقىن قىممەتلەرگە ئايلاندۇرىدۇ. ئاندىن، بۇ Mechanism يۇمشاق بوسۇغا (Soft Thresholding) ئارقىلىق بۇ Feature لارنى نۆلگە تەڭشەيدۇ. ياكى بولمىسا، بۇ Mechanism نۆۋەتتىكى ۋەزىپە بىلەن مۇناسىۋەتلىك Feature لارنى تونۇۋالىدۇ. بۇ Mechanism ئىككى Convolutional Layer ئارقىلىق بۇ Feature لارنى 0 دىن يىراق قىممەتلەرگە ئايلاندۇرىدۇ. ئاخىرىدا، بۇ Mechanism بۇ Feature لارنى ساقلاپ قالىدۇ.
ئاخىرىدا، بىز مەلۇم ساندىكى Stack many basic modules (ئاساسلىق مودۇللارنى تىزىمىز). بىز يەنە Convolutional Layer لار، Batch Normalization، Activation Function لار، Global Average Pooling ۋە Fully Connected Output Layer لارنى قوشىمىز. بۇ جەريان تولۇق بولغان Deep Residual Shrinkage Network نى قۇرۇپ چىقىدۇ.
5. ئومۇمىيلىقى (Generalization Capability)
Deep Residual Shrinkage Network بولسا Feature Learning ئۈچۈن ئىشلىتىدىغان ئومۇمىي (General) بىر ئۇسۇلدۇر. سەۋەبى، نۇرغۇن Feature Learning ۋەزىپىلىرىدە، Sample لار كۆپىنچە Noise نى ئۆز ئىچىگە ئالىدۇ. Sample لار يەنە مۇناسىۋەتسىز ئۇچۇرلارنىمۇ ئۆز ئىچىگە ئالىدۇ. بۇ Noise ۋە مۇناسىۋەتسىز ئۇچۇرلار Feature Learning نىڭ ئۈنۈمىگە تەسىر كۆرسىتىشى مۇمكىن. مەسىلەن:
Image Classification نى ئويلىشىپ كۆرەيلى. بىر رەسىم بىرلا ۋاقىтта نۇرغۇن باشقا ئوبيېكتلارنى ئۆز ئىچىگە ئېلىشى مۇمكىن. بىز بۇ ئوبيېكتلارنى “Noise” دەپ چۈشىنىشىمىز مۇمكىن. Deep Residual Shrinkage Network بەلكىم Attention Mechanism دىن پايدىلىنىشى مۇمكىن. تور بۇ “Noise” لارنى بايقايدۇ. ئاندىن، تور Soft Thresholding نى ئىشلىتىپ، بۇ “Noise” لارغا توغرا كېلىدىغان Feature لارنى نۆلگە تەڭشەيدۇ. بۇ ھەرىكەت Image Classification نىڭ توغرىلىقىنى ئاشۇرۇشى مۇمكىن.
Speech Recognition نى ئويلىشىپ كۆرەيلى. بولۇپمۇ يول بويىدا ياكى زاۋۇت سەخلىرىدە پاراڭلاشقاندەك بىر قەدەر شاۋقۇن (Noisy) مۇھىتلارنى كۆز ئالدىمىزغا كەلتۈرەيلى. Deep Residual Shrinkage Network بەلكىم Speech Recognition نىڭ توغرىلىقىنى ئاشۇرۇشى مۇمكىن. ياكى ئەڭ كەم دېگەندە، تور بىر خىل Method (ئۇسۇل) بىلەن تەمىنلەيدۇ. بۇ Method يەنى Speech Recognition نىڭ توغرىلىقىنى ئاشۇرۇش ئىقتىدارىغا ئىگە.
تەسىر كۈچى (Academic Impact)
بۇ ماقالە Google Scholar دا 1400 دىن ئارتۇق Citation (نەقىل) گە ئېرىشتى.
تولۇق بولمىغان ستاتىستىكىغا ئاساسلانغاندا، تەتقىقاتچىلار Deep Residual Shrinkage Network (DRSN) نى 1000 دىن ئارتۇق نەشر/تەتقىقاتتا قوللاندى. بۇ قوللىنىشلار كەڭ دائىرىلىك ساھەلەرنى ئۆز ئىچىگە ئالىدۇ. بۇ ساھەلەر Mechanical Engineering (ماشىنىسازلىق)، Electrical Power (ئېلېكتر ئېنېرگىيىسى)، Vision (كۆرۈش سېزىمى)، Healthcare (سەھىيە)، Speech (نۇتۇق)، Text (تېكىست)، Radar ۋە Remote Sensing قاتارلىقلارنى ئۆز ئىچىگە ئالىدۇ.
پايدىلانغان مەنبەلەر (Reference)
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}