An Deep Residual Shrinkage Network in usa nga improved variant han Deep Residual Network. Ha kamatuoran, an Deep Residual Shrinkage Network in nag-iintegrate han Deep Residual Network, attention mechanisms, ngan soft thresholding functions.
Masasabtan naton an working principle han Deep Residual Shrinkage Network ha sugad nga paagi. Una, an network in nagamit hin attention mechanisms para ma-identify an mga unimportant features. Tapos, an network in nag-aapply hin soft thresholding functions para i-set ini nga mga unimportant features ngadto ha zero. Ha luyo nga bahin, an network in nag-iidentify han mga important features ngan gin-reretain ini. Ini nga proseso in nag-iimprove han abilidad han deep neural network. Ini nga proseso in nakakabulig ha network nga ma-extract an mga useful features tikang ha mga signals nga may sulod nga noise.
1. Research Motivation
Una, an noise in diri malilikayan kun an algorithm in nagkaklasipikar hin mga samples. An mga ehemplo hini nga noise in an Gaussian noise, pink noise, ngan Laplacian noise. Ha mas haluag nga pag-intindi, an mga samples in pirme may sulod nga impormasyon nga waray labot o irrelevant ha current nga classification task. Puyde naton intindihon ini nga irrelevant information isip noise. Ini nga noise in puyde makapaguti han classification performance. (An Soft thresholding in usa nga key step ha damo nga signal denoising algorithms.)
Example, hunahunaa an usa nga istoryahan ha ligid han kalsada. An audio in bangin may sulod nga tunog han mga busina ngan ligid han awto. Bangin mag-perform kita hin speech recognition hini nga mga signals. An mga background sounds in sigurado nga makaaapekto ha resulta. Tikang ha deep learning perspective, an deep neural network in kinahanglan tanggalon an mga features nga corresponding ha mga busina ngan ligid. Ini nga pagtanggal in nagpupugong nga an mga features in makaapekto ha speech recognition results.
Ikaduha, an kadamo han noise in pirme nag-iiba-iba ha mga samples. Ini nga variation in nangyayari bisan ha sulod han pareho nga dataset. (Ini nga variation in may kapareho ha mga attention mechanisms. Gamiton naton an usa nga image dataset isip example. An lokasyon han target object in puyde maiba ha mga images. An attention mechanisms in puyde mag-focus ha specific nga lokasyon han target object ha kada image.)
Isip example, hunahunaa an pag-train hin cat-and-dog classifier gamit an lima nga images nga may label nga “dog.” An Image 1 in bangin may ayam ngan yatot. An Image 2 bangin may ayam ngan gansa. An Image 3 bangin may ayam ngan manok. An Image 4 bangin may ayam ngan asno. An Image 5 bangin may ayam ngan pato. Ha oras han training, an mga irrelevant objects in makaka-interfere ha classifier. Ini nga mga objects in an mga yatot, gansa, manok, asno, ngan pato. Ini nga interference in nagreresulta hin pagbaba han classification accuracy. Kun puyde naton ma-identify ini nga mga irrelevant objects. Tapos, puyde naton tanggalon an mga features nga corresponding hini nga mga objects. Ha sugad nga paagi, ma-iimprove naton an accuracy han cat-and-dog classifier.
2. Soft Thresholding
An Soft thresholding in usa nga core step ha damo nga signal denoising algorithms. An algorithm in nagtatanggal han features kun an absolute values han features in mas guti kaysa ha usa nga threshold. An algorithm in nag-shishrink han features padulong ha zero kun an absolute values han features in mas dako kaysa hini nga threshold. An mga researchers in puyde mag-implement han soft thresholding gamit an masunod nga formula:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]An derivative han soft thresholding output with respect ha input in:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]An formula ha igbaw in nagpapakita nga an derivative han soft thresholding in 1 o 0. Ini nga property in identical o pareho ha property han ReLU activation function. Sanglit, an soft thresholding in puyde makapaguti han risk han gradient vanishing ngan gradient exploding ha mga deep learning algorithms.
Ha soft thresholding function, an setting han threshold in kinahanglan mag-satisfy hin duha nga conditions. Una, an threshold in kinahanglan positive number. Ikaduha, an threshold in diri puyde lumabaw ha maximum value han input signal. Kun diri, an output in magiging puro zero.
Dugang pa, an threshold in mas maupay kun mag-satisfy hin third condition. An kada sample in kinahanglan may-ada kalugaringon nga independent threshold base ha noise content han sample.
An rason kay an noise content in pirme nag-iiba ha mga samples. Example, an Sample A in bangin may guti nga noise samtang an Sample B in may damo nga noise ha sulod han pareho nga dataset. Hini nga kaso, an Sample A in dapat gumamit hin mas guti nga threshold during soft thresholding. An Sample B in dapat gumamit hin mas dako nga threshold. Ini nga mga features ngan thresholds in nawawarayan hin explicit physical definitions ha sulod han deep neural networks. Pero, an basic underlying logic in nagpapabilin nga pareho. Ha iba nga pagkayakan, an kada sample in dapat may-ada independent threshold. An specific noise content an nagde-determine hini nga threshold.
3. Attention Mechanism
An mga researchers in madali makasabot han attention mechanisms ha field han computer vision. An visual systems han mga hayop in puyde maka-distinguish hin mga targets pinaagi han madasig nga pag-scan han bug-os nga area. Pagkatapos, an visual systems in nagfo-focus han attention ngadto ha target object. Ini nga action in nag-aallow ha mga systems nga mag-extract hin mas damo nga details. Dungan hini, an systems in nagsu-suppress han irrelevant information. Para ha specifics, alayon pag-refer ha literature mahitungod ha attention mechanisms.
An Squeeze-and-Excitation Network (SENet) in nagrerepresentar hin usa nga bag-o nga deep learning method nga nagamit hin attention mechanisms. Ha iba-iba nga samples, an iba-iba nga feature channels in nagko-contribute hin iba-iba ha classification task. An SENet in nagamit hin usa nga guti nga sub-network para makakuha hin usa nga set han weights. Tapos, an SENet in nagmu-multiply hini nga weights ha mga features han respective channels. Ini nga operation in nag-aadjust han magnitude han features ha kada channel. Puyde naton kitaon ini nga process isip pag-apply hin varying levels han attention ngadto ha iba-iba nga feature channels.
Hini nga approach, an kada sample in may-ada independent set of weights. Ha iba nga pagkayakan, an weights para ha bisan ano nga duha nga samples in magkaiba. Ha SENet, an specific path para makuha an weights in “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function.”
4. Soft Thresholding with Deep Attention Mechanism
An Deep Residual Shrinkage Network in nagamit han structure han SENet sub-network. An network in nagamit hini nga structure para mag-implement han soft thresholding under ha deep attention mechanism. An sub-network (nga gin-iindicate ha sulod han red box) in nagle-learn hin set han thresholds. Tapos, an network in nag-aapply hin soft thresholding ha kada feature channel gamit ini nga mga thresholds.
Hini nga sub-network, an system in una nagkakalkula han absolute values han ngatanan nga features ha input feature map. Tapos, an system in nagpe-perform hin global average pooling ngan averaging para makuha an usa nga feature, nga tinatawag nga A. Ha usa nga path, an system in nag-iinput han feature map ngadto ha usa nga guti nga fully connected network pagkatapos han global average pooling. Ini nga fully connected network in nagamit han Sigmoid function isip final layer. Ini nga function in nagno-normalize han output ha butnga han 0 ngan 1. Ini nga process in naghahatag hin coefficient, nga tinatawag nga α. Puyde naton i-express an final threshold isip α × A. Sanglit, an threshold in product han duha nga numbers. An usa nga number in aada ha butnga han 0 ngan 1. An usa nga number in an average han absolute values han feature map. Ini nga method in nag-iensure nga an threshold in positive. Ini nga method in nag-iensure gihapon nga an threshold in diri sobra kadako.
Dugang pa, an iba-iba nga samples in nagreresulta hin iba-iba nga thresholds. Tungod hini, puyde naton intindihon ini nga method isip usa nga specialized attention mechanism. An mechanism in nag-iidentify han features nga irrelevant ha current task. An mechanism in nagtatransform hini nga mga features ngadto ha values nga harani ha zero pinaagi han duha nga convolutional layers. Tapos, an mechanism in nagse-set hini nga mga features ngadto ha zero gamit an soft thresholding. Ha luyo nga bahin, an mechanism in nag-iidentify han features nga relevant ha current task. An mechanism in nagtatransform hini nga mga features ngadto ha values nga harayo ha zero pinaagi han duha nga convolutional layers. Finally, an mechanism in nagpe-preserve hini nga mga features.
Ha katapusan, nag-iistack kita hin certain number han basic modules. Nag-iinclude gihapon kita hin convolutional layers, batch normalization, activation functions, global average pooling, ngan fully connected output layers. Ini nga process in nagko-construct han kumpleto nga Deep Residual Shrinkage Network.
5. Generalization Capability
An Deep Residual Shrinkage Network in usa nga general method para ha feature learning. An rason kay an mga samples in pirme may sulod nga noise ha damo nga feature learning tasks. An mga samples in may sulod gihapon nga irrelevant information. Ini nga noise ngan irrelevant information in puyde makaapekto ha performance han feature learning. Example:
Hunahunaa an image classification. An usa nga image in bangin dungan nga may sulod nga damo nga iba nga objects. Puyde naton intindihon ini nga mga objects isip “noise.” An Deep Residual Shrinkage Network in bangin puyde magamit an attention mechanism. An network in nakakapansin hini nga “noise.” Tapos, an network in nag-aapply hin soft thresholding para i-set an mga features nga corresponding hini nga “noise” ngadto ha zero. Ini nga action in posibli nga maka-improve han image classification accuracy.
Hunahunaa an speech recognition. Specifically, hunahunaa an relatively noisy environments sugad han conversational settings ha ligid han kalsada o ha sulod han factory workshop. An Deep Residual Shrinkage Network in bangin maka-improve han speech recognition accuracy. O bisan la, an network in nag-ooffer hin methodology. Ini nga methodology in capable nga mag-improve han speech recognition accuracy.
6. Academic Impact
Ini nga paper in nakakarawat na hin lapos 1,400 nga citations ha Google Scholar.
Base ha incomplete statistics, an mga researchers in nag-apply na han Deep Residual Shrinkage Network (DRSN) ha lapos 1,000 nga publications/studies. Ini nga mga applications in nagcocover hin wide range nga fields. Ini nga fields in nag-iinclude han mechanical engineering, electrical power, vision, healthcare, speech, text, radar, ngan remote sensing.
Reference
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}