Deep Residual Shrinkage Network: Isa ka Artificial Intelligence Method para sa Highly Noisy Data

Ang Deep Residual Shrinkage Network isa ka improved variant sang Deep Residual Network. Sa pagkamatuod, ang Deep Residual Shrinkage Network naga-integrate sang Deep Residual Network, attention mechanisms, kag soft thresholding functions.

Pwede naton maintiindihan ang working principle sang Deep Residual Shrinkage Network sa sini nga paagi: Una, nagagamit ang network sang attention mechanisms para ma-identify ang mga unimportant features. Tapos, nagagamit ang network sang soft thresholding functions para i-set ini nga mga unimportant features sa zero. Sa pihak nga bahin, gina-identify sang network ang mga important features kag gina-retain ini. Ini nga proseso nagapabakod sa abilidad sang deep neural network. Nagabulig ini nga proseso sa network para maka-extract sang useful features halin sa signals nga may noise.

1. Ang Motibasyon sa Pag-research (Research Motivation)

Una sa tanan, indi gid malikawan ang noise kung naga-classify ang algorithm sang samples. Ang mga halimbawa sini nga noise amo ang Gaussian noise, pink noise, kag Laplacian noise. Sa mas malapnagon nga paglantaw, ang samples masami nga may unod nga impormasyon nga wala labot sa current classification task. Pwede naton intindihon ini nga irrelevant information bilang noise. Ini nga noise posible nga magpahina sa classification performance. (Ang Soft thresholding isa ka importante nga step sa madamo nga signal denoising algorithms.)

Bilang halimbawa, imahinara niyo nga may conversation sa kilid sang kalsada. Ang audio sigurado nga may tunog sang busina kag mga ligid sang salakyan. Kung mag-perform kita sang speech recognition sa sini nga mga signals, ma-affect gid sang background sounds ang resulta. Sa deep learning perspective, dapat dulaon ukon i-eliminate sang deep neural network ang features nga naga-correspond sa busina kag ligid. Ini nga elimination nagapugong sa features nga maka-apekto sa speech recognition results.

Ikaduha, ang kadamuon sang noise masami nga lain-lain sa kada sample. Ini nga variation nagakatabo bisan sa sulod sang pareho nga dataset. (Ini nga variation may pagka-pareho sa attention mechanisms. Magkuha kita sang image dataset bilang halimbawa. Ang location sang target object pwede maglain-lain sa kada image. Ang attention mechanisms pwede mag-focus sa specific location sang target object sa kada image.)

Halimbawa abi, mag-train kita sang cat-and-dog classifier gamit ang lima ka images nga may label nga “dog”. Ang Image 1 basi may ido kag ilaga. Ang Image 2 basi may ido kag gansa. Ang Image 3 basi may ido kag manok. Ang Image 4 basi may ido kag donkey. Ang Image 5 basi may ido kag pato. Sa tion sang training, ang mga irrelevant objects maga-interfere ukon magapanggamo sa classifier. Ini nga mga objects nagalakip sang ilaga, gansa, manok, donkey, kag pato. Ini nga interference naga-resulta sa pagbaba sang classification accuracy. Kung ma-identify naton ini nga mga irrelevant objects, pwede naton ma-eliminate ang features nga naga-correspond sa ila. Sa sini nga paagi, mapataas naton ang accuracy sang cat-and-dog classifier.

2. Ang Soft Thresholding (Soft Thresholding)

Ang Soft thresholding isa ka core step sa madamo nga signal denoising algorithms. Ang algorithm naga-eliminate sang features kung ang absolute values sang features mas manubo kaysa sa isa ka specific nga threshold. Ang algorithm naga-shrink sang features papulong sa zero kung ang absolute values sang features mas mataas kaysa sa sini nga threshold. Ma-implement sang mga researchers ang soft thresholding gamit ang masunod nga formula:

Ang derivative sang soft thresholding output with respect sa input amo ini:

Ang formula sa ibabaw nagapakita nga ang derivative sang soft thresholding 1 ukon 0 lang. Ini nga property pareho gid sa property sang ReLU activation function. Gani, ang soft thresholding makapabuhin sang risgo sang gradient vanishing kag gradient exploding sa deep learning algorithms.

Sa soft thresholding function, ang pag-set sang threshold kinahanglan magsunod sa duha ka kondisyon. Una, ang threshold dapat positive number. Ikaduha, ang threshold indi dapat magsobra sa maximum value sang input signal. Kay kung indi, ang output mangin zero tanan.

Dugang pa, mas maayo kung ang threshold magsunod sa ikatlo nga kondisyon. Ang kada sample dapat may iya nga kaugalingon kag independent nga threshold base sa noise content sang amo nga sample.

Ang rason amo nga ang noise content masami nga nagalain-lain sa mga samples. Halimbawa, ang Sample A basi may diutay nga noise samtang ang Sample B may madamo nga noise sa pareho nga dataset. Sa sini nga kaso, ang Sample A dapat maggamit sang mas gamay nga threshold sa tion sang soft thresholding. Ang Sample B naman dapat maggamit sang mas dako nga threshold. Maskin pa nga ini nga mga features kag thresholds nadulaan na sang explicit physical definitions sa deep neural networks, ang basic logic nagapabilin nga amo man gihapon. Sa lain nga paghambal, ang kada sample dapat may independent nga threshold. Ang specific nga noise content amo ang nagadeterminar sini nga threshold.

3. Ang Mekanismo sang Atensyon (Attention Mechanism)

Mahapos lang maintiindihan sang mga researchers ang attention mechanisms sa field sang computer vision. Ang visual systems sang mga sapat makakita sang targets paagi sa madasig nga pag-scan sang bilog nga area. Pagkatapos, ang visual systems naga-focus sang attention sa target object. Ini nga aksyon nagatugot sa systems nga maka-extract sang mas madamo nga details. Sa pareho nga tion, gina-suppress sang systems ang irrelevant information. Para sa specifics, palihog lantaw sa literature parti sa attention mechanisms.

Ang Squeeze-and-Excitation Network (SENet) nagarepresentar sang isa ka medyo bag-o nga deep learning method nga nagagamit sang attention mechanisms. Sa lain-lain nga samples, lain-lain man ang contribution sang feature channels sa classification task. Ang SENet nagagamit sang gamay nga sub-network para makakuha sang isa ka set sang weights (“Learn a set of weights”). Tapos, gina-multiply sang SENet ini nga weights sa features sang respective channels (“Apply weighting to each feature channel”). Ini nga operation naga-adjust sang magnitude sang features sa kada channel. Pwede naton lantawon ini nga process bilang pag-apply sang lain-lain nga levels sang attention sa lain-lain nga feature channels.

Sa sini nga pamaagi, ang kada sample may yara sang independent set sang weights. Buot silingon, ang weights para sa bisan ano nga duha ka samples lain-lain gid. Sa SENet, ang specific path para makuha ang weights amo ang “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function”.

4. Soft Thresholding nga may Deep Attention Mechanism

Ang Deep Residual Shrinkage Network nagagamit sang structure sang SENet sub-network. Ginagamit sang network ini nga structure para ma-implement ang soft thresholding sa idalom sang deep attention mechanism. Ang sub-network (nga gina-indicate sa sulod sang red box) naga-learn sang isa ka set sang thresholds (“Learn a set of thresholds”). Tapos, naga-apply ang network sang soft thresholding sa kada feature channel gamit ini nga mga thresholds.

Sa sini nga sub-network, una nga gina-calculate sang sistema ang absolute values sang tanan nga features sa input feature map. Tapos, nagahimo ang sistema sang global average pooling kag averaging para makuha ang isa ka feature, nga tawagon naton nga A. Sa isa naman ka path (Identity path), gina-input sang sistema ang feature map sa isa ka gamay nga fully connected network pagkatapos sang global average pooling. Ini nga fully connected network nagagamit sang Sigmoid function bilang final layer. Ini nga function naga-normalize sang output sa tunga sang 0 kag 1. Ini nga process nagahatag sang coefficient, nga tawagon naton nga α. Pwede naton ma-express ang final threshold bilang α × A. Gani, ang threshold product sang duha ka numero. Ang isa ka numero ara sa tunga sang 0 kag 1. Ang isa naman amo ang average sang absolute values sang feature map. Ini nga method nagasiguro nga ang threshold positive. Ini nga method nagasiguro man nga ang threshold indi tama ka dako.

Dugang pa, ang lain-lain nga samples naga-resulta sa lain-lain nga thresholds. Gani, pwede naton intindihon ini nga method bilang isa ka specialized attention mechanism. Ang mechanism naga-identify sang features nga irrelevant sa current task. Ang mechanism naga-transform sini nga features sa values nga malapit sa zero gamit ang duha ka convolutional layers. Tapos, ang mechanism naga-set sini nga features sa zero gamit ang soft thresholding. Sa pihak nga bahin, ang mechanism naga-identify sang features nga relevant sa current task. Ang mechanism naga-transform sini nga features sa values nga malayo sa zero gamit ang duha ka convolutional layers. Sa katapusan, ang mechanism naga-preserve sini nga features.

Bilang final step, naga-stack kita sang pila ka basic modules (“Stack many basic modules”). Nagabutang man kita sang convolutional layers, batch normalization, activation functions, global average pooling, kag fully connected output layers. Ini nga proseso amo ang nagabuo sang kumpleto nga Deep Residual Shrinkage Network.

5. Ang Iyang Generalization Capability (Generalization Capability)

Ang Deep Residual Shrinkage Network isa ka general method para sa feature learning. Ang rason kay ang samples masami nga may noise sa madamo nga feature learning tasks. Ang samples may unod man nga irrelevant information. Ini nga noise kag irrelevant information posible nga maka-apekto sa performance sang feature learning. Halimbawa:

lantawa ang image classification. Ang isa ka image basi dungan nga may unod nga madamo nga iban pa nga objects. Pwede naton intindihon ini nga mga objects bilang “noise.” Ang Deep Residual Shrinkage Network basi makasarang maggamit sang attention mechanism. Manotice sang network ini nga “noise.” Tapos, gamiton sang network ang soft thresholding para i-set ang features nga naga-correspond sa sini nga “noise” sa zero. Ini nga aksyon posible nga makapataas sang image classification accuracy.

Lantawa naman ang speech recognition. Specifically, iconsider ang relatively noisy environments pareho sang conversational settings sa kilid sang kalsada ukon sa sulod sang factory workshop. Ang Deep Residual Shrinkage Network posible nga mag-improve sang speech recognition accuracy. Ukon at least, ang network nagatanyag sang isa ka methodology. Ini nga methodology may ikasarang nga mag-improve sang speech recognition accuracy.

Mga Reperensya (Reference)

Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.

https://ieeexplore.ieee.org/document/8850096

BibTeX

@article{Zhao2020,
  author    = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
  title     = {Deep Residual Shrinkage Networks for Fault Diagnosis},
  journal   = {IEEE Transactions on Industrial Informatics},
  year      = {2020},
  volume    = {16},
  number    = {7},
  pages     = {4681-4690},
  doi       = {10.1109/TII.2019.2943898}
}

Ang Epekto sa Akademya (Academic Impact)

Ini nga paper nakabaton na sang masobra 1,400 citations sa Google Scholar.

Base sa incomplete statistics, na-apply na sang mga researchers ang Deep Residual Shrinkage Network (DRSN) sa masobra 1,000 ka publications ukon studies. Ini nga mga applications nagasakop sa malapad nga range sang fields. Ini nga mga fields nagalakip sang mechanical engineering, electrical power, vision, healthcare, speech, text, radar, kag remote sensing.