Deep Residual Shrinkage Network – bu Deep Residual Network-iň kämilleşdirilen görnüşidir. Aslynda, ol Deep Residual Network, Attention mechanism we Soft thresholding funksiýalarynyň birleşmegidir.
Belli bir derejede, Deep Residual Shrinkage Network-iň iş prinsipine şeýle düşünmek bolar: ol Attention mechanism arkaly ähmiýetsiz feature-leri (aýratynlyklary) kesgitleýär we Soft thresholding funksiýalaryny ulanyp, olary nola deňleýär; tersine, möhüm feature-leri kesgitleýär we olary saklap galýar. Bu proses, deep neural network-iň noise (galmagal) saklaýan signallardan peýdaly feature-leri çykarmak ukybyny güýçlendirýär.
1. Research Motivation (Gözleg Motiwasiýasy)
Birinjiden, nusgalary (sample) klassifikasiýa edenimizde, Gaussian noise, pink noise we Laplacian noise ýaly noise-laryň bolmagy gutulgysyzdyr. Has giňişleýin aýdylanda, nusgalar köplenç häzirki klassifikasiýa meselesine degişli bolmadyk maglumatlary öz içine alýar we bu maglumatlara hem noise hökmünde düşünmek bolar. Bu noise-lar klassifikasiýanyň netijeliligine ýaramaz täsir edip biler. (Soft thresholding köp signal denoising algoritmlerinde esasy ädimdir.)
Meselem, ýol gyrasynda gürleşilende, sesiň içine ulag signallarynyň we tigirleriň sesleri garyşyp biler. Bu signallarda speech recognition (sesi tanamak) ýerine ýetirilende, netijelere şol fon sesleri hökman täsir eder. Deep learning nukdaýnazaryndan seredileninde, ulag signallaryna we tigirlere degişli bolan feature-ler deep neural network-iň içinde aýyrylmalydyr, şeýlelikde olar speech recognition netijelerine täsir etmez.
Ikinjiden, şol bir dataset-iň içinde hem, noise mukdary köplenç her nusgada dürli-dürli bolýar. (Bu ýagdaý Attention mechanism bilen meňzeşliklere eýedir; surat dataset-ini mysal alsak, nyşana alnan obýektiň ýerleşýän ýeri suratlarda dürli bolup biler; Attention mechanism her suratda nyşana alnan obýektiň anyk ýerine ünsi jemläp biler.)
Meselem, “it” (dog) we “pişik” (cat) klassifikatoryny türgenleşdirenimizde (training), “it” diýip bellenen 5 sany surata seredeliň. 1-nji suratda it we syçan, 2-nji suratda it we gaz, 3-nji suratda it we towuk, 4-nji suratda it we eşek, 5-nji suratda it we ördek bolup biler. Türgenleşik wagtynda klassifikator hökman syçan, gaz, towuk, eşek we ördek ýaly degişli däl obýektleriň päsgelçiligine sezewar bolar we bu klassifikasiýanyň takyklygynyň (accuracy) peselmegine getirer. Eger biz bu degişli däl obýektleri — syçanlary, gazlary, towuklary, eşekleri we ördekleri — kesgitläp, olara degişli feature-leri aýyryp bilsek, onda it-pişik klassifikatorynyň takyklygyny ýokarlandyrmak mümkin bolar.
2. Soft Thresholding
Soft thresholding – köp signal denoising algoritmleriniň esasy ädimidir. Ol absolýut bahasy belli bir threshold-dan (bosagadan) kiçi bolan feature-leri aýyrýar we absolýut bahasy şol threshold-dan uly bolan feature-leri nola tarap “gysýar” (shrink). Ony aşakdaky formula arkaly amala aşyrmak bolar:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Soft thresholding çykyşynyň girişe görä önümi (derivative) şeýledir:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]Ýokarda görkezilişi ýaly, Soft thresholding-iň önümi ýa 1 ýa-da 0 bolýar. Bu häsiýet ReLU activation function bilen birmeňzeşdir. Şonuň üçin, Soft thresholding deep learning algoritmleriniň “gradient vanishing” we “gradient exploding” meselelerine duçar bolmak howpuny hem azaldyp biler.
Soft thresholding funksiýasynda threshold bellenilende iki şert ýerine ýetirilmelidir: birinjiden, threshold poloşitel (positive) san bolmalydyr; ikinjiden, threshold giriş signalynyň maksimum bahasyndan uly bolmaly däldir, ýogsam çykyş (output) doly nol bolar.
Mundan başga-da, threshold-yň üçünji şerti ýerine ýetirmegi makuldyr: her bir nusga (sample), özündäki noise mukdaryna görä özbaşdak threshold-a eýe bolmalydyr.
Sebäbi nusgalaryň arasynda noise mukdary köplenç üýtgeýär. Meselem, şol bir dataset-iň içinde Nusga A az noise saklaýan bolsa, Nusga B köp noise saklap biler. Bu ýagdaýda, denoising algoritmiň içinde Soft thresholding ýerine ýetirilende, Nusga A kiçiräk threshold ulanmalydyr, Nusga B bolsa ulurak threshold ulanmalydyr. Deep neural network-lerde bu feature-ler we threshold-lar özleriniň aýdyň fiziki manysyny ýitirse-de, esasy logiki many şol birleşigine galýar. Ýagny, her bir nusga özüniň noise düzümine görä kesgitlenen özbaşdak threshold-a eýe bolmalydyr.
3. Attention Mechanism
Attention mechanism-lerine computer vision (kompýuter görüşi) ugrunda düşünmek has aňsatdyr. Haýwanlaryň görüş ulgamlary tutuş meýdany çalt scan edip, nyşana alnan obýekti tapyp biler we soňra artykmaç jikme-jiklikleri çykarmak üçin ünsi şol obýekte jemläp, degişli däl maglumatlary basyp ýatyryp (suppress) biler. Giňişleýin maglumat üçin Attention mechanism baradaky edebiýatlara seredip bilersiňiz.
Squeeze-and-Excitation Network (SENet) – bu Attention mechanism-lerini ulanýan has täze deep learning usulydyr. Dürli nusgalarda, dürli feature channel-laryň (kanal) klassifikasiýa meselesine goşýan goşandy köplenç dürli-dürli bolýar. SENet bir toplum agramlary (Learn a set of weights) almak üçin kiçi sub-network ulanýar we soňra bu agramlary degişli kanallaryň feature-lerine köpeldip, her kanaldaky feature-leriň ululygyny sazlaýar. Bu prosesi dürli feature channel-laryna dürli derejeli “Attention” (üns) bermek hökmünde görmek bolar (Apply weighting to each feature channel).
Bu çemeleşmede, her bir nusga özüniň özbaşdak agramlar toplumyna eýe bolýar. Ýagny, islendik iki nusganyň agramlary biri-birinden tapawutlydyr. SENet-de agramlary almak üçin ýörite ýol (path) şeýledir: “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function.”
4. Deep Attention Mechanism arkaly Soft Thresholding
Deep Residual Shrinkage Network, ýokarda agzalan SENet sub-network gurluşyndan ylham alyp, deep attention mechanism astynda Soft thresholding-i amala aşyrýar. Sub-network arkaly (gyzyl çarçuwanyň içinde görkezilen) her bir feature channel üçin Soft thresholding ulanmak maksady bilen bir toplum threshold-lary öwrenmek (Learn a set of thresholds) mümkindir.
Bu sub-network-de, ilki bilen giriş feature map-indäki ähli feature-leriň absolýut bahalary hasaplanýar. Soňra, global average pooling we ortaça (average) almak arkaly, A diýlip bellenilýän bir feature alynýar. Beýleki ýolda, global average pooling-den soňky feature map kiçi fully connected network-e girizilýär. Bu fully connected network çykyşy 0 we 1 aralygynda kadalaşdyrmak üçin Sigmoid funksiýasyny soňky gatlak hökmünde ulanýar we α diýlip bellenilýän koeffisiýenti berýär. Soňky threshold α×A hökmünde aňladylyp bilner. Diýmek, threshold – bu 0 bilen 1 aralygyndaky san bilen feature map-iň absolýut bahalarynyň ortaça bahasynyň köpeltmek hasylydyr. Bu usul threshold-yň diňe bir poloşitel bolmagyny däl, eýsem gaty uly bolmazlygyny hem üpjün edýär.
Mundan başga-da, dürli nusgalar dürli threshold-lara eýe bolýar. Netijede, belli bir derejede, muny ýöriteleşdirilen Attention mechanism hökmünde düşündirmek bolar: häzirki mesele bilen baglanyşygy bolmadyk feature-leri kesgitleýär, iki sany convolutional layer arkaly olary nola ýakyn bahalara öwürýär we Soft thresholding ulanyp, olary nola deňleýär; ýa-da, häzirki mesele bilen baglanyşykly feature-leri kesgitleýär, iki sany convolutional layer arkaly olary noldan uzak bahalara öwürýär we olary saklap galýar.
Ahyrynda, belli bir mukdarda esasy modullary (Stack many basic modules) we convolutional layer-leri, batch normalization, activation funksiýalaryny, global average pooling we fully connected çykyş gatlaklaryny üýşürip, doly Deep Residual Shrinkage Network gurulýar.
5. Umumylaşdyrma Ukyby (Generalization Capability)
Deep Residual Shrinkage Network, hakykatda, umumy feature learning usulydyr. Sebäbi köp feature learning meselelerinde nusgalar azda-kände noise we degişli däl maglumatlary öz içine alýar. Bu noise we degişli däl maglumatlar feature learning-iň netijeliligine täsir edip biler. Meselem:
Image classification (surat klassifikasiýasy) wagtynda, eger suratda köp sanly beýleki obýektler bar bolsa, bu obýektlere “noise” hökmünde düşünmek bolar. Deep Residual Shrinkage Network, Attention mechanism-i ulanyp, bu “noise”-lary üns merkezine alyp biler we soňra Soft thresholding ulanyp, bu “noise”-lara degişli feature-leri nola deňläp biler. Bu bolsa image classification takyklygyny ýokarlandyryp biler.
Speech recognition (sesi tanamak) wagtynda, esasanam ýol gyrasynda ýa-da zawodyň içinde gürleşmek ýaly noise derejesi ýokary bolan gurşawlarda, Deep Residual Shrinkage Network speech recognition takyklygyny gowulandyryp biler, ýa-da iň bolmanda speech recognition takyklygyny gowulandyrmaga ukyply usuly hödürläp biler.
Reference
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}
Ylmy Tä we Netije (Academic Impact)
Bu makala Google Scholar-da 1400-den gowrak sitata (citation) aldy.
Doly däl statistika görä, Deep Residual Shrinkage Network (DRSN) mehanika, elektrik energiýasy, görüş (vision), saglygy goraýyş, ses (speech), tekst, radar we uzakdan zondirlemek (remote sensing) ýaly köp sanly ugurlarda 1000-den gowrak neşirde/gözlegde gönüden-göni ulanyldy ýa-da üýtgedilip ulanyldy.