Deep Residual Shrinkage Network ၼႆႉ ပဵၼ် version ဢၼ်မႄးပၼ် ႁႂ်ႈလီၶိုၼ်ႈမႃး သေ Deep Residual Network ၶႃႈယဝ်ႉ။ လၢတ်ႈငၢႆႈငၢႆႈၵေႃႈ၊ Deep Residual Shrinkage Network ၼႆႉ မၼ်းဢဝ် Deep Residual Network၊ Attention mechanisms လႄႈ Soft thresholding functions မႃးလေႃးၵၼ်ၶႃႈယဝ်ႉ။
ႁဝ်းတေၸၢင်ႈႁဝ်းပွင်ႇၸႂ် ၵၢၼ်ႁဵတ်းၵၢၼ် ၶွင် Deep Residual Shrinkage Network လႆႈၼင်ႇၼႆၶႃႈ။ ဢွၼ်တၢင်းသုတ်း၊ network ၼႆႉ ၸႂ်ႉ attention mechanisms တႃႇၶူၼ်ႉႁႃ features ဢၼ်ဢမ်ႇလမ်ႇလွင်ႈ။ ဝၢႆးၼၼ်ႉ၊ network ၸင်ႇၸႂ်ႉ soft thresholding functions တႃႇ set ႁဵတ်းႁႂ်ႈ features ဢၼ်ဢမ်ႇလမ်ႇလွင်ႈၸိူဝ်းၼၼ်ႉ ပဵၼ် zero (သုၼ်) ၵႂႃႇ။ ၼႂ်းတၢင်းပႅၵ်ႇပိူင်ႈၵၼ်၊ network ၼႆႉ ၶူၼ်ႉႁႃ features ဢၼ်လမ်ႇလွင်ႈ သေၵေႃႈ ၵဵပ်းႁၵ်းသႃ features ဢၼ်လမ်ႇလွင်ႈၸိူဝ်းၼၼ်ႉဝႆႉ။ လွၵ်းလၢႆး process ဢၼ်ၼႆႉ မၼ်းႁဵတ်းႁႂ်ႈ deep neural network ႁဝ်း ၵတ်ႉၶႅၼ်ႇၶိုၼ်ႈမႃး။ မၼ်းၸွႆႈပၼ် network တႃႇ extract ဢဝ် features ဢၼ်မီးၽွၼ်းလီ လုၵ်ႉတီႈ signals ဢၼ်မီး noise လေႃးဝႆႉၼၼ်ႉၶႃႈ။
1. Research Motivation (လွင်ႈတၢင်းဢၼ်ႁဵတ်း Research)
ၶေႃႈၼိုင်ႈ၊ Noise ၼႆႉ ပဵၼ်ဢၼ်ႁဝ်းဝႄႈဢမ်ႇလွတ်ႈ ပေႃးဝႃႈ algorithm ၼၼ်ႉ classify ၸႅၵ်ႇ samples ၶႃႈ။ တူဝ်ယၢင်ႇ noise ၸိူဝ်းၼႆႉတႄႉ ပဵၼ်ၸိူင်ႉၼင်ႇ Gaussian noise, Pink noise, လႄႈ Laplacian noise ၸိူဝ်းၼႆႉယဝ်ႉ။ လၢတ်ႈႁႂ်ႈၵႂၢင်ႈလိူဝ်ၼႆႉ၊ samples ၸိူဝ်းၼၼ်ႉ မၢင်ပွၵ်ႈမၼ်းမီး information ဢၼ်ဢမ်ႇၵပ်းၵၢႆႇ (irrelevant) ၸွမ်း classification task ဢၼ်ႁဝ်းႁဵတ်းယူႇ။ ႁဝ်းၸၢင်ႈမၵ်းမၼ်ႈ information ဢၼ်ဢမ်ႇၵပ်းၵၢႆႇၸိူဝ်းၼၼ်ႉ ဝႃႈပဵၼ် noise ၼႆလႆႈယူႇ။ Noise ၸိူဝ်းၼႆႉ ၸၢင်ႈႁဵတ်းႁႂ်ႈ classification performance ယွမ်းလူင်းၵႂႃႇၶႃႈ။ (Soft thresholding ၼႆႉ ပဵၼ် step ဢၼ်လမ်ႇလွင်ႈ တႃႇ algorithms ဢၼ်ႁဵတ်း signal denoising ၼၼ်ႉၶႃႈ။)
ပီႇယၢင်ႇ (For example)၊ ၽွင်းႁဝ်းတိုၵ်ႉဢုပ်ႇၵၼ် တီႈၶၢင်ႈတၢင်း။ ၼႂ်း audio ၼၼ်ႉ ၸၢင်ႈမီးသဵင်လေႃးမႃး ၸိူင်ႉၼင်ႇ သဵင်ပိပ်ႉၵႃး (car horns) လႄႈ သဵင်လေႃႉၵႃး (wheels)။ ႁဝ်းၸၢင်ႈတေႁဵတ်း speech recognition တီႈ signals ၸိူဝ်းၼၼ်ႉ။ သဵင် background ၸိူဝ်းၼၼ်ႉ တိုၼ်းတေမီး result ဢၼ်ယွၼ်ႈမႃးၶႃႈယဝ်ႉ။ ၼႂ်းမုမ်းမွင်ၶွင် deep learning ၼႆႉ၊ deep neural network ၼၼ်ႉ ထုၵ်ႇလီ eliminate (တတ်းပႅတ်ႈ) features ဢၼ်ၵပ်းၵၢႆႇလူၺ်ႈ သဵင်ပိပ်ႉၵႃး လႄႈ သဵင်လေႃႉၵႃးၼၼ်ႉၶႃႈ။ ၵၢၼ် eliminate ႁဵတ်းပႅတ်ႈၼင်ႇၼႆ မၼ်းတေႁႄႉၵင်ႈပၼ် ဢမ်ႇႁႂ်ႈ features ၸိူဝ်းၼၼ်ႉ မႃးယႃႉ result ၶွင် speech recognition ၼၼ်ႉၶႃႈ။
ၶေႃႈသွင်၊ ၼမ်ဢေႇ noise (amount of noise) ၼႆႉ မၼ်းဢမ်ႇမိူၼ်ၵၼ် ၼႂ်းၵႄႈ samples ၶႃႈ။ လွင်ႈပႅၵ်ႇပိူင်ႈဢၼ်ၼႆႉ ၵဵတ်းၶိုၼ်ႈလႆႈ ၼႂ်း dataset ဢၼ်လဵဝ်ၵၼ်ယဝ်ႉ။ (လွင်ႈပႅၵ်ႇပိူင်ႈဢၼ်ၼႆႉ မၼ်းမီးလွင်ႈၶိုင်ႈမိူၼ်ၵၼ်တင်း attention mechanisms ၶႃႈ။ ယွၼ်းဢဝ် image dataset မႃးယုၵ်ႉၼႄတူဝ်ယၢင်ႇၶႃႈ။ တီႈယူႇၶွင် target object ၼႆႉ ၸၢင်ႈပႅၵ်ႇပိူင်ႈၵၼ် ၼႂ်း images ၸိူဝ်းၼၼ်ႉ။ Attention mechanisms ၼႆႉ ၸၢင်ႈ focus တီႈ location ဢၼ် target object မီးယူႇ ၼႂ်း image ဢၼ်လႂ်ဢၼ်ၼၼ်ႉၶႃႈ။)
တူဝ်ယၢင်ႇ၊ ႁဝ်းတိုၵ်ႉ train ႁဵတ်း cat-and-dog classifier (တူဝ်ၸႅၵ်ႇ မႅဝ်း-မႃ) ၸွမ်း images ႁႃႈၶႅပ်း ဢၼ်တိတ်း label ဝႃႈ “dog” (မႃ)။ Image 1 ၼၼ်ႉ ၸၢင်ႈမီး မႃ တင်း ၼူ (mouse)။ Image 2 ၸၢင်ႈမီး မႃ တင်း ႁၢၼ်ႇ (goose)။ Image 3 ၸၢင်ႈမီး မႃ တင်း ၵႆႇ (chicken)။ Image 4 ၸၢင်ႈမီး မႃ တင်း မႃႉ (donkey)။ Image 5 ၸၢင်ႈမီး မႃ တင်း ပဵတ်း (duck)။ ၽွင်း training ယူႇၼၼ်ႉ၊ objects ဢၼ်ဢမ်ႇၵပ်းၵၢႆႇ (irrelevant objects) ၸိူဝ်းၼၼ်ႉ တေမႃးယႃႉၵဝ်း classifier ႁဝ်းၶႃႈ။ Objects ၸိူဝ်းၼၼ်ႉ ပဵၼ် ၼူ၊ ႁၢၼ်ႇ၊ ၵႆႇ၊ မႃႉ၊ လႄႈ ပဵတ်း။ ၵၢၼ်ယႃႉၵဝ်း interference ဢၼ်ၼႆႉ ႁဵတ်းႁႂ်ႈ classification accuracy တူၵ်းယွမ်းၵႂႃႇ။ သင်ဝႃႈ ႁဝ်းၸၢင်ႈ identify ႁၼ် objects ဢၼ်ဢမ်ႇၵပ်းၵၢႆႇၸိူဝ်းၼၼ်ႉ။ ပွင်ႇဝႃႈ၊ ႁဝ်းၸၢင်ႈ eliminate ပႅတ်ႈ features ဢၼ်ၵပ်းၵၢႆႇလူၺ်ႈ objects ၸိူဝ်းၼၼ်ႉလႆႈယဝ်ႉ။ ႁဵတ်းၼင်ႇၼႆ၊ ႁဝ်းၸၢင်ႈ improve ႁဵတ်းႁႂ်ႈ accuracy ၶွင် cat-and-dog classifier ၼၼ်ႉ လီၶိုၼ်ႈမႃးၶႃႈယဝ်ႉ။
2. Soft Thresholding
Soft thresholding ၼႆႉ ပဵၼ် step (ၶၵ်ႉၵၢၼ်) ဢၼ်လမ်ႇလွင်ႈ တွၼ်ႈတႃႇ signal denoising algorithms ၼမ်ၼမ်ၶႃႈ။ Algorithm ၼႆႉ မၼ်းတေ eliminate (တတ်းပႅတ်ႈ) features သင်ဝႃႈ absolute values ၶွင် features ၼၼ်ႉ လဵၵ်ႉလိူဝ် (lower than) threshold ဢၼ်ၼိုင်ႈ။ Algorithm ၼႆႉ မၼ်းတေ shrink (ႁူတ်ႇယွမ်း) features ႁႂ်ႈၵႂႃႇၸူး zero သင်ဝႃႈ absolute values ၶွင် features ၼၼ်ႉ ယႂ်ႇလိူဝ် (higher than) threshold ဢၼ်ၼၼ်ႉ။ ၽူႈၶူၼ်ႉၶႂႃႉ researchers ၶဝ် ၸၢင်ႈ implement ႁဵတ်း soft thresholding ၸွမ်း formula ၼင်ႇပႃႈတႂ်ႈၼႆႉၶႃႈ:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Derivative ၶွင် output soft thresholding ဢၼ်ၵပ်းၵၢႆႇ input ၼၼ်ႉ ပဵၼ်:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]Formula ၶၢင်ႈၼိူဝ်ၼၼ်ႉ ၼႄဝႃႈ derivative ၶွင် soft thresholding ၼႆႉ ပဵၼ် 1 ဢမ်ႇၼၼ် 0 ၶႃႈ။ Property ဢၼ်ၼႆႉ မၼ်းမိူၼ်ၵၼ်တင်း property ၶွင် ReLU activation function ယဝ်ႉ။ ယွၼ်ႉၼၼ်၊ soft thresholding ၼႆႉ မၼ်းၸၢင်ႈလူတ်းယွမ်း လွင်ႈ gradient vanishing လႄႈ gradient exploding ၼႂ်း deep learning algorithms ၼၼ်ႉၶႃႈ။
ၼႂ်း soft thresholding function ၼၼ်ႉ၊ ၵၢၼ် set ၵႃႈ threshold ၼၼ်ႉ တေလႆႈ straight ၸွမ်း conditions သွင်ၶေႃႈ။ ၶေႃႈၼိုင်ႈ၊ threshold ၼၼ်ႉ တေလႆႈပဵၼ် positive number (မၢႆၼပ်ႉဢၼ်မီးၵႃႈ positive)။ ၶေႃႈသွင်၊ threshold ၼၼ်ႉ တေဢမ်ႇလႆႈ ယႂ်ႇလိူဝ် maximum value ၶွင် input signal။ သင်ဢမ်ႇၼၼ်ၸိုင်၊ output မၼ်းတေပဵၼ် zero (သုၼ်) ၵႂႃႇတင်းမူတ်းၶႃႈ။
လိူဝ်သေၼၼ်ႉ၊ threshold ၼၼ်ႉ ထုၵ်ႇလီ straight ၸွမ်း condition ၶေႃႈထူၼ်ႈသၢမ်။ Sample ဢၼ်လႂ်ဢၼ်ၼၼ်ႉ ထုၵ်ႇလီမီး threshold ဢၼ်ပဵၼ်ၶွင်တူဝ်မၼ်းႁင်းၵွႆး (independent threshold) ဢိင်ၼိူဝ noise content ၶွင် sample ၼၼ်ႉၶႃႈ။
ႁေႇတုမၼ်းတႄႉ noise content ၼႆႉ ၵႆႉလေႇပႅၵ်ႇပိူင်ႈၵၼ် ၼႂ်းၵႄႈ samples ၼၼ်ႉယဝ်ႉ။ တူဝ်ယၢင်ႇ၊ Sample A ၸၢင်ႈမီး noise ဢေႇလိူဝ် ၶၼႃဢၼ် Sample B ၸမ်ႉမီး noise ၼမ်လိူဝ် ၼႂ်း dataset ဢၼ်လဵဝ်ၵၼ်။ ၼႂ်း case ၼႆႉ၊ Sample A ထုၵ်ႇလီၸႂ်ႉ threshold ဢၼ်လဵၵ်ႉ ၽွင်းႁဵတ်း soft thresholding။ Sample B ထုၵ်ႇလီၸႂ်ႉ threshold ဢၼ်ယႂ်ႇ။ Features လႄႈ thresholds ၸိူဝ်းၼႆႉ မၼ်းဢမ်ႇမီး definition တၢင်း physical ဢၼ်တႅတ်ႈတေႃး ၼႂ်း deep neural networks။ ၵူၺ်းၵႃႈ၊ logic ပိုၼ်ႉထၢၼ်မၼ်းတႄႉ ယင်းမိူၼ်ၵဝ်ႇယူႇ။ လၢတ်ႈလႆႈဝႃႈ၊ sample ဢၼ်လႂ်ဢၼ်ၼၼ်ႉ ထုၵ်ႇလီမီး threshold ဢၼ်လွတ်ႈလႅဝ်းၽႂ်မၼ်း (independent threshold)။ Noise content ဢၼ်တႅတ်ႈတေႃးၼၼ်ႉ တေပဵၼ်တူဝ်မၵ်းမၼ်ႈ threshold ဢၼ်ၼႆႉၶႃႈ။
3. Attention Mechanism
Researchers ၶဝ် ၸၢင်ႈပွင်ႇၸႂ်လႆႈငၢႆႈငၢႆႈ လွင်ႈ attention mechanisms ၼႂ်း field ၶွင် computer vision ၶႃႈ။ Visual systems (သၢႆတႃ) ၶွင်သတ်းတူဝ်ထိူၼ်ႇၶဝ် ၸၢင်ႈၸႅၵ်ႇ targets လႆႈ ၸွမ်းၵၢၼ် scan တူၺ်း area တင်းမူတ်းဝႆးဝႆး။ ဝၢႆးၼၼ်ႉ၊ visual systems ၼၼ်ႉ တေ focus (ပၵ်းၸႂ်) ဢဝ် attention ၵႂႃႇသႂ်ႇတီႈ target object။ Action ဢၼ်ၼႆႉ ႁဵတ်းႁႂ်ႈ systems ၸၢင်ႈ extract ဢဝ် details လႆႈၼမ်မႃး။ ၼႂ်းၶၢဝ်းယၢမ်းလဵဝ်ၵၼ်၊ systems ၼၼ်ႉ suppress (ၵူတ်ႇတဵၵ်း) information ဢၼ်ဢမ်ႇၵပ်းၵၢႆႇပႅတ်ႈ။ တွၼ်ႈတႃႇ specific မၼ်းတႄႉ၊ ၶႅၼ်းတေႃႈ ၵႂႃႇတူၺ်း literature ဢၼ်ၵပ်းၵၢႆႇ attention mechanisms ၼၼ်ႉၶႃႈ။
Squeeze-and-Excitation Network (SENet) ၼႆႉ တၢင်တူဝ် method ၶွင် deep learning ဢၼ်မႂ်ႇ ဢၼ်ၸႂ်ႉ attention mechanisms ၶႃႈ။ ၼႂ်း samples ဢၼ်ပႅၵ်ႇပိူင်ႈၵၼ်ၼၼ်ႉ၊ feature channels ဢၼ်ဢမ်ႇမိူၼ်ၵၼ် တေ contribute ႁဵတ်း classification task ဢမ်ႇမိူၼ်ၵၼ်။ SENet ၸႂ်ႉ sub-network ဢၼ်လဵၵ်ႉဢွၼ်ႇ တႃႇဢဝ် set of weights မႃး။ ဝၢႆးၼၼ်ႉ၊ SENet ဢဝ် weights ၸိူဝ်းၼႆႉ ၵႂႃႇ multiply (တူၼ်း) ၸွမ်း features ၶွင် respective channels ၼၼ်ႉ။ Operation ဢၼ်ၼႆႉ ႁဵတ်းႁႂ်ႈ magnitude ၶွင် features ၼႂ်း channel ဢၼ်လႂ်ဢၼ်ၼၼ်ႉ မီးၵၢၼ် adjust (မႄး) ၶႃႈ။ ႁဝ်းၸၢင်ႈမုင်ႈႁၼ် process ဢၼ်ၼႆႉ ဝႃႈပဵၼ် applying varying levels of attention (ၵၢၼ်သႂ်ႇ levels ၶွင် attention ဢၼ်ဢမ်ႇမိူၼ်ၵၼ်) ၵႂႃႇၸူး feature channels ဢၼ်ပႅၵ်ႇပိူင်ႈၵၼ်ၶႃႈယဝ်ႉ။
ၼႂ်း approach ဢၼ်ၼႆႉ၊ sample ၵူႈဢၼ် မီး set of weights ဢၼ်လွတ်ႈလႅဝ်းၽႂ်မၼ်း (independent set of weights)။ လၢတ်ႈလႆႈဝႃႈ၊ weights တွၼ်ႈတႃႇ samples သွင်ဢၼ်လႂ်ၵေႃႈယဝ်ႉ တိုၼ်းတေဢမ်ႇမိူၼ်ၵၼ်။ ၼႂ်း SENet၊ path (သဵၼ်ႈတၢင်း) ဢၼ်တႅတ်ႈတေႃး တႃႇလႆႈ weights ၼၼ်ႉ ပဵၼ် “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function” ၶႃႈယဝ်ႉ။
4. Soft Thresholding with Deep Attention Mechanism (Soft Thresholding ၸွမ်း Deep Attention Mechanism)
Deep Residual Shrinkage Network ၼႆႉ ၸႂ်ႉ structure ၶွင် SENet sub-network ၶႃႈ။ Network ၼႆႉ ၸႂ်ႉ structure ဢၼ်ၼၼ်ႉ တႃႇ implement ႁဵတ်း soft thresholding ယူႇပႃႈတႂ်ႈ deep attention mechanism ၶႃႈ။ Sub-network (ဢၼ်ၼႄဝႆႉၼႂ်း red box ၼၼ်ႉ) ႁဵၼ်းဢဝ် Learn a set of thresholds ၶႃႈ။ ဝၢႆးၼၼ်ႉ၊ network ၼႆႉ apply ၸႂ်ႉ soft thresholding တီႈ feature channel ၵူႈဢၼ် ၸွမ်းၵၢၼ်ၸႂ်ႉ thresholds ၸိူဝ်းၼႆႉၶႃႈ။
ၼႂ်း sub-network ဢၼ်ၼႆႉ၊ system ၼႆႉ ဢွၼ်တၢင်းသုတ်း calculate ႁဵတ်း absolute values ၶွင် features တင်းမူတ်း ၼႂ်း input feature map ၼၼ်ႉၶႃႈ။ ဝၢႆးၼၼ်ႉ၊ system ၼႆႉ ႁဵတ်း global average pooling လႄႈ averaging တႃႇလႆႈ feature ဢၼ်ၼိုင်ႈ၊ ဢၼ်တၢင်တူဝ်ဝႃႈ A ၼၼ်ႉၶႃႈ။ ၼႂ်းထႅင်ႈ path (သဵၼ်ႈတၢင်း) ဢၼ်ၼိုင်ႈ၊ system ၼႆႉ input ဢဝ် feature map ၶဝ်ႈၵႂႃႇၼႂ်း fully connected network ဢၼ်လဵၵ်ႉ ဝၢႆးသေ global average pooling။ Fully connected network ဢၼ်ၼႆႉ ၸႂ်ႉ Sigmoid function ပဵၼ် layer ဢၼ်လိုၼ်းသုတ်း။ Function ဢၼ်ၼႆႉ normalizes ႁဵတ်း output ႁႂ်ႈယူႇၼႂ်းၵႄႈ 0 လႄႈ 1။ Process ဢၼ်ၼႆႉ ႁဵတ်းဢွၵ်ႇ coefficient ဢၼ်ၼိုင်ႈ၊ ဢၼ်တၢင်တူဝ်ဝႃႈ α (Alpha) ၶႃႈ။ ႁဝ်းၸၢင်ႈ express ၼႄ final threshold ၼၼ်ႉ ဝႃႈပဵၼ် α × A။ ယွၼ်ႉၼၼ်၊ threshold ၼႆႉ ပဵၼ် product (ၽွၼ်းလႆႈၵၢၼ်တူၼ်း) ၶွင် မၢႆၼပ်ႉသွင်တူဝ်။ မၢႆၼပ်ႉတူဝ်ၼိုင်ႈ မီးယူႇၼႂ်းၵႄႈ 0 လႄႈ 1။ ထႅင်ႈတူဝ်ၼိုင်ႈ ပဵၼ် average ၶွင် absolute values ၶွင် feature map ၼၼ်ႉၶႃႈ။ Method ဢၼ်ၼႆႉ ႁဵတ်းႁႂ်ႈ ensure (ယုမ်ႇၸႂ်) ဝႃႈ threshold ၼႆႉ ပဵၼ် positive ၶႃႈ။ Method ဢၼ်ၼႆႉ ယင်း ensure ဝႃႈ threshold ၼၼ်ႉ ဢမ်ႇယႂ်ႇႁႅင်းလူင်ပူၼ်ႉတီႈ (not excessively large) ၼၼ်ႉၶႃႈ။
လိူဝ်သေၼၼ်ႉ၊ samples ဢၼ်ပႅၵ်ႇပိူင်ႈၵၼ် result ႁဵတ်းဢွၵ်ႇ thresholds ဢၼ်ပႅၵ်ႇပိူင်ႈၵၼ်။ ၽွၼ်းမၼ်းတႄႉ၊ ႁဝ်းၸၢင်ႈ interpret ပွင်ႇၸႂ် method ဢၼ်ၼႆႉ ဝႃႈပဵၼ် attention mechanism ဢၼ် specialized (ၶိုၵ်ႉတွၼ်း) ဝႆႉၶႃႈ။ Mechanism ၼႆႉ identify (ၸႅၵ်ႇႁူႉ) features ဢၼ် irrelevant (ဢမ်ႇၵပ်းၵၢႆႇ) ၸွမ်း task ယၢမ်းလဵဝ်။ Mechanism ၼႆႉ transform (လႅၵ်ႈလၢႆႈ) features ၸိူဝ်းၼႆႉ ႁႂ်ႈပဵၼ် values ဢၼ်ၸမ် 0 ၸွမ်း convolutional layers သွင်ဢၼ်။ ဝၢႆးၼၼ်ႉ၊ mechanism ၼႆႉ set ႁႂ်ႈ features ၸိူဝ်းၼႆႉ ပဵၼ် zero ၸွမ်း soft thresholding။ ဢမ်ႇၼၼ်၊ mechanism ၼႆႉ identify ႁၼ် features ဢၼ် relevant (ၵပ်းၵၢႆႇ) ၸွမ်း task ယၢမ်းလဵဝ်။ Mechanism ၼႆႉ transform ႁဵတ်း features ၸိူဝ်းၼႆႉ ႁႂ်ႈပဵၼ် values ဢၼ်ၵႆ 0 ၸွမ်း convolutional layers သွင်ဢၼ်။ လိုၼ်းသုတ်း၊ mechanism ၼႆႉ preserve (ၵဵပ်းႁၵ်းသႃ) features ၸိူဝ်းၼႆႉဝႆႉၶႃႈ။
လိုၼ်းသုတ်း၊ ႁဝ်း Stack many basic modules (သီႇၶပ်ႉ basic modules ၼမ်ၼမ်)။ ႁဝ်းယင်းသႂ်ႇပႃး convolutional layers, batch normalization, activation functions, global average pooling, လႄႈ fully connected output layers ၶႃႈ။ Process ဢၼ်ၼႆႉ construct ၵေႃႇသၢင်ႈ Deep Residual Shrinkage Network ဢၼ်တဵမ်ထူၼ်ႈမႃးၶႃႈယဝ်ႉ။
(Note: In the diagrams, please look for labels like “Learn a set of weights”, “Apply weighting to each feature channel”, “Identity path”, “Weighting”, and “Soft thresholding” to understand the structure better.)
5. Generalization Capability (ၵွင်ႉၵၢႆႇၸႂ်ႉလႆႈၵူႈလွင်ႈလွင်ႈ)
Deep Residual Shrinkage Network ၼႆႉ ပဵၼ် method ၵူႈလွင်ႈလွင်ႈ (general method) တႃႇ feature learning ၶႃႈ။ ႁေႇတုမၼ်းတႄႉ၊ samples ၼႆႉ ၵႆႉလေႇမီး noise ၼႂ်း feature learning tasks ၼမ်ၼမ်။ Samples ၸိူဝ်းၼႆႉ ယင်းမီး irrelevant information (ၶေႃႈမုၼ်းဢၼ်ဢမ်ႇၵပ်းၵၢႆႇ) ပႃးၶႃႈ။ Noise လႄႈ irrelevant information ၸိူဝ်းၼႆႉ ၸၢင်ႈ affect (မီးၽွၼ်းယွၼ်ႈ) တီႈ performance ၶွင် feature learning ၶႃႈ။ ပီႇယၢင်ႇ (For example):
ယွၼ်း consider တူၺ်း image classification ၶႃႈ။ Image ၶႅပ်းၼိုင်ႈ ၸၢင်ႈမီး objects (ဝတ္ထု) တၢင်ႇဢၼ်ၼမ်ၼမ် ၼႂ်းၶၢဝ်းယၢမ်းလဵဝ်ၵၼ်။ ႁဝ်းၸၢင်ႈပွင်ႇၸႂ် objects ၸိူဝ်းၼႆႉ ဝႃႈပဵၼ် “noise” ၼႆလႆႈယူႇ။ Deep Residual Shrinkage Network ၼႆႉ ၸၢင်ႈ utilize ၸႂ်ႉ attention mechanism လႆႈၶႃႈ။ Network ၼႆႉ notice (ၽၢင်ႉႁၼ်) “noise” ၸိူဝ်းၼႆႉ။ ဝၢႆးၼၼ်ႉ၊ network ၼႆႉ employ ၸႂ်ႉ soft thresholding တႃႇ set ႁႂ်ႈ features ဢၼ်ၵပ်းၵၢႆႇလူၺ်ႈ “noise” ၼႆႉ ႁႂ်ႈပဵၼ် zero ၵႂႃႇ။ Action ဢၼ်ၼႆႉ potentially (ၸၢင်ႈပဵၼ်လႆႈ) improve ႁဵတ်းႁႂ်ႈ image classification accuracy လီၶိုၼ်ႈမႃးၶႃႈ။
ယွၼ်း consider တူၺ်း speech recognition ၶႃႈ။ Specifically, consider တူၺ်း environments ဢၼ်မီး noise ၼမ် ၸိူင်ႉၼင်ႇ conversational settings (တီႈဢုပ်ႇၵုမ်ၵၼ်) တီႈၶၢင်ႈတၢင်း ဢမ်ႇၼၼ် ၼႂ်း factory workshop (ႁူင်းၸၢၵ်ႈ)။ Deep Residual Shrinkage Network ၼႆႉ ၸၢင်ႈ improve ႁဵတ်းႁႂ်ႈ speech recognition accuracy လီၶိုၼ်ႈမႃးၶႃႈ။ ဢမ်ႇၼၼ် တီႈဢေႇသုတ်း၊ network ၼႆႉ offer ပၼ် methodology ဢၼ်ၼိုင်ႈ။ Methodology ဢၼ်ၼႆႉ capable (မီးတၢင်းၵတ်ႉ) တႃႇ improve ႁဵတ်းႁႂ်ႈ speech recognition accuracy လီၶိုၼ်ႈမႃးၶႃႈ။
Reference (ၽိုၼ်ဢိင်)
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}
Academic Impact (ၽွၼ်းယွၼ်ႈၼႂ်းလုၵ်းပၢႆးပၺ်ႇၺႃႇ)
Paper ဢၼ်ၼႆႉ လႆႈႁပ်ႉ citations မွၵ်ႈ 1,400 ပၢႆ တီႈ Google Scholar ၶႃႈယဝ်ႉ။
Based on statistics ဢၼ်ဢမ်ႇပႆႇတဵမ်ထူၼ်ႈ၊ researchers (ၽူႈၶူၼ်ႉၶႂႃႉ) ၶဝ် လႆႈ apply ၸႂ်ႉ Deep Residual Shrinkage Network (DRSN) ၼႂ်း publications/studies မွၵ်ႈ 1,000 ပၢႆၶႃႈ။ Applications ၸိူဝ်းၼႆႉ cover (ႁူမ်ႇငမ်း) fields ဢၼ်ၵႂၢင်ႈၶႂၢင်။ Fields ၸိူဝ်းၼႆႉ include (ပႃး) mechanical engineering, electrical power, vision, healthcare, speech, text, radar, လႄႈ remote sensing ၸိူဝ်းၼႆႉၶႃႈယဝ်ႉ။