༄༅།། སྔོན་འགྲོའི་གཏམ།
རྩོམ་ཡིག་འདི་ནི་ “གཏིང་ཟབ་ལྷག་འཕྲོ་དང་འཁུམ་འདུའི་དྲ་བ” (Deep Residual Shrinkage Network / 深度残差收缩网络, DRSN) ཡི་ངོ་སྤྲོད་མདོར་བསྡུས་ཤིག་ཡིན། བོད་ཀྱི་ཆེད་ལས་མཁས་པ་རྣམས་ཀྱིས་ཀློག་བདེ་བ་དང་། རིག་གཞུང་བརྗེ་རེས་ཡོང་བའི་ཆེད་དུ། ངས་བཅོས་མའི་རིག་ནུས་ (AI) སྤྱད་ནས་རྩོམ་ཡིག་འདི་བོད་ཡིག་ཏུ་བསྒྱུར་བ་ཡིན། གལ་ཏེ་བརྡ་ཆད་བེད་སྤྱོད་དང་ཚིག་སྦྱོར་གྱི་ཐད་ལ་ནོར་འཁྲུལ་ཡོད་ཚེ། མཁས་དབང་རྣམ་པས་དགོངས་འཆར་ལྷུག་པོར་གནང་རོགས། བཀྲ་ཤིས་བདེ་ལེགས།
གཏིང་ཟབ་ལྷག་འཕྲོ་དང་འཁུམ་འདུའི་དྲ་བ་ (DRSN) ནི་ གཏིང་ཟབ་ལྷག་འཕྲོ་དྲ་བའི་ (ResNet / 深度残差网络) ལེགས་བཅོས་བྱས་པའི་པར་གཞི་ཞིག་ཡིན་ལ། དོན་དངོས་སུ་དེ་ནི་ ResNet དང་། ཡིད་འཇོག་གི་བྱེད་ལས་ (Attention Mechanism / 注意力机制) དེ་བཞིན་ མཉེན་པའི་ཐེམ་གཅོད་རྟེན་འབྱུང་གྲངས་ (Soft Thresholding Function / 软阈值函数) བཅས་གསུམ་པོ་གཞི་གཅིག་ཏུ་སྦྲེལ་བ་ཞིག་རེད།
ཚད་ངེས་ཅན་ཞིག་གི་སྟེང་ནས་བཤད་ན། DRSN གྱི་ལས་ཀ་བྱེད་སྟངས་ཀྱི་གོ་དོན་ནི་འདི་ལྟར་ཏེ། ཡིད་འཇོག་གི་བྱེད་ལས་བརྒྱུད་ནས་གལ་གནད་ཆུང་བའི་ཁྱད་ཆོས་རྣམས་ངོས་ཟིན་པར་བྱས་ཏེ། མཉེན་པའི་ཐེམ་གཅོད་སྤྱད་ནས་དེ་དག་ཀླད་ཀོར་དུ་བསྒྱུར་བ་ (Zeroing) དང་། ཡང་ན། ཡིད་འཇོག་གི་བྱེད་ལས་བརྒྱུད་ནས་གལ་གནད་ཆེ་བའི་ཁྱད་ཆོས་རྣམས་ངོས་ཟིན་པར་བྱས་ཏེ། དེ་དག་རང་སོར་ཉར་བར་བྱེད་པ་དེ་རེད། དེ་ལྟར་བྱས་ན། གཏིང་ཟབ་དབང་རྩ་དྲ་བས་ (Deep Neural Network / 深度神经网络) འུར་སྒྲ་དང་བཅས་པའི་བརྡ་རྟགས་ (Signal) ནང་ནས་ཕན་ཐོགས་ཡོད་པའི་ཁྱད་ཆོས་འདོན་ལེན་བྱེད་པའི་ནུས་པ་ཇེ་དྲག་ཏུ་གཏོང་ཐུབ།
1. ཞིབ་འཇུག་གི་ཀུན་སློང་། (Research Motivation)
ཐོག་མར། དཔེ་མཚོན་ (Samples) ལ་དབྱེ་བ་འབྱེད་པའི་ (Classification) སྐབས་སུ། དཔེ་མཚོན་གྱི་ནང་དུ་གཡོལ་ཐབས་མེད་པའི་ འུར་སྒྲ་ (Noise) ཁ་ཤས་ཡོད་སྲིད་པ་རེད། དཔེར་ན་ ཀའོ་སིའི་འུར་སྒྲ་ (Gaussian Noise / 高斯噪声) དང་། ལཱ་ཕུ་ལཱ་སིའི་འུར་སྒྲ་ (Laplacian Noise / 拉普拉斯噪声) ལྟ་བུ་རེད། རྒྱ་ཆེ་བའི་གོ་དོན་གྱི་སྟེང་ནས་བཤད་ན། དཔེ་མཚོན་གྱི་ནང་དུ་ད་ལྟའི་དབྱེ་འབྱེད་ཀྱི་ལས་འགན་དང་འབྲེལ་བ་མེད་པའི་བརྡ་འཕྲིན་འདུས་སྲིད་ལ། བརྡ་འཕྲིན་དེ་དག་ཀྱང་ “Noise” ཡིན་པར་གོ་བ་བླངས་ཆོག འུར་སྒྲ་འདི་དག་གིས་དབྱེ་འབྱེད་ཀྱི་མཇུག་འབྲས་ལ་ཤུགས་རྐྱེན་ངན་པ་ཐེབས་སྲིད། (མཉེན་པའི་ཐེམ་གཅོད་ནི་བརྡ་རྟགས་ཀྱི་འུར་སྒྲ་སེལ་བའི་རྩིས་ཐབས་ “Signal Denoising Algorithms / 信号降噪算法” མང་པོའི་ནང་གི་གོམ་རིམ་གཙོ་བོ་ཞིག་རེད།)
དཔེར་ན། རྒྱ་ལམ་འགྲམ་དུ་ཁ་བརྡ་བྱེད་པའི་སྐབས་སུ། ཁ་བརྡའི་སྒྲའི་ནང་དུ་རླངས་འཁོར་གྱི་དུང་སྒྲ་དང་། འཁོར་ལོའི་སྒྲ་སོགས་འདྲེས་སྲིད་པ་ལྟ་བུ་རེད། སྒྲ་དབྱངས་ཀྱི་བརྡ་རྟགས་དེ་དག་ལ་ངོས་འཛིན་ (Speech Recognition / 语音识别) བྱེད་པའི་ཚེ། ངོས་འཛིན་གྱི་མཇུག་འབྲས་ལ་དུང་སྒྲ་དང་འཁོར་ལོའི་སྒྲ་དེ་དག་གིས་ཤུགས་རྐྱེན་ཐེབས་པ་ནི་གཡོལ་ཐབས་མེད་པ་ཞིག་རེད། གཏིང་ཟབ་སློབ་སྦྱོང་ (Deep Learning / 深度学习) གི་ཟུར་ནས་བལྟས་ན། དུང་སྒྲ་དང་འཁོར་ལོའི་སྒྲ་དེ་དག་དང་མཐུན་པའི་ཁྱད་ཆོས་རྣམས། དྲ་བའི་ (Network) ནང་ཁུལ་ནས་སུབ་དོར་བྱེད་དགོས་ལ། དེ་ལྟར་བྱས་ན་སྐད་སྒྲ་ངོས་འཛིན་གྱི་མཇུག་འབྲས་ལ་ཤུགས་རྐྱེན་མི་ཐེབས་པར་ཕན་ཐོགས་ཡོད།
གཉིས་པ། དཔེ་མཚོན་ཚོགས་པ་ (Sample Set) གཅིག་པ་ཡིན་ནའང་། དཔེ་མཚོན་རེ་རེའི་ནང་དུ་ཡོད་པའི་འུར་སྒྲའི་ཚད་ (Amount of Noise) ནི་མི་འདྲ་བ་ཡིན། (གནད་དོན་འདི་ནི་ ཡིད་འཇོག་གི་བྱེད་ལས་ དང་གནས་ལུགས་གཅིག་མཚུངས་རེད། དཔེར་ན་རི་མོའི་དཔེ་མཚོན་ཚོགས་པ་ཞིག་ལ་ཆ་བཞག་ན། རི་མོ་རེ་རེའི་ནང་དུ་དམིགས་ཡུལ་གྱི་དངོས་པོ་དེ་གནས་སའི་གོ་ས་ནི་མི་འདྲ་བ་ཡོང་སྲིད། ཡིད་འཇོག་གི་བྱེད་ལས་ཀྱིས་རི་མོ་རེ་རེ་ལ་དམིགས་ནས། དམིགས་ཡུལ་གྱི་དངོས་པོ་གནས་སའི་གོ་ས་དེ་ཏག་ཏག་ངོས་ཟིན་པར་བྱེད་ཐུབ།)
དཔེར་ན། ཁྱི་དང་ཞི་མིའི་དབྱེ་འབྱེད་ཆས་ (Classifier) ལ་སྦྱོང་བརྡར་བྱེད་པའི་སྐབས་སུ། ཁ་བྱང་ལ་ “ཁྱི་” ཞེས་བཀོད་པའི་རི་མོ་ 5 ཡོད་པའི་དབང་དུ་བཏང་ན། རི་མོ་ 1-པོའི་ནང་དུ་ཁྱི་དང་བྱི་བ་གཉིས་ཀ་ཡོད་སྲིད་པ་དང་། རི་མོ་ 2-པའི་ནང་དུ་ཁྱི་དང་ངང་པ་གཉིས་ཀ་ཡོད་སྲིད། … རི་མོ་ 5-པའི་ནང་དུ་ཁྱི་དང་ཀ་བ་གཉིས་ཀ་ཡོད་སྲིད། ང་ཚོས་སྦྱོང་བརྡར་བྱེད་དུས། བྱི་བ་དང་། ངང་པ། བྱ་དེ་སོགས་འབྲེལ་མེད་ཀྱི་དངོས་པོ་འདི་དག་གི་བར་ཆད་ཐེབས་པ་ནི་གཡོལ་ཐབས་མེད་པ་ཞིག་ཡིན་ལ། དེས་དབྱེ་འབྱེད་ཀྱི་ཡང་དག་པའི་ཚད་ (Accuracy) དམའ་རུ་གཏོང་སྲིད། གལ་ཏེ་ང་ཚོས་འབྲེལ་བ་མེད་པའི་བྱི་བ་སོགས་ངོས་ཟིན་པར་བྱས་ཏེ། དེ་དག་དང་མཐུན་པའི་ཁྱད་ཆོས་རྣམས་སུབ་དོར་བྱེད་ཐུབ་ན། ཁྱི་དང་ཞི་མིའི་དབྱེ་འབྱེད་ཆས་ཀྱི་ཡང་དག་པའི་ཚད་མཐོ་རུ་གཏོང་ཐུབ་པའི་རེ་བ་ཡོད།
2. མཉེན་པའི་ཐེམ་གཅོད། (Soft Thresholding)
མཉེན་པའི་ཐེམ་གཅོད་ནི་བརྡ་རྟགས་ཀྱི་འུར་སྒྲ་སེལ་བའི་རྩིས་ཐབས་ (Signal Denoising / 信号降噪) མང་པོའི་ནང་གི་གོམ་རིམ་གཙོ་བོ་དེ་ཡིན་ལ། དེས་ བལྟོས་མེད་གྲངས་ཐང་ (Absolute Value / 绝对值) དེ་ ཐེམ་ཚད་ (Threshold / 阈值) ངེས་ཅན་ཞིག་ལས་ཆུང་བའི་ཁྱད་ཆོས་རྣམས་སུབ་དོར་བྱེད་པ་དང་། བལྟོས་མེད་གྲངས་ཐང་དེ་ཐེམ་ཚད་ལས་ཆེ་བའི་ཁྱད་ཆོས་རྣམས་ཀླད་ཀོར་ (Zero) གྱི་ཕྱོགས་སུ་ འཁུམ་པར་ (Shrinkage / 收缩) བྱེད་ཀྱི་ཡོད། དེ་ནི་གཤམ་གྱི་སྤྱི་འགྲོས་བརྒྱུད་ནས་མངོན་འགྱུར་བྱེད་ཐུབ།
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]མཉེན་པའི་ཐེམ་གཅོད་ཀྱི་ཕྱིར་འདོན་ (Output) གྱིས་ནང་འཇུག་ (Input) ལ་བརྩིས་པའི་ གསེག་ཚད་ (Derivative / 导数) ནི་གཤམ་ལྟར་ཡིན།
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]གོང་གི་ཚུལ་ལས་ཤེས་ཐུབ་པ་ནི། མཉེན་པའི་ཐེམ་གཅོད་ཀྱི་གསེག་ཚད་ནི་ 1 ཡིན་པ་དང་། ཡང་ན་ 0 ཡིན། རང་གཤིས་འདི་ནི་ ReLU སྐུལ་སློང་རྟེན་འབྱུང་གྲངས་ (Activation Function) དང་གཅིག་མཚུངས་ཡིན། དེར་བརྟེན། མཉེན་པའི་ཐེམ་གཅོད་ཀྱིས་ཀྱང་གཏིང་ཟབ་སློབ་སྦྱོང་གི་རྩིས་ཐབས་ལ་ “གསེག་ཚད་ཡལ་བ་” (Gradient Vanishing / 梯度消失) དང་ “གསེག་ཚད་གས་པ་” (Gradient Exploding / 梯度爆炸) ཡི་ཉེན་ཁ་འབྱུང་བ་དེ་ཇེ་ཆུང་དུ་གཏོང་ཐུབ།
མཉེན་པའི་ཐེམ་གཅོད་ཀྱི་རྟེན་འབྱུང་གྲངས་ནང་དུ། ཐེམ་ཚད་ (Threshold, τ) ཀྱི་སྒྲིག་བཀོད་དེ་ངེས་པར་དུ་ཆ་རྐྱེན་གཉིས་དང་མཐུན་དགོས། དང་པོ། ཐེམ་ཚད་དེ་ངེས་པར་དུ་གྲངས་ཀ་ཕོ་ (Positive Number) ཞིག་ཡིན་དགོས། གཉིས་པ། ཐེམ་ཚད་དེ་ནང་འཇུག་བརྡ་རྟགས་ཀྱི་གྲངས་ཐང་ཆེ་ཤོས་ལས་བརྒལ་མི་རུང་། དེ་མིན་ན་ཕྱིར་འདོན་གྱི་གྲངས་ཐང་ཚང་མ་ཀླད་ཀོར་དུ་འགྱུར་འགྲོ།
དུས་མཚུངས་སུ། ཐེམ་ཚད་དེ་ད་དུང་ཆ་རྐྱེན་གསུམ་པ་ཞིག་དང་མཐུན་ན་རབ་ཡིན། དེ་ནི་ དཔེ་མཚོན་ (Sample) རེ་རེ་ལ་རང་ཉིད་ཀྱི་འུར་སྒྲའི་འདུས་ཚད་ (Noise Content) དང་བསྟུན་ནས། རང་ཉིད་ལ་དབང་བའི་ཐེམ་ཚད་རེ་ཡོད་དགོས་པ་དེ་རེད།
རྒྱུ་མཚན་ནི། དཔེ་མཚོན་མང་པོའི་ནང་གི་འུར་སྒྲ་ (Noise) གི་འདུས་ཚད་ནི་རྒྱུན་དུ་མི་འདྲ་བ་ཡིན། དཔེར་ན། དཔེ་མཚོན་ཚོགས་པ་ (Sample Set) གཅིག་གི་ནང་དུ། དཔེ་མཚོན་ A ལ་འུར་སྒྲ་ཉུང་བ་དང་། དཔེ་མཚོན་ B ལ་འུར་སྒྲ་མང་བ་ལྟ་བུའི་གནས་ཚུལ་རྒྱུན་དུ་འབྱུང་སྲིད། དེར་བརྟེན། གལ་ཏེ་འུར་སྒྲ་སེལ་བའི་རྩིས་ཐབས་ (Denoising Algorithm) ཀྱི་ནང་དུ་མཉེན་པའི་ཐེམ་གཅོད་བྱེད་པའི་སྐབས་སུ། དཔེ་མཚོན་ A ལ་ཐེམ་ཚད་ (Threshold) ཆུང་བ་སྤྱོད་དགོས་པ་དང་། དཔེ་མཚོན་ B ལ་ཐེམ་ཚད་ཆེ་བ་སྤྱོད་དགོས། གཏིང་ཟབ་དབང་རྩ་དྲ་བའི་ (Deep Neural Network) ནང་དུ། ཁྱད་ཆོས་དང་ཐེམ་ཚད་འདི་དག་ལ་དངོས་ཁམས་རིག་པའི་གོ་དོན་ (Physical Meaning) གསལ་པོ་མེད་ནའང་། གནས་ལུགས་གཙོ་བོ་ནི་གཅིག་མཚུངས་རེད། མདོར་ན། དཔེ་མཚོན་རེ་རེའི་འུར་སྒྲའི་འདུས་ཚད་དང་བསྟུན་ནས། རང་ཉིད་ལ་དབང་བའི་ཐེམ་ཚད་རེ་ཡོད་དགོས་ཞེས་པའི་དོན་ཡིན།
3. ཡིད་འཇོག་གི་བྱེད་ལས། (Attention Mechanism)
ཡིད་འཇོག་གི་བྱེད་ལས་ནི་ རྩིས་འཁོར་མཐོང་ཚོར་ (Computer Vision / 计算机视觉) གྱི་ཁྱབ་ཁོངས་སུ་གོ་བ་ལེན་སླ་བ་ཞིག་རེད། སྲོག་ཆགས་ཀྱི་མཐོང་ཚོར་མ་ལག་གིས་ཁྱབ་ཁོངས་ཡོངས་ལ་མྱུར་མོར་བཤེར་འབེབས་ (Scan) བྱས་ཏེ། དམིགས་ཡུལ་གྱི་དངོས་པོ་ (Target Object) རྙེད་པར་བྱེད་པ་དང་། དེ་ནས་ཡིད་འཇོག་དེ་དམིགས་ཡུལ་དངོས་པོའི་སྟེང་དུ་བཞག་ནས། ཞིབ་ཆ་དེ་ལས་མང་བ་ལེན་ཐབས་བྱེད་པ་དང་། དུས་མཚུངས་སུ་འབྲེལ་བ་མེད་པའི་བརྡ་འཕྲིན་རྣམས་བཀག་འགོག་བྱེད་ཀྱི་ཡོད།
Squeeze-and-Excitation Network (SENet) ནི་ཉེ་བའི་ལོ་ཤས་ནང་གསར་དུ་དར་བའི་ཡིད་འཇོག་གི་བྱེད་ལས་སྤྱད་པའི་གཏིང་ཟབ་སློབ་སྦྱོང་གི་ཐབས་ལམ་ཞིག་རེད། དཔེ་མཚོན་མི་འདྲ་བའི་ནང་དུ། ཁྱད་ཆོས་ཀྱི་བརྒྱུད་ལམ་ (Feature Channels / 特征通道) མི་འདྲ་བ་དག་གིས། དབྱེ་འབྱེད་ཀྱི་ལས་འགན་ཁྲོད་དུ་ཕུལ་བའི་བྱས་རྗེས་ཀྱི་ཆེ་ཆུང་ཡང་རྒྱུན་དུ་མི་འདྲ་བ་ཡིན། SENet ཡིས་དྲ་རྒྱ་ཡན་ལག་ (Sub-network) ཆུང་ངུ་ཞིག་སྤྱད་དེ། ལྗིད་ཚད་ (Weights / 权重) གྱི་ཚོ་ཁག་ཅིག་ལེན་པ་དང་། དེ་ནས་ལྗིད་ཚད་ཀྱི་ཚོ་ཁག་དེ་བརྒྱུད་ལམ་སོ་སོའི་ཁྱད་ཆོས་དང་སྒྱུར་རྩིས་ (Multiply) བྱས་ཏེ། བརྒྱུད་ལམ་སོ་སོའི་ཁྱད་ཆོས་ཀྱི་ཆེ་ཆུང་ལ་སྙོམ་སྒྲིག་བྱེད་ཀྱི་ཡོད། ཐབས་ལམ་འདིའི་འོག་ཏུ། དཔེ་མཚོན་ (Sample) རེ་རེ་ལ་རང་ཉིད་ཁོ་ནར་དབང་བའི་ལྗིད་ཚད་ (Weights) ཀྱི་ཚོ་ཁག་ཅིག་ཡོད། བཤད་སྟངས་གཞན་ཞིག་ནི། གང་རུང་གི་དཔེ་མཚོན་གཉིས་ཀྱི་ལྗིད་ཚད་ནི་ཕན་ཚུན་མི་འདྲ་བ་ཡིན།
SENet ཡི་ནང་དུ། ལྗིད་ཚད་འཐོབ་པའི་བརྒྱུད་ལམ་ཞིབ་ཕྲ་ནི་འདི་ལྟར་ཏེ། “ཁྱོན་ཡོངས་ཆ་སྙོམས་བསྡུས་ལེན་ (Global Pooling) → ཡོངས་མཐུད་རིམ་པ་ (Fully Connected Layer) → ReLU → ཡོངས་མཐུད་རིམ་པ་ → Sigmoid” བཅས་སོ།
4. གཏིང་ཟབ་ཡིད་འཇོག་འོག་གི་མཉེན་པའི་ཐེམ་གཅོད། (Soft Thresholding with Deep Attention)
DRSN གྱིས་ SENet ཡི་དྲ་རྒྱ་ཡན་ལག་ (Sub-network) གི་གྲུབ་ཚུལ་དེ་ལས་ལེགས་ཆ་བླངས་ཏེ། གཏིང་ཟབ་པའི་ཡིད་འཇོག་གི་ལམ་ལུགས་འོག་གི་མཉེན་པའི་ཐེམ་གཅོད་དེ་མངོན་འགྱུར་བྱས་ཡོད། སྔོན་པོ་བྲིས་པའི་སྒྲོམ་གཞིའི་ནང་གི་དྲ་རྒྱ་ཡན་ལག་དེ་བརྒྱུད་ནས། ཐེམ་ཚད་ (Thresholds) ཀྱི་ཚོ་ཁག་ཅིག་སྦྱོང་བརྡར་བྱས་ནས་ཐོབ་ཐུབ་ལ། དེ་སྤྱད་ནས་ཁྱད་ཆོས་ཀྱི་བརྒྱུད་ལམ་སོ་སོར་མཉེན་པའི་ཐེམ་གཅོད་བྱེད་ཐུབ།
དྲ་རྒྱ་ཡན་ལག་ (Sub-network) འདིའི་ནང་དུ། ཐོག་མར་ནང་འཇུག་བྱས་པའི་ ཁྱད་ཆོས་བརྙན་རིས་ (Feature Map / 特征图) གྱི་ཁྱད་ཆོས་ཚང་མར་དེའི་བལྟོས་མེད་གྲངས་ཐང་ (Absolute Value / 绝对值) བརྩི་དགོས། དེ་ནས་ ཁྱོན་ཡོངས་ཆ་སྙོམས་བསྡུས་ལེན་ (Global Average Pooling / 全局均值池化) བརྒྱུད་དེ། ཁྱད་ཆོས་ཤིག་ཐོབ་པ་དེར་ A ཞེས་མིང་རྟགས་འགོད་དགོས། བརྒྱུད་ལམ་གཞན་དེའི་ནང་དུ། ཁྱོན་ཡོངས་ཆ་སྙོམས་བསྡུས་ལེན་གྱི་རྗེས་ཀྱི་ཁྱད་ཆོས་བརྙན་རིས་དེ། ཡོངས་མཐུད་དྲ་བ་ (Fully Connected Network / 全连接网络) ཆུང་ངུ་ཞིག་གི་ནང་དུ་འཇུག་དགོས། ཡོངས་མཐུད་དྲ་བ་འདིས་ Sigmoid དེ་རིམ་པ་མཐའ་མ་རུ་བྱས་ཏེ། ཕྱིར་འདོན་དེ་ 0 དང་ 1 བར་དུ་ཚད་ལྡན་ཅན་ (Normalize) དུ་བསྒྱུར་ནས། བཏགས་གྲངས་ (Coefficient) ཤིག་ཐོབ་པ་དེར་ α ཞེས་མིང་རྟགས་འགོད་དགོས། མཐའ་མའི་ཐེམ་ཚད་དེ་ α × A ཡིས་མཚོན་ཆོག
ཐབས་ལམ་འདིས་ཐེམ་ཚད་དེ་གྲངས་ཀ་ཕོ་ (Positive) ཡིན་པ་ཁག་ཐེག་བྱེད་ཐུབ་པ་མ་ཟད། ཐེམ་ཚད་དེ་ཧ་ཅང་ཆེན་པོ་མི་འགྱུར་བ་ཡང་ཁག་ཐེག་བྱེད་ཐུབ།
གཞན་ཡང་། དཔེ་མཚོན་མི་འདྲ་བ་ལ་ཐེམ་ཚད་ཀྱང་མི་འདྲ་བ་ཡོད་པ་རེད། དེར་བརྟེན། ཚད་ངེས་ཅན་ཞིག་གི་སྟེང་ནས་འདི་ནི་ཡིད་འཇོག་གི་བྱེད་ལས་དམིགས་བསལ་བ་ཞིག་ཏུ་གོ་བ་ལེན་ཆོག་སྟེ། དེས་ད་ལྟའི་ལས་འགན་དང་འབྲེལ་བ་མེད་པའི་ཁྱད་ཆོས་རྣམས་ངོས་ཟིན་པར་བྱས་ནས། གཅུས་སྒྲིལ་རིམ་པ་ (Convolutional Layers / 卷积层) གཉིས་བརྒྱུད་དེ་ཁྱད་ཆོས་དེ་དག་ 0 དང་ཐག་ཉེ་སར་བསྒྱུར་བ་དང་། དེ་ནས་མཉེན་པའི་ཐེམ་གཅོད་བརྒྱུད་དེ་ཁྱད་ཆོས་དེ་དག་ཀླད་ཀོར་ (Zero) དུ་བཟོ་བ། ཡང་ན། ད་ལྟའི་ལས་འགན་དང་འབྲེལ་བ་ཡོད་པའི་ཁྱད་ཆོས་རྣམས་ངོས་ཟིན་པར་བྱས་ནས། གཅུས་སྒྲིལ་རིམ་པ་གཉིས་བརྒྱུད་དེ་ཁྱད་ཆོས་དེ་དག་ 0 དང་ཐག་རིང་དུ་བསྒྱུར་ཏེ། ཁྱད་ཆོས་དེ་དག་རང་སོར་ཉར་བ་རེད།
མཐའ་མར། རྨང་གཞིའི་སྒྲོམ་བུ་ (Basic Modules) དང་། གཅུས་སྒྲིལ་རིམ་པ (Convolutional Layer / 卷积层)། ཁག་བགོས་ཚད་ལྡན་ཅན། (Batch Normalization / 批标准化)། སྐུལ་སློང་རྟེན་འབྱུང་གྲངས། (Activation Function / 激活函数)། ཁྱོན་ཡོངས་ཆ་སྙོམས་བསྡུས་ལེན། (Global Average Pooling / 全局均值池化)། དེ་བཞིན་ ཡོངས་མཐུད་ཕྱིར་འདོན་རིམ་པ་ (Fully Connected Output Layer / 全连接输出层) བཅས་བརྩེགས་མར་སྤུངས་པ་ལས། ཆ་ཚང་བའི་ DRSN དེ་གྲུབ་པ་ཡིན།
5. སྤྱོད་སྒོ་ཡངས་པའི་རང་བཞིན། (Generalizability)
DRSN ནི་དོན་དངོས་སུ་སྤྱོད་སྒོ་ཡངས་པའི་ ཁྱད་ཆོས་སློབ་སྦྱོང་ (Feature Learning / 特征学习) གི་ཐབས་ལམ་ཞིག་རེད། གང་ཡིན་ཞེ་ན། ཁྱད་ཆོས་སློབ་སྦྱོང་གི་ལས་འགན་མང་པོའི་ཁྲོད་དུ། དཔེ་མཚོན་གྱི་ནང་དུ་འུར་སྒྲ་ (Noise) དང་འབྲེལ་བ་མེད་པའི་བརྡ་འཕྲིན་ཉུང་ངུ་རེ་ཡོད་སྲིད་པ་རེད།
རི་མོར་དབྱེ་བ་འབྱེད་པའི་ (Image Classification / 图像分类) སྐབས་སུ། གལ་ཏེ་རི་མོའི་ནང་དུ་དུས་མཚུངས་སུ་དངོས་པོ་གཞན་མང་པོ་འདུས་ཡོད་ན། དངོས་པོ་དེ་དག་ “Noise” རུ་གོ་བ་ལེན་ཆོག DRSN གྱིས་ཡིད་འཇོག་གི་བྱེད་ལས་ལ་བརྟེན་ནས། “Noise” དེ་དག་ངོས་ཟིན་པར་བྱེད་པ་དང་། དེ་ནས་མཉེན་པའི་ཐེམ་གཅོད་ལ་བརྟེན་ནས། དེ་དག་དང་མཐུན་པའི་ཁྱད་ཆོས་རྣམས་ཀླད་ཀོར་དུ་བཟོས་ན། རི་མོར་དབྱེ་བ་འབྱེད་པའི་ཡང་དག་པའི་ཚད་ (Accuracy) མཐོ་རུ་གཏོང་ཐུབ་སྲིད།
སྐད་སྒྲ་ངོས་འཛིན་ (Speech Recognition / 语音识别) བྱེད་པའི་སྐབས་སུ། གལ་ཏེ་སྐད་སྒྲ་འུར་ཟིང་ཆེ་བའི་ཁོར་ཡུག་ཏུ་ཡོད་ན། དཔེར་ན་རྒྱ་ལམ་འགྲམ་དང་། བཟོ་གྲྭའི་འཁོར་ཁང་ནང་དུ་ཁ་བརྡ་བྱེད་པ་ལྟ་བུ་ཡིན་ན། DRSN གྱིས་སྐད་སྒྲ་ངོས་འཛིན་གྱི་ཡང་དག་པའི་ཚད་མཐོ་རུ་གཏོང་སྲིད་ལ། ཡང་ན་བསམ་བློ་གཏོང་ཕྱོགས་གསར་པ་ཞིག་བྱིན་ཡོད།
ཟུར་ལྟའི་དཔྱད་གཞི། (References)
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}
ཤུགས་རྐྱེན་ཐེབས་ཚད། (Academic Impact)
དཔྱད་རྩོམ་འདིའི་ Google Scholar གྱི་ལུང་འདྲེན་གྲངས་ཚད་ (Citation) ཐེངས་ 1400 ལས་བརྒལ་ཡོད།
ཆ་ཚང་བ་མིན་པའི་སྡོམ་རྩིས་ལྟར་ན། གཏིང་ཟབ་ལྷག་འཕྲོ་དང་འཁུམ་འདུའི་དྲ་བ་ (DRSN) ནི་དཔྱད་རྩོམ་ 1000 ལྷག་གིས་ཐད་ཀར་བེད་སྤྱོད་བྱས་པའམ། ཡང་ན་ལེགས་བཅོས་བྱས་ཏེ་ འཕྲུལ་ཆས་ (Mechanical / 机械) དང་། གློག་ཤུགས་ (Electric Power / 电力) མཐོང་ཚོར་ (Vision / 视觉) གསོ་རིག་ (Medical / 医疗) སྐད་སྒྲ་ (Speech / 语音) ཡིག་ཆ་ (Text / 文本) ལེ་དར་ (Radar / 雷达) རྒྱང་ཚོར་ (Remote Sensing / 遥感) སོགས་ཁྱབ་ཁོངས་མང་པོའི་ནང་དུ་བེད་སྤྱོད་བྱས་ཡོད།