Deep Residual Shrinkage Network вăл Deep Residual Network алгоритмăн лайăхлатнă варианчĕ пулать. Тĕрĕссипе каласан, Deep Residual Shrinkage Network хăйĕн тытăмĕнче Deep Residual Network, attention mechanisms тата soft thresholding functions пĕрлештерсе тăрать.
Deep Residual Shrinkage Network мĕнле ĕçленине эпир çапла ăнланма пултаратпăр. Малтан, network attention mechanisms-па усă курса пĕлтерĕшсĕр features (палăрăмсене) тупса палăртать. Ун хыççăн, network soft thresholding functions-па усă курса çак кирлĕ мар features “zero” (нуль) тăвать. Тепĕр енчен, network кирлĕ features тупса вĕсене сыхласа хăварать. Çак процесс deep neural network ĕçне лайăхлатать. Ку пире noise (шав) кĕрекен сигналсенчен усăллă features уйăрса илме пулăшать.
1. Тĕпчевĕн сăлтавĕсем (Research Motivation)
Малтан, алгоритм samples классификациленĕ чухне noise пуласси – куçкĕрет пăтăрмах. Тĕслĕхрен, Gaussian noise, pink noise тата Laplacian noise пулма пултараççĕ. Анлăрах каласан, samples ăшĕнче час-часах хальхи classification task валли кирлĕ мар информаци тĕл пулать. Эпир çак кирлĕ мар информацие noise тесе шутлама пултаратпăр. Çак noise classification performance чакарма пултарать. (Паллах, soft thresholding вăл нумай signal denoising алгоритмĕсенче питĕ кирлĕ утăм шутланать.)
Тĕслĕхрен, çул хĕрринчи калаçăва илсе пăхар. Аудио çинче машинă сигналĕсемпе урапа сассисем пулма пултараççĕ. Эпир çак сигналсем çинче speech recognition тăватпăр тейĕпĕр. Çак фон сассисем (background sounds) пĕтĕм ĕçе чăрмантарни куçкĕрет. Deep learning енчен пăхсан, deep neural network çак сигналсемпе урапа сассисене тивекен features пĕтермелле. Çакна тусан, features вара speech recognition результачĕсене пăсмаççĕ.
Иккĕмĕшĕ, noise калăпăшĕ тĕрлĕ samples хушшинче улшăнса тăрать. Çак улшăну пĕр dataset шайĕнче те пулать. (Çак улшăну attention mechanisms ĕçĕпе пĕр килет. Тĕслĕхрен, image dataset илсе пăхар. Тĕрлĕ ӳкерчĕксем çинче кирлĕ объект вырăнĕ тĕрлĕрен пулма пултарать. Attention mechanisms кашни ӳкерчĕкри кирлĕ объектăн вырăнне “focus” тума (тивĕçтерме) пултарать.)
Тĕслĕхрен, “dog” (йытă) тесе палăртнă 5 ӳкерчĕкрен тăракан cat-and-dog classifier вĕрентнине илсе пăхар. Image 1 çинче йытăпа шăши (mouse) пулма пултарать. Image 2 çинче йытăпа хур (goose) пулма пултарать. Image 3 çинче йытăпа чăхă (chicken). Image 4 çинче йытăпа ашак (donkey). Image 5 çинче йытăпа кăвакал (duck). Вĕрентнĕ чухне (training), кирлĕ мар объектсем classifier ĕçне чăрмантарĕç. Ку объектсем шутне mice, geese, chickens, donkeys тата ducks кĕреççĕ. Çак чăрмантарни classification accuracy чакнине илсе çитерет. Енчен те эпир çак кирлĕ мар объектсене тупса палăртма пултарсан, эпир вĕсене тивекен features пĕтерме пултаратпăр. Çак майпа, эпир cat-and-dog classifier лайăхрах ĕçлессине тивĕçтеретпĕр.
2. Soft Thresholding
Soft thresholding вăл нумай signal denoising алгоритмĕсен тĕп пайĕ пулса тăрать. Енчен те features абсолютлă пĕлтерĕшĕ threshold (алăк) шайĕнчен пĕчĕкрех пулсан, алгоритм вĕсене пĕтерет. Енчен те features абсолютлă пĕлтерĕшĕ threshold шайĕнчен пысăкрах пулсан, алгоритм вĕсене “zero” (нуль) еннелле пĕчĕклетсе (shrinks) илсе пырать. Тĕпчевçĕсем soft thresholding тума çак формулăпа усă кураççĕ:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Soft thresholding тухăмĕн (output) тăхăмĕ (derivative) input енчен çапла пулать:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]Çӳлере кăтартнă формула тăрăх, soft thresholding тăхăмĕ (derivative) е 1, е 0 пулать. Ку палăрăм ReLU activation function ĕçĕпе пĕр килет. Çавăнпа soft thresholding deep learning алгоритмĕсенче gradient vanishing тата gradient exploding хăрушлăхĕнчен сыхлать.
Soft thresholding function-ра threshold лартасси икĕ майпа килсе тăмалла. Пĕрремĕшĕ, threshold positive number (плюс хисеп) пулмалла. Иккĕмĕшĕ, threshold input signal-ăн чи пысăк пĕлтерĕшĕнчен иртмелле мар. Унсăрăн, output пĕтĕмпех “zero” (нуль) пулать.
Çавăн пекех, threshold виççĕмĕш майпа килсе тăрсан лайăх. Кашни sample хăйĕн noise калăпăшне кура уйрăм, независимăй threshold илмелле.
Сăлтавĕ вара çакă: noise калăпăшĕ тĕрлĕ samples хушшинче час-часах улшăнса тăрать. Тĕслĕхрен, пĕр dataset ăшĕнчех Sample A сахалрах noise тытса тăма пултарать, Sample B вара нумайрах noise тытса тăрать. Çакăн пек чухне, soft thresholding тунă вăхăтра Sample A пĕчĕкрех threshold илет, Sample B вара пысăкрах threshold илет. Deep neural networks ăшĕнче çак features тата thresholds хăйсен физика пĕлтерĕшне çухатаççĕ пулин те, тĕп логика улшăнмасть. Урăхла каласан, кашни sample валли уйрăм threshold кирлĕ. Шăпах noise калăпăшĕ çак threshold мĕнле пулассине палăртать.
3. Attention Mechanism
Тĕпчевçĕсем компьютер курăмĕн (computer vision) attention mechanisms мĕн иккенне çăмăллăнах ăнланма пултараççĕ. Чĕрчунсен куçĕ (visual systems) пĕтĕм тавралăха хăвăрт “scan” туса тĕллевсене уйăрма пултарать. Ун хыççăн, visual systems хăйсен “attention” (тимлĕхне) шăпах çак target object çине яраççĕ. Çак ĕç (action) системăна нумайрах детальсем курса илме май парать. Çав вăхăтрах, система кирлĕ мар информацие “suppress” тăвать (пусарса хурать). Тĕплĕнрех пĕлес тесен, attention mechanisms пирки çырнă литературăна вулама пулать.
Squeeze-and-Excitation Network (SENet) вăл attention mechanisms усă куракан çĕнĕ deep learning method шутланать. Тĕрлĕ samples хушшинче, classification task валли тĕрлĕ feature channels тĕрлĕрен пĕлтерĕшлĕ пулаççĕ. SENet пĕчĕк sub-network усă курса weights (виçесем) пуххине илет. Ун хыççăн SENet çак weights кашни channel features-па хутлать. Çак ĕç features калăпăшне кашни channel-ра йĕркелесе пырать. Эпир çак процесса çапла ăнланма пултаратпăр: тĕрлĕ feature channels валли тĕрлĕрен шайлă “attention” парасси.
Çак меслетре, кашни sample хăйĕн уйрăм weights пуххипе ĕçлет. Урăхла каласан, кирек мĕнле икĕ samples валли weights тĕрлĕрен пулаççĕ. SENet ăшĕнче weights илмелли çул (path) çапла курăнать: “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function”.
4. Soft Thresholding with Deep Attention Mechanism
Deep Residual Shrinkage Network вăл SENet sub-network тытăмĕпе усă курать. Network çак тытăмпа усă курса deep attention mechanism шайĕнче soft thresholding тăвать. Sub-network (схема çинче хĕрлĕ рамкăра кăтартнăскер) thresholds пуххине вĕренет (learns). Ун хыççăн, network çак thresholds усă курса кашни feature channel валли soft thresholding тăвать.
Çак sub-network ăшĕнче, система малтан input feature map-ри пĕтĕм features абсолютлă пĕлтерĕшĕсене шутласа кăларать. Ун хыççăн global average pooling тата averaging туса пĕр feature илет, ăна эпир A тесе палăртатпăр. Тепĕр çулта (path), система feature map-а global average pooling хыççăн пĕчĕк fully connected network ăшне ярать. Çак fully connected network юлашки сийĕнче (layer) Sigmoid function усă курать. Çак функция output-а 0 тата 1 хушшине “normalize” тăвать. Çак процесс пĕр коэффициент парать, ăна эпир α тесе палăртатпăр. Эпир final threshold α × A пек пулать тесе калама пултаратпăр. Çапла вара, threshold вăл икĕ хисепĕн хутлавĕ пулать. Пĕр хисеп 0 тата 1 хушшинче. Тепĕр хисеп feature map-ăн абсолютлă пĕлтерĕшĕсен вăтам (average) хисепĕ. Çак method threshold positive пулассине тивĕçтерет. Çавăн пекех вăл threshold ытла пысăк пулмассине те тивĕçтерет.
Унсăр пуçне, тĕрлĕ samples тĕрлĕ thresholds параççĕ. Çавăнпа эпир çакна specialized attention mechanism тесе ăнланма пултаратпăр. Çак механизм хальхи task валли кирлĕ мар features тупса палăртать. Механизм çак features икĕ convolutional layers урлă 0 патне çывăх пĕлтерĕшсем туса хурать. Ун хыççăн, механизм soft thresholding усă курса çак features “zero” (нуль) тăвать. Е тепĕр майпа каласан, механизм хальхи task валли кирлĕ features тупса палăртать. Механизм икĕ convolutional layers урлă çак features 0-ран инçетре тăракан пĕлтерĕшсем туса хурать. Юлашкинчен, механизм çак features сыхласа хăварать.
Юлашкинчен, эпир çак basic modules (тĕп модульсене) пĕр-пĕрин çине хуратпăр (stack). Эпир çавăн пекех convolutional layers, batch normalization, activation functions, global average pooling тата fully connected output layers хушатпăр. Çак процесс туллин Deep Residual Shrinkage Network туса хурать.
5. Пĕтĕмĕшле ĕçлевлĕх (Generalization Capability)
Deep Residual Shrinkage Network вăл feature learning валли general method (пĕтĕмĕшле меслет) пулса тăрать. Мĕншĕн тесен нумай feature learning tasks-ра samples ăшĕнче час-часах noise тĕл пулать. Samples ăшĕнче çавăн пекех кирлĕ мар информаци те пур. Çак noise тата кирлĕ мар информаци feature learning ĕçне начарлатма пултарать. Тĕслĕхрен:
Image classification илсе пăхар. Пĕр ӳкерчĕк çинче пĕр вăхăтрах нумай урăх объектсем пулма пултараççĕ. Эпир çак объектсене “noise” тесе ăнланма пултаратпăр. Deep Residual Shrinkage Network, тен, attention mechanism усă курма пултарать. Network çак “noise” асăрхать. Ун хыççăн, network soft thresholding усă курса çак “noise” тивекен features “zero” тăвать. Çак ĕç image classification accuracy ӳстерме пултарать.
Speech recognition илсе пăхар. Уйрăмах вăйлă шавлă (noisy) вырăнсене илсен, тĕслĕхрен, çул хĕрринче е завод цехĕнче калаçни. Deep Residual Shrinkage Network çакăн пек чухне speech recognition accuracy лайăхлатма пултарать. Е, сахалтан та, network çĕнĕ методологи парать. Çак методологи speech recognition accuracy лайăхлатма пултармалла.
6. Тĕпчевĕн витĕмĕ (Academic Impact)
Çак статья Google Scholar çинче 1400 ытла ссылка (citations) пухнă.
Тулли мар статистика тăрăх, тĕпчевçĕсем Deep Residual Shrinkage Network (DRSN) алгоритмпа 1000 ытла публикацисенче/тĕпчевсенче усă курнă. Çак усă курусем (applications) питĕ анлă сферасенче тĕл пулаççĕ. Çак сферасем шутне mechanical engineering, electrical power, vision, healthcare, speech, text, radar тата remote sensing кĕреççĕ.
Литература (Reference)
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}