Is leagan feabhsaithe den Deep Residual Network é an Deep Residual Shrinkage Network. Go bunúsach, is comhtháthú é ar an Deep Residual Network, ar mheicníochtaí airde (attention mechanisms), agus ar fheidhmeanna soft thresholding.
Go pointe áirithe, is féidir prionsabal oibre an Deep Residual Shrinkage Network a thuiscint mar seo a leanas: úsáideann sé meicníocht airde chun gnéithe (features) nach bhfuil tábhacht leo a thabhairt faoi deara, agus úsáideann sé feidhm soft thresholding chun na gnéithe sin a chur ar nialas; nó, tugann sé aird ar ghnéithe tábhachtacha agus coinníonn sé iad. Neartaíonn an próiseas seo cumas an líonra néaraigh dhomhain chun gnéithe úsáideacha a bhaint as comharthaí a bhfuil torann iontu.
1. Spreagadh an Taighde
Ar an gcéad dul síos, nuair a dhéantar aicmiú ar shamplaí, ní féidir an torann a sheachaint—cosúil le torann Gaussach, torann bándearg, agus torann Laplace. I gciall níos leithne, is minic a bhíonn faisnéis i samplaí nach mbaineann leis an tasc aicmithe reatha, agus is féidir “torann” a thabhairt ar an bhfaisnéis seo freisin. D’fhéadfadh tionchar diúltach a bheith ag an torann seo ar éifeachtacht an aicmithe. (Is céim lárnach é soft thresholding i go leor algartam díthorannaithe comharthaí).
Mar shampla, le linn comhrá ar thaobh an bhóthair, d’fhéadfadh fuaim dhordairí feithicle agus fuaim na rothaí a bheith measctha leis an gcomhrá féin. Nuair a dhéantar aithint gutha (speech recognition) ar na comharthaí fuaime seo, is cinnte go mbeidh tionchar ag fuaimeanna na ndordairí agus na rothaí ar an toradh. Ó thaobh na foghlama doimhne (deep learning) de, ba cheart na gnéithe a bhaineann leis na dordairí agus leis na rothaí a scriosadh laistigh den líonra néarach domhain, chun nach gcuirfidh siad isteach ar chruinneas na haitheanta gutha.
Ar an dara dul síos, fiú laistigh den tacar sonraí céanna, is minic a bhíonn an méid torainn éagsúil ó shampla go sampla. (Tá sé seo cosúil le meicníocht airde; mar shampla i dtacar sonraí íomhánna, d’fhéadfadh suíomh an sprioc-réada a bheith difriúil i ngach íomhá; is féidir le meicníocht airde díriú ar an suíomh ar leith ina bhfuil an sprioc-réad i ngach íomhá).
Mar shampla, nuair a bhítear ag traenáil aicmitheora cat-agus-madra, samhlaigh go bhfuil 5 íomhá ann agus an lipéad “madra” orthu. D’fhéadfadh madra agus luch a bheith sa 1ú híomhá, madra agus gé sa 2ú híomhá, madra agus sicín sa 3ú híomhá, madra agus asal sa 4ú híomhá, agus madra agus lacha sa 5ú híomhá. Nuair a bhímid ag traenáil an aicmitheora, is cinnte go gcuirfidh na rudaí neamhábhartha seo—na lucha, géanna, sicíní, asail agus lachain—isteach orainn, rud a laghdóidh cruinneas an aicmithe. Dá mbeimis in ann na rudaí neamhábhartha seo a thabhairt faoi deara agus na gnéithe a bhaineann leo a scriosadh, d’fhéadfaí cruinneas an aicmitheora cat-agus-madra a fheabhsú.
2. Soft Thresholding (Tairseachú Bog)
Is céim lárnach é soft thresholding i go leor algartam díthorannaithe comharthaí. Scriosann sé gnéithe a bhfuil a luach absalóideach níos lú ná tairseach áirithe, agus crapann sé gnéithe a bhfuil a luach absalóideach níos mó ná an tairseach seo i dtreo an nialais. Is féidir é a chur i bhfeidhm leis an bhfoirmle seo a leanas:
\[y = \begin{cases} x - \tau & x > \tau \\ 0 & -\tau \le x \le \tau \\ x + \tau & x < -\tau \end{cases}\]Is é seo an díorthach d’aschur an soft thresholding i leith an ionchuir:
\[\frac{\partial y}{\partial x} = \begin{cases} 1 & x > \tau \\ 0 & -\tau \le x \le \tau \\ 1 & x < -\tau \end{cases}\]Mar a fheictear thuas, is é 1 nó 0 díorthach an soft thresholding. Tá an t-airí seo mar an gcéanna leis an bhfeidhm gníomhachtaithe ReLU. Dá bhrí sin, is féidir le soft thresholding an baol go mbeidh gradient vanishing (múchadh grádáin) nó gradient exploding (pléascadh grádáin) ann a laghdú i modhanna foghlama domhain.
San fheidhm soft thresholding, caithfidh socrú na tairsí (threshold) dhá choinníoll a chomhlíonadh: ar an gcéad dul síos, caithfidh an tairseach a bheith ina huimhir dheimhneach; ar an dara dul síos, ní féidir leis an tairseach a bheith níos mó ná uasluach an chomhartha ionchuir, ar shlí eile beidh an t-aschur iomlán ina nialas.
Chomh maith leis sin, bheadh sé níos fearr dá gcomhlíonfadh an tairseach an tríú coinníoll: ba cheart go mbeadh a thairseach neamhspleách féin ag gach sampla bunaithe ar a mhéid torainn féin.
Is é an chúis atá leis seo ná gur minic a bhíonn méid an torainn difriúil idir samplaí. Mar shampla, is minic a tharlaíonn sé laistigh den tacar sonraí céanna go mbíonn níos lú torainn ag Sampla A agus go mbíonn níos mó torainn ag Sampla B. Sa chás sin, má táthar ag baint úsáid as soft thresholding in algartam díthorannaithe, ba cheart go n-úsáidfeadh Sampla A tairseach níos lú, agus ba cheart go n-úsáidfeadh Sampla B tairseach níos mó. I líonraí néaracha doimhne, cé go gcailleann na gnéithe agus na tairseacha seo a bríonna fisiceacha soiléire, tá an bunphrionsabal mar an gcéanna. Sé sin le rá, ba cheart go mbeadh a thairseach neamhspleách féin ag gach sampla, bunaithe ar a mhéid torainn féin.
3. Meicníocht Airde (Attention Mechanism)
Tá sé éasca go leor meicníochtaí airde a thuiscint i réimse na fís ríomhaireachta (computer vision). Is féidir le córais amhairc ainmhithe scanadh tapa a dhéanamh ar an limistéar ar fad, sprioc-réada a aimsiú, agus ansin a n-aird a dhíriú ar an sprioc-réad chun tuilleadh sonraí a bhaint as, agus faisnéis neamhábhartha a shochtadh ag an am céanna. Féach ar litríocht a bhaineann le meicníochtaí airde chun teacht ar shonraí beachta.
Is modh foghlama domhain sách nua é an Squeeze-and-Excitation Network (SENet) a úsáideann meicníochtaí airde. I samplaí éagsúla, is minic a bhíonn an méid a chuireann cainéil ghnéithe (feature channels) éagsúla leis an tasc aicmithe difriúil óna chéile. Úsáideann SENet fo-líonra beag chun sraith ualuithe (weights) a fháil, agus ansin iolraíonn sé na hualuithe seo faoi ghnéithe na gcainéal faoi seach chun méid na ngnéithe i ngach cainéal a choigeartú. Is féidir breathnú ar an bpróiseas seo mar mheicníocht a chuireann méideanna éagsúla airde i bhfeidhm ar chainéil ghnéithe éagsúla.
Ar an mbealach seo, tá a shraith ualuithe neamhspleách féin ag gach sampla. I bhfocail eile, tá na hualuithe d’aon dá shampla difriúil óna chéile. I SENet, is é an cosán sonrach chun ualuithe a fháil ná “Global Pooling → Fully Connected Layer → ReLU Function → Fully Connected Layer → Sigmoid Function”.
4. Soft Thresholding faoi Mheicníocht Airde Dhomhain
Baineann an Deep Residual Shrinkage Network leas as struchtúr fo-líonra SENet a luaitear thuas chun soft thresholding a chur i bhfeidhm faoi mheicníocht airde dhomhain. Tríd an bhfo-líonra (sa bhosca dearg), is féidir sraith tairseacha a fhoghlaim chun soft thresholding a dhéanamh ar gach cainéal gnéithe.
Sa bhfo-líonra seo, déantar luachanna absalóideacha na ngnéithe go léir sa léarscáil gnéithe (feature map) a ríomh ar dtús. Ansin, trí mheánú agus Global Average Pooling, faightear gné amháin, a sheasann A dó. Sa chosán eile, cuirtear an léarscáil gnéithe (tar éis Global Average Pooling) isteach i líonra beag lántosaithe (Fully Connected Network). Úsáideann an líonra lántosaithe seo feidhm Sigmoid mar an tsraith dheireanach chun an t-aschur a normalú idir 0 agus 1, agus faightear comhéifeacht, a sheasann α di. Is féidir an tairseach deiridh a léiriú mar α×A. Dá bhrí sin, is éard atá sa tairseach ná uimhir idir 0 agus 1 iolraithe faoi mheán luachanna absalóideacha na léarscáile gnéithe. Cinntíonn an modh seo ní hamháin go bhfuil an tairseach deimhneach, ach nach bhfuil sí ró-mhór ach oiread.
Ina theannta sin, bíonn tairseacha difriúla ag samplaí difriúla. Mar sin, go pointe áirithe, is féidir é seo a thuiscint mar mheicníocht airde speisialta: tugann sé faoi deara gnéithe nach mbaineann leis an tasc reatha, claochlaíonn sé na gnéithe seo go luachanna atá gar do 0 trí dhá shraith chomhfillteacha (convolutional layers), agus cuireann sé na gnéithe seo ar nialas trí soft thresholding; nó, tugann sé faoi deara gnéithe a bhaineann leis an tasc reatha, claochlaíonn sé na gnéithe seo go luachanna atá i bhfad ó 0 trí dhá shraith chomhfillteacha, agus coinníonn sé iad.
Ar deireadh, trí líon áirithe modúl bunúsach a chruachadh chomh maith le sraitheanna comhfillteacha, Batch Normalization, feidhmeanna gníomhachtaithe, Global Average Pooling, agus sraitheanna aschuir lántosaithe, faightear an Deep Residual Shrinkage Network iomlán.
5. Cumas Ginearálaithe
Go bunúsach, is modh ginearálta foghlama gnéithe é an Deep Residual Shrinkage Network. Tá sé seo amhlaidh toisc gur minic a bhíonn torann éigin, nó faisnéis neamhábhartha, i samplaí i go leor tascanna foghlama gnéithe. D’fhéadfadh an torann seo agus an fhaisnéis neamhábhartha seo cur isteach ar éifeachtacht na foghlama gnéithe. Mar shampla:
In aicmiú íomhánna, má bhíonn go leor rudaí eile san íomhá ag an am céanna, is féidir “torann” a thabhairt ar na rudaí seo; b’fhéidir go mbeadh an Deep Residual Shrinkage Network in ann an mheicníocht airde a úsáid chun an “torann” seo a thabhairt faoi deara, agus ansin soft thresholding a úsáid chun na gnéithe a bhaineann leis an “torann” seo a chur ar nialas, rud a d’fhéadfadh cruinneas aicmithe na n-íomhánna a fheabhsú.
In aithint gutha (speech recognition), má tá an timpeallacht sách callánach, mar shampla comhrá ar thaobh an bhóthair nó i gceardlann mhonan, b’fhéidir go bhféadfadh an Deep Residual Shrinkage Network cruinneas na haitheanta gutha a fheabhsú, nó ar a laghad, cur chuige a thairiscint a d’fhéadfadh cruinneas a fheabhsú.
Tagairtí:
Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2020, 16(7): 4681-4690.
https://ieeexplore.ieee.org/document/8850096
BibTeX
@article{Zhao2020,
author = {Minghang Zhao and Shisheng Zhong and Xuyun Fu and Baoping Tang and Michael Pecht},
title = {Deep Residual Shrinkage Networks for Fault Diagnosis},
journal = {IEEE Transactions on Industrial Informatics},
year = {2020},
volume = {16},
number = {7},
pages = {4681-4690},
doi = {10.1109/TII.2019.2943898}
}
Tionchar Acadúil
Tá níos mó ná 1400 lua (citations) faighte ag an bpáipéar seo ar Google Scholar.
De réir staitisticí neamhiomlána, baineadh úsáid dhíreach as an Deep Residual Shrinkage Network, nó rinneadh feabhsuithe air, i níos mó ná 1000 foilseachán. Clúdaíonn na húsáidí seo réimsí iomadúla, lena n-áirítear innealtóireacht mheicniúil, cumhacht leictreach, fís ríomhaireachta (computer vision), cúram leighis, próiseáil gutha, anailís téacs, radair, agus cianbhraiteacht.