ተደጋጋሚ የነርቭ አውታር ሚዛንን የመጠበቅን ችግር ይፈታል. ክፍት ቤተ-መጽሐፍት - ክፍት የትምህርት መረጃ ቤተ-መጽሐፍት

ተደጋጋሚ የነርቭ አውታሮች

ተደጋጋሚ የነርቭ አውታሮች- ይህ በጣም ውስብስብ የሆነ የነርቭ አውታረመረብ አይነት ሲሆን በውስጡም ግብረመልስ አለ. በዚህ አጋጣሚ ግብረመልስ ማለት ከአመክንዮአዊ ከሩቅ ኤለመንት ወደ ባነሰ ርቀት ግንኙነት ማለት ነው። የአስተያየት መገኘት ለአንድ ማነቃቂያ ሁሉንም ተከታታይ ምላሾች እንዲያስታውሱ እና እንዲባዙ ያስችልዎታል። ከፕሮግራም አተያይ አንፃር ፣ በእንደዚህ ያሉ አውታረ መረቦች ውስጥ የሳይክል አፈፃፀም አናሎግ ይታያል ፣ እና ከስርዓተ-ፆታ አንፃር ፣ እንዲህ ያለው አውታረ መረብ ከፋይል ግዛት ማሽን ጋር እኩል ነው። እንደነዚህ ያሉ ባህሪያት ባዮሎጂያዊ የነርቭ መረቦችን ለመቅረጽ ብዙ እድሎችን ሊሰጡ ይችላሉ. ግን በሚያሳዝን ሁኔታ፣ የተለያዩ አርክቴክቸር የመገንባት እድል እና የመተንተን ውስብስብነት በመኖሩ በአሁኑ ጊዜ አብዛኛዎቹ አማራጮች በጥሩ ሁኔታ የተጠኑ ናቸው።

Rosenblatt perceptrons ከአስተያየት ጋር

ስለ ነርቭ ኔትወርኮች ከአስተያየት ጋር የመጀመሪያዎቹ ሀሳቦች የተገለጹት በኤፍ. F. Rosenblatt የበርካታ አይነት የግብረመልስ ግንዛቤዎችን ጥራት ያለው መግለጫ ሰጥቷል። የእንደዚህ ዓይነቶቹ ፐርሰፕቶኖች የመጀመሪያው ቡድን ለተመረጠ ትኩረትን ለማዳበር የታሰበ ሲሆን ሁለተኛው ቡድን ደግሞ ተከታታይ ግብረመልሶችን ለመማር ነው.

ነጠላ-ንብርብር አውታረ መረቦች ከአስተያየት ጋር

እ.ኤ.አ. በ 1969 የአንደኛ ደረጃ ፐርሴፕሮን አቅምን የሚነቅፍ የሚንስኪ መጽሐፍ ከታተመ በኋላ በሰው ሰራሽ የነርቭ አውታረመረቦች ጥናት ላይ ሥራው አቁሟል። በዚህ አቅጣጫ ትንንሽ ቡድኖች ብቻ ምርምርን ቀጠሉ። ከእነዚህ ቡድኖች አንዱ በማሳቹሴትስ የቴክኖሎጂ ተቋም በ1978 ሥራውን ጀመረ። ጆን ሆፕፊልድ ከቤል ላብራቶሪ የባዮፊዚክስ ክፍል አማካሪ ሆኖ ተጋብዟል። የእሱ ሃሳቦች ልክ እንደ ሮዝንብላት, በኒውሮፊዚዮሎጂ ምርምር ውጤቶች ላይ ተመስርተው ነበር. የሆፕፊልድ ዋና ስኬት የሰው ሰራሽ ነርቭ አውታር አሠራር ጉልበት ትርጓሜ ነው። እንደ ሆፕፊልድ የነርቭ አውታረመረብ ራሱ ፣ እሱ በተግባር ጥቅም ላይ ሊውል የማይችልባቸው በርካታ ጉዳቶች አሉት። ኮስኮ በመቀጠል የሆፕፊልድ ሃሳቦችን አዳብሯል እና የሄትሮአሶሺያቲቭ ማህደረ ትውስታ የሆነውን የኮስኮ ነርቭ አውታር ሞዴልን ፈጠረ። የእነዚህ ኔትወርኮች ዋነኛው ኪሳራ የመረጋጋት እጦት ነው, እና በተገኙበት ጊዜ, አውታረ መረቡ ከአንድ ነጠላ ሽፋን ጋር እኩል ይሆናል የነርቭ አውታረ መረብ , ለዚህም ነው በመስመራዊ የማይነጣጠሉ ችግሮችን መፍታት ያልቻለው. በዚህ ምክንያት የእንደዚህ አይነት ኔትወርኮች አቅም በጣም ትንሽ ነው. እውቅና መስክ ውስጥ እነዚህ ተግባራዊ ድክመቶች ቢኖሩም, ይህ አውታረ መረብ በተሳካ የኃይል ትርምስ, መስህቦች መካከል ብቅ ጥናቶች ውስጥ ጥቅም ላይ ውሏል, እና ከዚያን ጊዜ ጀምሮ እንደ associative ትውስታ ሰው ሰራሽ ነርቭ አውታረ መረቦች ማውራት ይቻላል ሆኗል.

ከክፍል መዘግየት ጋር ተደጋጋሚ አውታረ መረቦች

በተጨማሪም ይመልከቱ

ስነ-ጽሁፍ

ሮዝንብላት፣ ኤፍ.የኒውሮዳይናሚክስ መርሆች፡ ፐርሴፕትሮንስ እና የአንጎል ሜካኒዝም ፅንሰ-ሀሳብ። - ኤም.: ሚር, 1965. - 480 p.

ጄ.ጄ. ሆፕፊልድ[PNAS ድጋሚ ያትሙ (አብስትራክት) ፒኤንኤኤስ እንደገና ያትሙ (ፒዲኤፍ) የነርቭ ኔትወርኮች እና አካላዊ ስርዓቶች ከድንገተኛ የጋራ ስሌት ችሎታዎች ጋር።] // የብሔራዊ የሳይንስ አካዳሚ ሂደቶች. - ኤፕሪል 1982. - S. ጥራዝ. 79 አይ. 8 ገጽ. 2554-2558 እ.ኤ.አ.

ዮርዳኖስ ፣ ኤም.አይ.ተከታታይ ቅደም ተከተል፡- ትይዩ የተከፋፈለ የማቀነባበሪያ ዘዴ። // የእውቀት (ኮግኒቲቭ ሳይንስ) ተቋም ሪፖርት 8604. - የካሊፎርኒያ ዩኒቨርሲቲ, ሳንዲያጎ: 1986.

ኤልማን፣ ጄ.ኤል.መዋቅርን በጊዜ መፈለግ. // የግንዛቤ ሳይንስ. - 1990. - ፒ. 179-211.

ዊኪሚዲያ ፋውንዴሽን።

2010.

በሌሎች መዝገበ-ቃላቶች ውስጥ “ተደጋጋሚ የነርቭ አውታረ መረቦች” ምን እንደሆኑ ይመልከቱ፡-

ይህ ቃል ሌሎች ትርጉሞች አሉት፣ የነርቭ ኔትወርክን (ትርጉሞችን) ይመልከቱ። ቀላል የነርቭ አውታረ መረብ እቅድ። አረንጓዴ የግቤት ነርቮች፣ ሰማያዊ ስውር ነርቮች፣ ቢጫ ውፅዓት የነርቭ... ዊኪፔዲያን ያመለክታል

ይህን ጽሑፍ ለማሻሻል ምን ይፈልጋሉ?: ምሳሌዎችን ያክሉ። ተደጋጋሚ የነርቭ አውታረ መረቦች (እንግሊዝኛ ... Wikipedia

የሆፕፊልድ ነርቭ አውታረመረብ ከተመጣጣኝ የግንኙነት ማትሪክስ ጋር ሙሉ በሙሉ የተገናኘ የነርቭ አውታረ መረብ ነው። በሚሠራበት ጊዜ የእንደዚህ ዓይነቶቹ ኔትወርኮች ተለዋዋጭነት ወደ አንዱ ሚዛናዊ አቀማመጥ ይሰበሰባሉ (ይገናኛሉ). እነዚህ ሚዛናዊ ቦታዎች የአካባቢ ዝቅተኛ ናቸው ... ዊኪፔዲያ

ይህ ጽሑፍ ዊኪፋይድ መሆን አለበት። እባክዎ በአንቀጹ ቅርጸት ደንቦች መሰረት ይቅረጹት። የሰው የማስታወስ ችሎታ ተጓዳኝ ነው, ማለትም ማህደረ ትውስታ ከእሱ ጋር የተያያዘ ትልቅ ቦታን መፍጠር ይችላል. አንድ ንጥል ነገር ያስታውሰናል... Wikipedia

Kosko Neural Network Architecture Kosko Neural Network (Bidirectional Associative Memory DAP) በ Bart Kosko የተገነባ የነርቭ አውታር ነው። ይህ ባለ አንድ ሽፋን የነርቭ አውታረመረብ ግብረመልስ ያለው፣ በሁለት ሃሳቦች ላይ የተመሰረተ ነው፡- አስማሚ... ... ዊኪፔዲያ

የፐርሴፕቶን ሎጂክ ዑደት ከሶስት ውጤቶች ጋር ዋና መጣጥፍ፡- ፐርሴፕሮን ፐርሴፕሮን በሥነ ጥበብ ውስጥ ከመጀመሪያዎቹ ሞዴሎች አንዱ ነው ... ውክፔዲያ

መጽሐፍት።

በScikit-Learn እና TensorFlow የተተገበረ የማሽን ትምህርት። ጽንሰ-ሀሳቦች, መሳሪያዎች እና ቴክኒኮች, Geron Aurélien. በScikit-Learn እና TensorFlow የተተገበረ የማሽን ትምህርት። የማሰብ ችሎታ ያላቸው ስርዓቶችን ለመፍጠር ጽንሰ-ሀሳቦች, መሳሪያዎች እና ዘዴዎች. ሙሉ ቀለም እትም. "ይህ መጽሐፍ ድንቅ ነው ...

ተደጋጋሚ የነርቭ አውታረ መረቦች የሚቀጥሉት የንብርብሮች የነርቭ አካላት ውጤቶች ከቀደምት ንብርብሮች የነርቭ ሴሎች ጋር ሲናፕቲክ ግንኙነት ያላቸውባቸው አውታረ መረቦች ናቸው። ይህ በሚቀጥለው የኔትወርክ አሠራር ላይ የግብአት ቬክተርን ለማስኬድ በቀድሞው ደረጃ ላይ የነርቭ አውታረመረብ የመረጃ ለውጥ ውጤቶችን ግምት ውስጥ ማስገባት ያስችላል. ተደጋጋሚ አውታረ መረቦች ትንበያዎችን ለመፍታት እና ችግሮችን ለመቆጣጠር ሊያገለግሉ ይችላሉ።

ተደጋጋሚ የአውታረ መረብ አርክቴክቸር

ተደጋጋሚ የነርቭ አውታረመረብ አርክቴክቸር የተለያዩ ልዩነቶች አሉ።

ዮርዳኖስ አውታረ መረብ: በ 1986, ዮርዳኖስ ተደጋጋሚ አውታረ መረብ ሐሳብ አቀረበ (የበለስ. 6), ይህም የመጨረሻው ሽፋን የነርቭ ንጥረ ነገሮች ውፅዓት ልዩ ግቤት የነርቭ አማካኝነት መካከለኛ ንብርብር ውስጥ የነርቭ ሴሎች ጋር የተገናኘ ነው. እንደነዚህ ያሉ የመግቢያ ነርቭ አካላት ይባላሉ ዐውደ-ጽሑፍ የነርቭ ሴሎች (የአውድ ክፍሎች). የነርቭ አውታር ውጤቱን ወደ መካከለኛው ሽፋን የነርቭ አካላት ያሰራጫሉ.

ሩዝ. 6ከውጽአት ሽፋን የነርቭ ሴሎች ግብረ መልስ ጋር ተደጋጋሚ የነርቭ አውታረ መረብ አርክቴክቸር

የአውድ ነርቮች ቁጥር ከተደጋጋሚ አውታረመረብ የውጤት ነርቭ አካላት ጋር እኩል ነው። የመስመራዊ ማግበር ተግባር ያላቸው የነርቭ አካላት እንደ አውታረ መረቦች የውጤት ንብርብር ያገለግላሉ። ከዚያ የውጤት ዋጋ ጄየመጨረሻው ንብርብር የነርቭ ሴል በቀመር ይወሰናል

የት v ij- መካከል weighting Coefficient እኔየመካከለኛው ነርቭ እና ጄ- የውጤት ንብርብሮች የነርቭ ሴል; P i(ቲ) - የውጤት ዋጋ እኔየመካከለኛው ሽፋን ነርቭ; ቲ j- የመግቢያ ዋጋ ጄየውጤት ንብርብር ነርቭ. ክብደት ያለው ድምር እኔየመካከለኛው ንብርብር የነርቭ ንጥረ ነገር እንደሚከተለው ይገለጻል.

የት w ij- መካከል weighting Coefficient ጄ- የመግቢያው የነርቭ ሴል እና እኔ- የመካከለኛው ንብርብሮች የነርቭ ሴል; አር- በውጤቱ ንብርብር ውስጥ የነርቭ ሴሎች ብዛት; ወ ኪ- መካከል weighting Coefficient ክ- ኛ አውድ የነርቭ እና እኔ- የመካከለኛው ሽፋን ነርቭ; ቲ- የመግቢያ ዋጋ እኔየመካከለኛው ሽፋን ነርቭ; n- የግቤት ቬክተር መጠን.

ከዚያ የውጤት ዋጋ እኔየተደበቀ ንብርብር ነርቭ

እንደ መደበኛ ያልሆነ የለውጥ ተግባር ኤፍበተለምዶ ሃይፐርቦሊክ ታንጀንት ወይም ሲግሞይድ ተግባር ጥቅም ላይ ይውላል።

ተደጋጋሚ የነርቭ ኔትወርኮችን ለማሰልጠን, የጀርባ አሰራጭ ስልተ-ቀመር ጥቅም ላይ ይውላል.

ተደጋጋሚ የነርቭ ኔትወርክን ለማሰልጠን ስልተ ቀመር በአጠቃላይ የሚከተሉትን ደረጃዎች ያካትታል።

1. በጊዜ መጀመሪያው ቅጽበት ቲ= 1 ሁሉም አውድ የነርቭ ሴሎች ወደ ዜሮ ሁኔታ ተቀምጠዋል - የውጤት እሴቶቹ ከዜሮ ጋር እኩል ናቸው።

2. የመግቢያው ምስል ወደ አውታረ መረቡ ይመገባል እና በቀጥታ በነርቭ አውታር ውስጥ ይሰራጫል.

3. በ backpropagation ስልተ-ቀመር መሠረት ፣ የነርቭ አካላት የክብደት መለኪያዎች እና የመነሻ እሴቶች ተስተካክለዋል።

4. ተጭኗል ቲ = ቲ+1 እና ወደ ደረጃ 2 ይቀጥሉ። የአውታረ መረቡ አጠቃላይ አማካኝ ስኩዌር ስህተት ከተጠቀሰው ያነሰ እስኪሆን ድረስ ተደጋጋሚው አውታረ መረብ የሰለጠናል።

ግንኙነት ከውጤት ወይም ከተደበቀ የነርቭ ሴሎች ሽፋን ሊመጣ ይችላል. እንዲህ ያለ ግንኙነት በእያንዳንዱ የወረዳ ውስጥ አንድ አሃድ መዘግየት አባል, ምክንያት ምልክት ፍሰት unidirectional ተደርጎ ሊሆን ይችላል (የቀድሞው ጊዜ ዑደት ውፅዓት ምልክት በቀላሉ የግቤት ቬክተር ያለውን ልኬት ይጨምራል ይህም ቀደም ሲል የተሰጠ, ቅድሚያ ይቆጠራል. አውታረመረብ). በዚህ መልኩ ቀርቧል ተደጋጋሚ አውታረ መረብየውጤት ምልክቱን የማመንጨት ዘዴን ከግምት ውስጥ በማስገባት እንደ አንድ አቅጣጫዊ የፐርሴፕቶን ኔትወርክ ይሠራል. ሆኖም ፣ ለእንደዚህ ዓይነቱ አውታረ መረብ የሥልጠና ስልተ-ቀመር ፣የሲናፕቲክ ክብደቶች እሴቶችን የሚያስተካክል ፣ በምልክቶቹ ጥገኝነት ምክንያት ቀደም ባሉት ጊዜያት በእሴቶቻቸው ላይ በቅጽበት እና በዚህ መሠረት የበለጠ አስቸጋሪ በሆነ ምክንያት በጣም የተወሳሰበ ነው። የግራዲየንት ቬክተርን ለማስላት ቀመር.

ሲወያዩ ተደጋጋሚ አውታረ መረቦች, ባለ ብዙ ሽፋን ፐርሴፕሮን እንደ የውጤት አካል ሆኖ የሚያገለግልበት, በጣም የታወቁትን የ RMLP, RTRN, Elman አውታረ መረቦችን እንይ.

ከአስተያየት ጋር Perceptron አውታረ መረብ

በአንድ አቅጣጫዊ HC ላይ በመመስረት ተደጋጋሚ አውታረ መረብ ለመገንባት በጣም ቀላሉ መንገዶች አንዱ በፐርሴፕሮን አውታረመረብ ውስጥ ግብረመልስ ማስተዋወቅ ነው። በሚከተለው ውስጥ, እንዲህ ያለውን አውታረ መረብ RMLP (እንግሊዝኛ: Recurrent MultiLayer Perceptron - Recurrent Multilayer Perceptron) ብለን በአጭሩ እንጠራዋለን. አጠቃላይ አወቃቀሩ በስእል ውስጥ ይታያል. 1 (- ነጠላ መዘግየት ንጥረ ነገሮች).

ይህ ተለዋዋጭ አውታረመረብ ነው, እሱም የግብአት መዘግየት እና የውጤት ምልክቶች ወደ መረቡ የግቤት ቬክተር ውስጥ ተጣምረው የሚታወቅ ነው. ምክንያቱ አንድ የግቤት መስቀለኛ መንገድ እና አንድ የውጤት ነርቭ ብቻ እና እንዲሁም አንድ የተደበቀ ንብርብርን ይመለከታል። እንዲህ ዓይነቱ ሥርዓት ማሳያውን ተግባራዊ ያደርጋል:

(1)

የግቤት ሲግናል መዘግየቶች ቁጥር የት ነው, እና የውጤት ምልክት መዘግየቶች ቁጥር ነው. በተደበቀ ንብርብር ውስጥ የነርቭ ሴሎችን ቁጥር እንጠቁም. በዚህ አጋጣሚ የ RMLP አውታረመረብ በሶስት እጥፍ ቁጥሮች ሊታወቅ ይችላል. ለአውታረ መረቡ ግብአት የቀረበው ቬክተር ቅጽ አለው፡-

ሁሉም የነርቭ ሴሎች የሲግሞይድ ማግበር ተግባር እንዳላቸው እናስብ። የተደበቀውን ንብርብር የነርቭ ሴል የክብደት ድምር ምልክቶችን እንጥቀስ፣ ሀ - የክብደት ድምር ምልክቶች ውፅኢት ነርወይ. በተዋወቀው ምልክት, የተወሰኑ የነርቭ ሴሎች የውጤት ምልክቶች በጥገኛዎች ይገለፃሉ

ተለዋዋጭ ሂደቶችን በመስመር ላይ ለማስመሰል የRMLP አውታረመረብ በሰፊው ጥቅም ላይ ይውላል። የመተግበሪያው ዓይነተኛ ምሳሌ ኔትወርኩ ለየትኞቹ ቀጥተኛ ያልሆኑ ተለዋዋጭ ነገሮች ማስመሰል ነው።

ሰው ሀሳቡን በየደቂቃው ከባዶ አይጀምርም። ይህን ጽሑፍ በምታነብበት ጊዜ እያንዳንዱን ቃል ትገነዘባለህ የቀደመውን ቃል ትርጉም በመረዳትህ ላይ ተመስርተህ ነው። ሁሉንም ነገር አልረሳህም እና እያንዳንዱን ቃል በተናጠል መተንተን ጀምር። በአጠቃላይ, ሁሉም ሀሳቦችዎ ውጤት አላቸው (በማስታወስ ውስጥ ተከማችተዋል).

ባህላዊ የነርቭ ኔትወርኮች መረጃን ማስታወስ አይችሉም, እና ይህ ምናልባት የእነሱ ዋነኛ ችግር ነው. ለምሳሌ በእያንዳንዱ የፊልም ፍሬም ውስጥ የሚከሰቱትን ክስተቶች መከፋፈል እንደሚፈልጉ አስቡት። ክላሲካል ነርቭ አውታር ተጨማሪ ውሳኔዎችን ለማድረግ የቀድሞ ግኝቶቹን እንዴት እንደሚጠቀም ግልጽ አይደለም.

ተደጋጋሚ አውታረ መረቦች ይህንን ጉድለት ለማስተካከል ዓላማ አላቸው፡ መረጃን ለማከማቸት የሚያስችሉ ዑደቶችን ይይዛሉ።

ከላይ ባለው ስእል ላይ የነርቭ ኔትወርክ አካል ሀ የተወሰነ ግብአት ይቀበላል x እና ዋጋውን ይመልሳል ሸ . ምልክቱ መረጃን ወደ ቀጣዩ ደረጃዎች ለማስተላለፍ ያስችላል።

Loops ተደጋጋሚ የነርቭ መረቦችን ለመረዳት አስቸጋሪ ያደርገዋል። ሆኖም ግን, ሁሉም ነገር በጣም የተወሳሰበ አይደለም: ከተራ አውታረ መረቦች ጋር ተመሳሳይነት አላቸው. ከዚህ በታች ባለው ስእል እንደሚታየው ተደጋጋሚ አውታረመረብ ወደ ተከታታይ ተመሳሳይ ተራ የነርቭ ኔትወርኮች ሊሰፋ ይችላል።

ይህ ክር የሚያሳየው ተደጋጋሚ የነርቭ ኔትወርኮች ተፈጥሮ ከቅደም ተከተል እና ዝርዝሮች ጋር በቅርበት የተዛመደ መሆኑን ነው። እንደነዚህ ያሉ መረጃዎችን ለመጠቀም የተፈጥሮ ሕንፃዎች ናቸው.

እና, በተፈጥሮ, ጥቅም ላይ ይውላሉ. ባለፉት ጥቂት አመታት ለንግግር ማወቂያ፣ ለቋንቋ ሞዴልነት፣ ለትርጉም፣ ለምስል ማወቂያ እና ለሌሎችም አስደሳች ነገሮች ተደጋጋሚ የነርቭ አውታሮችን በመተግበር ረገድ ከፍተኛ ስኬት ታይቷል። ለ Andrey Karpathy ተደጋጋሚ አውታረ መረቦችን ስለመጠቀም መንገዶች ሀሳቦችን በብሎግ ውስጥ እንተወው-የተደጋጋሚ የነርቭ አውታረ መረቦች ምክንያታዊ ያልሆነ ውጤታማነት።

በስኬት ላይ ከፍተኛ ተጽዕኖ ያሳደረው የ LSTM አውታረ መረቦች ብቅ ማለት ነው - ከተራ አውታረ መረቦች በተሻለ ሁኔታ ለብዙ ተግባራት የሚሰሩ በጣም ልዩ ዓይነት ተደጋጋሚ የነርቭ አውታረ መረቦች። በተደጋገሙ የነርቭ አውታሮች የተገኙ ሁሉም አስደናቂ ውጤቶች ማለት ይቻላል በእነሱ ላይ የተመሰረቱ ናቸው። ይህ ጽሑፍ በተለይ በ LSTM አውታረ መረቦች ላይ ያተኩራል.

የረጅም ጊዜ ጥገኛዎች ችግር

ከተደጋገሙ ኔትወርኮች ዋና ዋና ሃሳቦች አንዱ ቀደም ሲል የተገኘውን መረጃ አሁን ባለው ተግባር የመጠቀም ችሎታ ነው። ለምሳሌ፣ የአሁኑን ፍሬም ለመተንተን የቀደመውን የቪዲዮ ፍሬሞችን ተጠቀም። ሆኖም፣ ተደጋጋሚ አውታረ መረቦች ይህን ማድረግ ይችላሉ? - አዎ እና አይደለም.

አንዳንድ ጊዜ አሁን ያለውን ችግር ለመፍታት የቀደመውን ውሂብ ማየት ብቻ ያስፈልግዎታል። ለምሳሌ, የቋንቋ ሞዴል በቀደሙት ቃላት ላይ በመመርኮዝ ቀጣይ ቃላትን ለመተንበይ ይሞክራል. የመጨረሻውን ቃል በ "Clouds in." በሚለው ሐረግ ውስጥ ለመተንበይ ከፈለጉ ሰማይ"የሚቀጥለው ቃል እንደሚሆን ግልጽ ስለሆነ ሌላ አውድ አያስፈልጎትም" ሰማይ". በእንደዚህ አይነት ችግሮች ውስጥ, በሚፈለገው መረጃ እና አሁን ባለው ተግባር መካከል ያለው ክፍተት በጣም ትንሽ ከሆነ, ተደጋጋሚ የነርቭ አውታሮች አብዛኛውን ጊዜ ስራውን ይቋቋማሉ.

ሆኖም፣ አንዳንድ ጊዜ ችግሩን ለመፍታት ተጨማሪ አውድ ያስፈልጋል። ለምሳሌ፣ “ያደኩት በፈረንሳይ ነው። ... አቀላጥፌ እናገራለሁ በፈረንሳይኛ“ከፍለጋ ቃሉ በፊት ያሉት ቃላቶች የሚያመለክቱት የሚቀጥለው ቃል ቋንቋ ሊሆን እንደሚችል ብቻ ነው፣ነገር ግን እሱን ለማወቅ ቀደም ያለ አውድ ያስፈልጋል። በሚፈለገው አውድ እና በፍለጋ ቃሉ መካከል ያለው ክፍተት በጣም ትልቅ ሊሆን ይችላል።

በሚያሳዝን ሁኔታ, ይህ ክፍተት እያደገ ሲሄድ, ተደጋጋሚ የነርቭ አውታር ይህንን መረጃ የመጠቀም ችሎታውን ያጣል.

በንድፈ ሀሳብ, ተደጋጋሚ የነርቭ ኔትወርኮች እንደዚህ አይነት የረጅም ጊዜ ጥገኛዎችን ለመቆጣጠር ይችላሉ (እና አንድ ሰው የአውታረ መረቡ መለኪያዎችን በጥንቃቄ መምረጥ ይችላል). ነገር ግን, በተግባር, ተደጋጋሚ የነርቭ አውታረ መረቦች በእንደዚህ አይነት ስራዎች ውስጥ መማር አይችሉም. ችግሩ የተካሄደው በሆችሬተር (1991) [ጀርመን] እና ቤንጂዮ እና ሌሎች (1994) ሲሆን፥ ለዚህ ችግር ውስብስብነት መሰረታዊ ምክንያቶችን ለይተው አውቀዋል።

ነገር ግን፣ የኤልኤስቲኤም ኔትወርኮች ይህ ችግር የለባቸውም።

LSTM አውታረ መረቦች

የረጅም ጊዜ የአጭር ጊዜ ማህደረ ትውስታ፣ በተለምዶ LSTM ኔትወርኮች ተብለው የሚጠሩት፣ የረዥም ጊዜ ጥገኝነቶችን ማስታወስ የሚችሉ ተደጋጋሚ የነርቭ አውታሮች ልዩ አይነት ነው። በ 1997 በሴፕ ሆችሬተር እና ዩርገን ሽሚድሁበር አስተዋውቀዋል እና በብዙ ተመራማሪዎች በስራቸው ጥቅም ላይ የዋሉ እና ያዳበሩ ናቸው። እነዚህ አውታረ መረቦች በተለያዩ ተግባራት ውስጥ ይሰራሉ እና ብዙ ጊዜ ጥቅም ላይ ይውላሉ.

የረጅም ጊዜ ጥገኝነቶችን ችግር ለመፍታት LSTM ኔትወርኮች ተዘጋጅተዋል። ለረጅም ጊዜ መረጃን ማስታወስ የእነዚህ ኔትወርኮች ዋና ዋና ባህሪያት አንዱ ነው, ይህም ሰፊ ስልጠና አያስፈልገውም.

ሁሉም ተደጋጋሚ አውታረ መረቦች በሰንሰለት መልክ ሊወከሉ ይችላሉየተለመዱ የነርቭ መረቦችን መድገም. የተለመደው ተደጋጋሚ የነርቭ አውታር በጣም ቀላል በሆነ መልኩ ሊወከል ይችላል, እንደ ንብርብር ታህየማግበር ተግባር.

የ LSTM ኔትወርኮችም በዚህ መልክ ሊወከሉ ይችላሉ፣ ነገር ግን የሚደጋገሙ ሞጁሎች በጣም ውስብስብ የሆነ መዋቅር አላቸው፡ በነጠላ-ንብርብር የነርቭ አውታረ መረብ ፈንታ፣ ባለ አራት ሽፋን የነርቭ አውታር በተለየ መንገድ የተደራጀ ነው።

4 ንብርብሮችን በያዘ LSTM አውታረ መረብ ውስጥ ያሉ ተደጋጋሚ ሞጁሎች

ነገር ግን፣ ስለእነዚህ ስውር ዘዴዎች አይጨነቁ፡ በዚህ አውታረ መረብ ላይ ምን እየሆነ እንዳለ ደረጃ በደረጃ እንመለከታለን ትንሽ ቆይቶ፣ አሁን ግን ለመጠቀም በሚጠቅሙ የአውራጃ ስብሰባዎች ላይ እንስማማ።

ከላይ ባለው ሥዕላዊ መግለጫ እያንዳንዱ መስመር ከአንድ መስቀለኛ መንገድ ውፅዓት ወደ የሌላኛው ግቤት የሚሸጋገር ቬክተርን ይወክላል። ሮዝ ክብ እንደ ቬክተር መደመር ያሉ ንጥረ-ጥበባዊ ስራዎችን ይወክላል። ቢጫ አራት ማዕዘኖች የሚሰለጥኑትን የነርቭ ኔትወርክ ንብርብሮችን ይወክላሉ። የግንኙነት መስመሮች መገጣጠምን ያመለክታሉ, እና የመለያ መስመሮች መገልበጥን ያመለክታሉ.

የ LSTM አውታረ መረቦች መሰረታዊ ሀሳብ

የኤልኤስቲኤም ኔትወርክን ለመረዳት ቁልፉ የሕዋስ ሁኔታ ነው፣ በሥዕላዊ መግለጫው ላይ ያለው አግድም መስመር።

የሕዋስ ሁኔታ ልክ እንደ ማጓጓዣ ቀበቶ ነው፡ በጠቅላላው ሰንሰለት ውስጥ የሚዘዋወረው በጥቂት ጥቃቅን የመስመራዊ ግንኙነቶች ብቻ ነው። ለመረጃ ይህ ማለት ምንም ሳይለወጥ ሊያልፍ ይችላል ማለት ነው።

የአውታረ መረቡ በሴል ውስጥ መረጃን ለመጨመር ወይም ለማስወገድ ያለው ችሎታ በሮች በሚባሉት መዋቅሮች በጥንቃቄ ይቆጣጠራል.

ጌትስ የመረጃ ፍሰትን የሚገድብበት መንገድ ነው። እነሱ ከሲግሞይድ አግብር ተግባር ጋር የነርቭ ሽፋንን ያቀፉ እና በንጥረ-ጥበብ የማባዛት ክዋኔን ያከናውናሉ።

የሲግሞይድ ውፅዓት በ 0 እና 1 መካከል ያለው ቁጥር ሲሆን እያንዳንዱ የቬክተር አካል ምን ያህል እንደሚዘለል ያሳያል። የ0 እሴት “ምንም ዝለል” ተብሎ ሊረዳ ይችላል ፣ የ 1 እሴት ግን “ሙሉ በሙሉ ዝለል” ማለት ነው ።

LSTMs የሕዋስ ሁኔታን ለመጠበቅ እና ለመከታተል ሦስት ዓይነት ንጥረ ነገሮች አሏቸው።

የ LSTM አውታረመረብ አሠራር ደረጃ በደረጃ ትንተና

በ LSTM አውታረመረብ ውስጥ የመጀመሪያው እርምጃ ከሴል ሁኔታ ምን ዓይነት መረጃ እንደሚወገድ መወሰን ነው። መፍትሄው የመግቢያ በር ተብሎ በሚጠራው የሲግሞይድ ንብርብር ነው. እሱ \(h_(t-1)\) እና \(x_(t)\) ተብሎ የተሰየመ ሲሆን ለእያንዳንዱ የግዛት ሴል \(C_(t-1)\) በ0 እና 1 መካከል ያለው የቁጥር ውጤት አለው። 1 ማለት "ሙሉ በሙሉ መጠበቅ" ማለት ነው, 0 ማለት "ሙሉ በሙሉ መወገድ" ማለት ነው.

በቀደሙት ቃላት ላይ በመመስረት ቃልን ወደ መተንበይ ወደ አንድ የቋንቋ ሞዴል ምሳሌ እንመለስ። በእንደዚህ አይነት ተግባር ሴሎቹ ትክክለኛውን ተውላጠ ስም ለመጠቀም በጥያቄ ውስጥ ያለውን ነገር ጾታ ሊይዙ ይችላሉ። ሆኖም፣ አዲስ ርዕስ ስናይ የአሮጌውን ነገር ጾታ ልንረሳው እንችላለን።

ቀጣዩ እርምጃ በሴል ሁኔታ ውስጥ ምን ዓይነት መረጃ እንደሚከማች መወሰን ነው. ይህ ደረጃ ሁለት ክፍሎችን ያካትታል. በመጀመሪያ: የግቤት በር የትኞቹ እሴቶች እንደሚዘምኑ መወሰን አለበት, እና ታህንብርብሩ አዲስ እጩ እሴቶችን ይፈጥራል \(\ tilde C_t \) ወደ ግዛት ሊጨመር ይችላል። በሚቀጥለው ደረጃ ግዛቱን ለማዘመን ሁለቱን የተፈጠሩ ቬክተሮችን እናጣምራለን።

በቋንቋው ሞዴል ምሳሌ, ጊዜ ያለፈበትን ለመተካት የአንድን አዲስ ነገር ጾታ ወደ ሴል ሁኔታ ማከል እንፈልጋለን.

ይህንን ተግባራዊ ለማድረግ, ያለፈውን ሁኔታ በ \ (f_ (t)\) በማባዛት በቀድሞው ደረጃ ላይ አስፈላጊ ያልሆነውን መረጃ "ለመርሳት" እንሰራለን. ከዚያ \(i_t * \tilde C_t \) ይጨመራል። እነዚህ ከዚህ ቀደም ለመታወስ የተመረጡት አዲሱ የእሴት እሴቶች ናቸው።

በቋንቋው ሞዴል ውስጥ, ስለ አሮጌው ርዕሰ ጉዳይ መረጃን እንረሳዋለን እና በቀድሞው ደረጃ የተወሰነውን አዲስ መረጃ እናስታውሳለን.

በመጨረሻ፣ የሕዋስ ውፅዓት ምን እንደሚሆን መወሰን አለብን። ይህ ውፅዓት የሚመነጨው በሴል ሁኔታ ላይ በመመስረት ነው ፣ ግን የእሱ የተጣራ ስሪት ነው። በመጀመሪያ የሲግሞይድ ንብርብር ተጀምሯል, የትኛው የሕዋስ ሁኔታ ክፍል ወደ ውጤቱ እንደሚተላለፍ ይወስናል. ከዚያ በኋላ የሕዋስ ሁኔታ ወደ ተግባር ይመገባል ታህ (ውጤት እሴቶች በ -1 እና 1 መካከል) እና በሲግሞይድ በር ውፅዓት ተባዝቷል ፣ ይህም የመንግስት ውፅዓት ከፊልነት ይወስናል።

በቋንቋ ሞዴል ምሳሌ፣ ይህ ከግሱ ጋር የተገናኘ መረጃ ለማውጣት የሚያስፈልገው በኔትወርኩ የታየ ነገር ሊሆን ይችላል። ለምሳሌ የርዕሰ ጉዳዩን ብዙ ወይም ነጠላ መወሰን የሚከተለውን የግሥ ቅርጽ ለመወሰን።

የ LSTM አውታረ መረቦች ልዩነቶች

ከዚህ በላይ ክላሲክ LSTM ኔትወርኮችን ተመልክተናል፣ ግን ብዙ ልዩነቶች አሉ። እንደ እውነቱ ከሆነ፣ የ LSTM ኔትወርኮችን በመጠቀም በእያንዳንዱ ጥናት፣ ሙሉ በሙሉ ክላሲካል ያልሆነ ሞዴል ጥቅም ላይ ይውላል። ልዩነቶቹ ብዙውን ጊዜ ትንሽ ናቸው, ነገር ግን ዋና ዋናዎቹ ልብ ሊባል የሚገባው ነው.

በጌርስ እና ሽሚድሁበር (2000) አስተዋውቀው ከታወቁት የኤልኤስቲኤም ኔትወርኮች ዓይነቶች አንዱ “አይኖች”ን ይጨምራል፣ ይህም የሕዋስ ሁኔታን የመመልከት በሮች መቻልን ይወስናል።

ከላይ ባለው ሥዕል ላይ ዓይኖች ለሁሉም በሮች ተጨምረዋል ፣ ግን በብዙ ጽሑፎች ውስጥ ፣ ዓይኖች ለሁሉም ጥቅም ላይ አይውሉም ፣ ግን ለአንዳንድ በሮች ብቻ።

ሌላው አማራጭ የመርሳት በሮች እና የመግቢያ በሮች ማዋሃድ ነው. ከዚያም የትኛውን መረጃ እንደሚረሳ እና የትኛውን ማስታወስ እንዳለበት በተናጠል ከመወሰን ይልቅ እነዚህ ስራዎች በጋራ ይከናወናሉ, ከዚያም መረጃን የመርሳት ምትክ ብቻ ይከናወናል.

በ LSTM አውታረ መረቦች ላይ ትንሽ የበለጠ አሳሳቢ ለውጥ በ Cho, et al (2014) የተዋወቀው Gated Recurrent Unit ወይም GRU ነው. ይህ አካሄድ የመርሳት በሮች እና የግቤት በሮች ወደ አንድ የዝማኔ በር ያጣምራል። በተጨማሪም የሴሉ ሁኔታ እና የተደበቀ ሁኔታ የተዋሃዱ እና ሌሎች ጥቂት ጉልህ ለውጦችን ይይዛሉ. የተገኘው ሞዴል ከጥንታዊው የኤል.ኤስ.ኤም.ኤስ.ኤም.ኤስ.ኤም.ኤስ.ኤም.ኤስ.ኤም.ኤስ.ኤም.ኤስ.ኤም.ኤስ.ኤም.ኤ. ሞዴል ሞዴል ቀላል እና በጣም ተወዳጅ እየሆነ መጥቷል.

እነዚህ የ LSTM ሞዴል አንዳንድ ልዩነቶች ናቸው። እንደ ጥልቅ የተዘጉ ተደጋጋሚ የነርቭ አውታረ መረቦች (Depth Gated RNNs) Yao et al (2015) ያሉ ሌሎች ብዙ አሉ። በተጨማሪም ፣ በ Kuutnik et al (2014) የቀረበው እንደ የሰዓት ሥራ የነርቭ አውታረ መረቦች (Clockwork RNNs) በመሠረታዊነት የተለያዩ አቀራረቦች ቀርበዋል ።

ከእነዚህ አማራጮች ውስጥ የትኛው የተሻለ ነው? ልዩነቶች አሉ? Greff et al (2015), የታዋቂ አማራጮችን ጥሩ ንጽጽር በማድረግ, ስለ ተመሳሳይ ናቸው ብለው ይደመድሙ. Jozefowicz, et al. (2015) ከ 10,000 በላይ ተደጋጋሚ የነርቭ ኔትወርኮችን አርክቴክቸር ሞክረዋል, አንዳንዶቹ ከኤል.ኤስ.ኤም.ኤም.