ከጽሑፉ ጥልቅ ትምህርት ምን እንደሆነ ይማራሉ. ጽሑፉ ይህን አካባቢ ለመቆጣጠር ሊጠቀሙባቸው የሚችሏቸው ብዙ ግብዓቶችንም ይዟል።

በዘመናዊው ዓለም፣ ከጤና እንክብካቤ እስከ ማምረት፣ ጥልቅ ትምህርት በሁሉም ቦታ ጥቅም ላይ ይውላል። ኩባንያዎች እንደ የንግግር እና የነገር እውቅና ያሉ ውስብስብ ችግሮችን ለመፍታት ወደዚህ ቴክኖሎጂ ዘወር ይላሉ ፣ የማሽን ትርጉምወዘተ.

በዚህ አመት ከተመዘገቡት አስደናቂ ውጤቶች መካከል አንዱ አልፋጎ የአለምን ምርጥ ጎ ተጫዋች ማሸነፉ ነው። ከGo በተጨማሪ ማሽነሪዎች በሌሎች ጨዋታዎች ሰዎችን አሸንፈዋል፡ ቼከር፣ ቼዝ፣ ሪቨርሲ እና ጄኦፓርዲ።

ምናልባት የቦርድ ጨዋታን ማሸነፍ ለመፍትሄው ተግባራዊ የሚሆን አይመስልም። እውነተኛ ችግሮችይሁን እንጂ ይህ በፍፁም አይደለም. ሂድ በአርቴፊሻል ኢንተለጀንስ የማይሸነፍ እንዲሆን ነው የተነደፈው። ይህንን ለማድረግ ለዚህ ጨዋታ አንድ ጠቃሚ ነገር መማር ያስፈልገዋል - የሰው ልጅ አእምሮ። አሁን, በዚህ እድገት እገዛ, ከዚህ በፊት ለኮምፒዩተር የማይደረስባቸው ብዙ ችግሮችን መፍታት ይቻላል.

ግልጽ ነው፣ ጥልቅ ትምህርት አሁንም ፍፁም አይደለም፣ ነገር ግን ቀድሞውንም ለንግድ ጠቃሚ ለመሆን ቅርብ ነው። ለምሳሌ, እነዚህ በራሳቸው የሚነዱ መኪኖች. እንደ ጎግል፣ ቴስላ እና ኡበር ያሉ ታዋቂ ኩባንያዎች በከተማው ጎዳናዎች ላይ ራሳቸውን ችለው የሚንቀሳቀሱ መኪናዎችን ለማስተዋወቅ እየሞከሩ ነው።

ፎርድ በራስ የመንዳት ድርሻ ላይ ከፍተኛ ጭማሪን ይተነብያል ተሽከርካሪዎችበ 2021. የአሜሪካ መንግስት የደህንነት ደንቦችን አዘጋጅቶላቸዋል።

ጥልቅ ትምህርት ምንድን ነው?

ይህንን ጥያቄ ለመመለስ ከማሽን መማር, ከነርቭ ኔትወርኮች እና አርቲፊሻል ኢንተለጀንስ ጋር እንዴት እንደሚገናኝ መረዳት ያስፈልግዎታል. ይህንን ለማድረግ ማዕከላዊ ክበቦችን በመጠቀም የእይታ ዘዴን እንጠቀማለን-

የውጪው ክበብ በአጠቃላይ ሰው ሰራሽ የማሰብ ችሎታ ነው (ለምሳሌ ኮምፒውተሮች)። ትንሽ ወደፊት - ማሽን መማር, እና በትክክል መሃል ላይ ጥልቅ ትምህርት እና ሰው ሰራሽ የነርቭ መረቦች አሉ.

በመጠኑ አነጋገር፣ ጥልቅ ትምህርት በቀላሉ ለሰው ሰራሽ የነርቭ አውታረ መረቦች የበለጠ ምቹ ስም ነው። በዚህ ሐረግ ውስጥ "ጥልቅ" የሚያመለክተው የነርቭ ኔትወርክ ውስብስብነት (ጥልቀት) ነው, እሱም ብዙውን ጊዜ በጣም ውጫዊ ሊሆን ይችላል.

የመጀመሪያው የነርቭ አውታር ፈጣሪዎች በሴሬብራል ኮርቴክስ መዋቅር ተመስጧዊ ናቸው. የኔትወርኩ መሠረት ሽፋን፣ ፐርሴፕሮን፣ በመሠረቱ የባዮሎጂካል ነርቭ ሒሳባዊ አናሎግ ነው። እና ልክ እንደ አንጎል, እርስ በእርሳቸው የሚጣመሩ ፐርሰፕቶኖች በነርቭ አውታር ውስጥ ሊታዩ ይችላሉ.

የነርቭ አውታር የመጀመሪያው ሽፋን የግቤት ንብርብር ይባላል. በዚህ ንብርብር ውስጥ ያለው እያንዳንዱ መስቀለኛ መንገድ አንዳንድ መረጃዎችን እንደ ግብአት ይቀበላል እና በሌሎች ንብርብሮች ውስጥ ወደሚቀጥሉት አንጓዎች ያስተላልፋል። ብዙውን ጊዜ, በአንድ ንብርብር አንጓዎች መካከል ምንም ግንኙነቶች የሉም, እና የመጨረሻው የሰንሰለት መስቀለኛ መንገድ የነርቭ ኔትወርክን ውጤት ያስገኛል.

በመሃል ላይ ያሉት ኖዶች እንደ የውጤት እና የግቤት ኖዶች ከውጭው ዓለም ጋር ግንኙነት ስለሌላቸው ድብቅ ኖዶች ይባላሉ። የሚጠሩት ቀዳሚዎቹ ንብርብሮች ሲነቁ ብቻ ነው.

ጥልቅ ትምህርት በመሰረቱ ውስብስብ ችግሮችን ለመፍታት (እንደ የንግግር ማወቂያ) ቅጦችን በመጠቀም ብዙ ንብርብሮችን የሚጠቀም የነርቭ አውታረ መረብ ማሰልጠኛ ዘዴ ነው። በሰማንያዎቹ ውስጥ፣ ከፍተኛ ወጪ እና የውሂብ አቅም ውስን በመሆኑ አብዛኛዎቹ የነርቭ ኔትወርኮች ነጠላ-ንብርብር ነበሩ።

የማሽን መማርን እንደ አርቴፊሻል ኢንተለጀንስ ቅርንጫፍ ወይም ልዩነት ከወሰድን ጥልቅ ትምህርት የዚህ ቅርንጫፍ ልዩ ዓይነት ነው።

የማሽን መማር ወዲያውኑ መልሱን የማይሰጥ የኮምፒውተር እውቀት ይጠቀማል። በምትኩ, ኮዱ በሙከራ ውሂብ ላይ ይሰራል እና በውጤታቸው ትክክለኛነት ላይ በመመስረት እድገቱን ያስተካክላል. ለዚህ ሂደት ስኬት, የተለያዩ ቴክኒኮችን, ልዩ ሶፍትዌሮችን እና የኮምፒተር ሳይንስን አብዛኛውን ጊዜ ለመግለፅ ጥቅም ላይ ይውላሉ የማይንቀሳቀሱ ዘዴዎችእና መስመራዊ አልጀብራ።

ጥልቅ የመማር ዘዴዎች

ጥልቅ የመማር ዘዴዎች በሁለት ዋና ዋና ዓይነቶች ይከፈላሉ.

• የተደገፈ ስልጠና
• ቁጥጥር የማይደረግበት ትምህርት

የተፈለገውን ውጤት ለማግኘት የመጀመሪያው ዘዴ በተለየ የተመረጠ ውሂብ ይጠቀማል. በጣም ብዙ የሰዎች ጣልቃገብነት ያስፈልገዋል, ምክንያቱም መረጃው በእጅ መመረጥ አለበት. ሆኖም ግን, ለምድብ እና ለማገገም ጠቃሚ ነው.

የኩባንያው ባለቤት እንደሆንክ አድርገህ አስብ እና ከበታቾችህ ጋር ኮንትራት በሚቆይበት ጊዜ ላይ የጉርሻዎች ተጽእኖ ለመወሰን ትፈልጋለህ። አስቀድሞ በተሰበሰበ መረጃ፣ ክትትል የሚደረግበት የመማሪያ ዘዴ በጣም አስፈላጊ እና በጣም ውጤታማ ይሆናል።

ሁለተኛው ዘዴ አስቀድሞ የተዘጋጁ መልሶች እና የስራ ስልተ ቀመሮችን አያመለክትም. በመረጃ ውስጥ የተደበቁ ንድፎችን ለመለየት ያለመ ነው። በተለምዶ እንደ ደንበኞችን በባህሪ ማቧደን ላሉ ስራዎች ስብስብ እና ማኅበር ስራ ላይ ይውላል። በአማዞን ላይ "በዚህም ይመርጣሉ" የማህበሩ ተግባር ተለዋጭ ነው.

ክትትል የሚደረግበት ትምህርት ብዙ ጊዜ ምቹ ቢሆንም፣ የበለጠ ነው። አስቸጋሪ አማራጭአሁንም የተሻለ ነው። ጥልቅ ትምህርት የሰውን ክትትል የማይፈልግ የነርቭ መረብ መሆኑን አረጋግጧል።

የጥልቅ ትምህርት አስፈላጊነት

ኮምፒውተሮች በምስሉ ውስጥ ያሉትን አንዳንድ ባህሪያት ለመለየት ቴክኖሎጂን ሲጠቀሙ ቆይተዋል። ይሁን እንጂ ውጤቶቹ ስኬታማ አልነበሩም. የኮምፒውተር እይታ በጥልቅ ትምህርት ላይ የማይታመን ተጽእኖ አሳድሯል። እነዚህ ሁለት ቴክኒኮች ናቸው በአሁኑ ጊዜሁሉንም የማወቂያ ችግሮችን መፍታት.

በተለይም ፌስቡክ ጥልቅ ትምህርትን በመጠቀም በፎቶግራፎች ላይ ያሉ ፊቶችን ለይቶ ማወቅ ተሳክቶለታል። ይህ በቴክኖሎጂ ውስጥ ቀላል መሻሻል ሳይሆን ሁሉንም ቀደምት እምነቶች የሚቀይር የለውጥ ነጥብ ነው፡- “አንድ ሰው በሁለት የተለያዩ ፎቶግራፎች ላይ አንድ አይነት ሰው መታየቱን በ97.53% ሊወስን ይችላል። የፌስቡክ ቡድን ያዘጋጀው ፕሮግራም መብራት ምንም ይሁን ምን፣ ሰውዬው በቀጥታ ካሜራውን እያየ ወይም ወደ ጎን ዞሮ ዞሮ ዞሮ 97.25% እድል አለው።

የንግግር እውቅናም ጉልህ ለውጦችን አድርጓል። በቻይና ውስጥ ካሉ ግንባር ቀደም የፍለጋ ሞተሮች አንዱ የሆነው የባይዱ ቡድን በእንግሊዝኛ ጽሑፍን በፍጥነት እና በትክክለኛነት ከሰዎች የላቀ ብቃት ያለው የንግግር ማወቂያ ስርዓት አዘጋጅቷል። ተንቀሳቃሽ መሳሪያዎች. በእንግሊዝኛ እና ማንዳሪን.

በጣም የሚያስደንቀው ግን ለሁለት ሙሉ ለሙሉ የተለያዩ ቋንቋዎች የጋራ የነርቭ አውታረ መረብ መፃፍ ብዙ ስራ የማይፈልግ መሆኑ ነው፡- “በታሪክ ሰዎች ቻይንኛ እና እንግሊዝኛን እንደ ሁለት የተለያዩ ቋንቋዎች ይመለከቷቸዋል፣ ስለዚህ ለእያንዳንዳቸው የተለየ አቀራረብ ያስፈልጋል” ይላል። የባይዱ ማእከል የምርምር ኃላፊ አንድሪው ንግ. “የመማር ስልተ ቀመሮች አሁን በጣም አጠቃላይ ስለሆኑ ይችላሉ። ልክተማር"

ጎግል በኩባንያው የመረጃ ማዕከላት ውስጥ ሃይልን ለማስተዳደር ጥልቅ ትምህርትን ይጠቀማል። የማቀዝቀዣ ሀብት ወጪን በ 40% መቀነስ ችለዋል. ይህ በ15% በሃይል ቆጣቢነት መሻሻል እና በሚሊዮኖች የሚቆጠር ዶላር ቁጠባ ነው።

የጥልቅ ትምህርት ጥቃቅን አገልግሎቶች

እዚህ አጭር መግለጫከጥልቅ ትምህርት ጋር የተያያዙ አገልግሎቶች.

የምስል መለያ መለያ። በIllustration2Vec የተሻሻለው ይህ አገልግሎት የምስሉን ይዘት በቅድሚያ ለመረዳት “የተጠበቀ”፣ “አጠራጣሪ”፣ “አደገኛ”፣ “ቅጂ መብት” ወይም “አጠቃላይ” የሚል ደረጃ በመስጠት ምስሎችን ምልክት እንድታደርጉ ይፈቅድልዎታል።

• የGoogle Theano Add-on
• በ Python እና Numpy ሊስተካከል የሚችል
• ብዙውን ጊዜ የተወሰኑ ችግሮችን ለመፍታት ያገለግላል

• አጠቃላይ ዓላማ አይደለም። በማሽን እይታ ላይ ያተኩሩ
• በC++ ውስጥ ተስተካክሏል።
• በፓይዘን ውስጥ በይነገጽ አለ።

በጥልቅ ትምህርት ላይ የመስመር ላይ ኮርሶች

ጎግል እና ኡዳሲቲ የኡዳሲቲ ማሽን መማሪያ ኮርስ አካል የሆነ የጥልቅ ትምህርት ነፃ ኮርስ ለመፍጠር ተባብረዋል። ይህ ፕሮግራም የማሽን መማሪያ መስክን እና በተለይም ጥልቅ ትምህርትን ለማዳበር በሚፈልጉ ልምድ ባላቸው ገንቢዎች ይመራል።

ሌላው ታዋቂ አማራጭ በCoursera እና Stanford የተደገፈ ከ Andrew Ng የማሽን መማሪያ ኮርስ ነው።

1. የማሽን መማር - ስታንፎርድ በአንድሪው ንግ በCoursera (2010-2014)
2. ማሽን መማር - ካልቴክ በያሰር አቡ-ሙስጠፋ (2012-2014)
3. የማሽን መማር - ካርኔጊ ሜሎን በቶም ሚቼል (ስፕሪንግ 2011)
4. ለማሽን ለመማር የነርቭ ኔትወርኮች - ጆፍሪ ሂንቶን በCoursera (2012)
5. የነርቭ አውታረ መረቦች ክፍል- ሁጎ ላሮሼል ከዩኒቨርሲቲ ደ ሼርብሩክ (2013)

ስለ ጥልቅ ትምህርት መጽሐፍት።

በቀደመው ክፍል ውስጥ ያሉት ሃብቶች በቂ የሆነ ሰፊ የእውቀት መሰረት ሲሳሉ፣ ግሮኪንግ ጥልቅ ትምህርት ግን በተቃራኒው ጀማሪዎች ላይ ያነጣጠረ ነው። ደራሲዎቹ እንደሚሉት፡- “11ኛ ክፍልን ከጨረስክ እና ፒቲን እንዴት መፃፍ እንዳለብህ በደንብ ከተረዳህ ጥልቅ ትምህርት እናስተምርሃለን።

የዚህ መጽሐፍ ታዋቂ አማራጭ ጥልቅ መማሪያ መጽሐፍ የሚል ራሱን የሚገልጽ ርዕስ ያለው መጽሐፍ ነው። በተለይ ጥሩ ነው ምክንያቱም ወደዚህ አካባቢ ለመግባት የሚያስፈልጉዎትን ሁሉንም የሂሳብ ስራዎች ይሸፍናል.

1. "ጥልቅ ትምህርት" በ Yoshua Bengio፣ Ian Goodfellow እና Aaron Courville (2015)
2. "የነርቭ መረቦች እና ጥልቅ ትምህርት" በሚካኤል ኒልሰን (2014)
3. "ጥልቅ ትምህርት" ከማይክሮሶፍት ምርምር (2013)
4. "ጥልቅ የመማሪያ አጋዥ ስልጠናዎች" ከሊሳ ላብራቶሪ፣ የሞንትሪያል ዩኒቨርሲቲ (2015)
5. "neuraltalk" በ Andrej Karpathy
6. "መግቢያ ለ የጄኔቲክ አልጎሪዝም»
7. "ዘመናዊ የአርቴፊሻል ኢንተለጀንስ አቀራረብ"
8. "የጥልቅ ትምህርት እና የነርቭ አውታረ መረቦች አጠቃላይ እይታ"

ቪዲዮዎች እና ንግግሮች

ጥልቅ ትምህርት ቀላል ድንቅ የዩቲዩብ ቻናል ነው። የመጀመሪያ ቪዲዮቸው ይኸውና፡-

ዛሬ, ግራፍ በማሽን መማሪያ ስርዓት ውስጥ የተፈጠሩ ሞዴሎችን ለመግለጽ በጣም ተቀባይነት ካላቸው መንገዶች አንዱ ነው. እነዚህ የስሌት ግራፎች በሲናፕስ ጠርዞች የተገናኙት በነርቭ ጫፎች መካከል ያሉ ግንኙነቶችን የሚገልጹ ናቸው.

እንደ ስካላር ሴንትራል ወይም ቬክተር ግራፊክስ ፕሮሰሰር፣ አይፒዩ፣ ለማሽን መማር ተብሎ የተነደፈ አዲስ ፕሮሰሰር እንደዚህ አይነት ግራፎችን ለመስራት ያስችላል። ግራፎችን ለማስተዳደር የተነደፈ ኮምፒውተር - ፍጹም መኪናበማሽን መማሪያ ለተፈጠሩ የስሌት ግራፍ ሞዴሎች.

የማሽን የማሰብ ሂደትን ለመግለፅ በጣም ቀላሉ መንገዶች አንዱ በዓይነ ሕሊናህ መመልከት ነው። የግራፍኮር ልማት ቡድን በአይፒዩ ላይ የሚታዩ እንደዚህ ያሉ ምስሎችን ስብስብ ፈጥሯል። እሱ የተመሰረተው በፖፕላር ሶፍትዌር ላይ ነው, እሱም የአርቴፊሻል ኢንተለጀንስ ስራን በምስል ያሳያል. የዚህ ኩባንያ ተመራማሪዎች ጥልቅ አውታረ መረቦች ለምን ብዙ ማህደረ ትውስታን እንደሚፈልጉ እና ችግሩን ለመፍታት ምን መፍትሄዎች እንዳሉ ደርሰውበታል.

ፖፕላር ደረጃውን የጠበቀ የማሽን መማሪያ ስራዎችን ወደ ከፍተኛ የተመቻቸ የአይፒዩ አፕሊኬሽን ኮድ ለመተርጎም ከመሬት ተነስቶ የተሰራ የግራፊክስ ማጠናከሪያን ያካትታል። POPNNs በሚሰበሰቡበት ተመሳሳይ መርህ በመጠቀም እነዚህን ግራፎች አንድ ላይ እንዲሰበስቡ ያስችልዎታል። ቤተ መፃህፍቱ ለአጠቃላይ ፕሪሚቲቭ የተለያዩ የ vertex አይነቶችን ይዟል።

ግራፎች ሁሉም ሶፍትዌሮች የተመሰረቱበት ምሳሌ ናቸው። በፖፕላር ውስጥ, ግራፎች የስሌት ሂደትን እንዲገልጹ ያስችሉዎታል, ጫፎቹ ስራዎችን የሚያከናውኑበት እና ጠርዞች በመካከላቸው ያለውን ግንኙነት የሚገልጹበት. ለምሳሌ፣ ሁለት ቁጥሮችን አንድ ላይ ማከል ከፈለጉ፣ ሁለት ግብዓቶችን (መጨመር የሚፈልጓቸውን ቁጥሮች)፣ አንዳንድ ስሌቶች (ሁለት ቁጥሮችን የመጨመር ተግባር) እና ውፅዓት (ውጤቱን) የያዘ ወርድ መግለፅ ይችላሉ።

በተለምዶ ከላይ ከተገለጸው ምሳሌ ጋር ሲነፃፀር ከቁመቶች ጋር የሚሰሩ ስራዎች በጣም የተወሳሰቡ ናቸው። ብዙውን ጊዜ የሚገለጹት codelets (codenames) በሚባሉ ትናንሽ ፕሮግራሞች ነው. ስዕላዊ አብስትራክት ማራኪ ነው ምክንያቱም ስለ ስሌቱ አወቃቀር ምንም ግምት ስለማይሰጥ እና ስሌቱን አይፒዩ ለመስራት ሊጠቀምባቸው ወደ ሚችሉት ክፍሎች ስለሚከፋፍል።

ፖፕላር ለመገንባት ይህን ቀላል አብስትራክት ይጠቀማል ትላልቅ ግራፎችበምስል መልክ የሚቀርቡት. የሶፍትዌር ግራፍ ማመንጨት የአይፒዩ ሀብቶችን በብቃት መጠቀምን ለማረጋገጥ ከሚያስፈልጉት ልዩ ስሌቶች ጋር ማበጀት እንችላለን ማለት ነው።

አቀናባሪው በማሽን መማሪያ ስርዓቶች ውስጥ ጥቅም ላይ የዋሉ መደበኛ ስራዎችን ለአይፒዩ በጣም ወደተመቻቸ የመተግበሪያ ኮድ ይተረጉማል። የግራፍ ማቀናበሪያው በአንድ ወይም በብዙ የአይፒዩ መሳሪያዎች ላይ የሚዘረጋውን የስሌት ግራፍ መካከለኛ ምስል ይፈጥራል። አቀናባሪው ይህንን የስሌት ግራፍ ማሳየት ይችላል፣ ስለዚህ በነርቭ ኔትወርክ ማዕቀፍ ደረጃ የተጻፈ መተግበሪያ በአይፒዩ ላይ የሚሰራውን የስሌት ግራፍ ምስል ያሳያል።

የሙሉ አሌክስኔት የስልጠና ዑደት ወደፊት እና ወደ ኋላ አቅጣጫዎች

የፖፕላር ግራፊክስ ማጠናከሪያ የአሌክስኔትን መግለጫ ወደ 18.7 ሚሊዮን ጫፎች እና 115.8 ሚሊዮን ጠርዞች ወደ ስሌት ግራፍ ቀይሮታል። በግልጽ የሚታይ ክላስተር በእያንዳንዱ የአውታረ መረብ ንብርብር ውስጥ ባሉ ሂደቶች መካከል ጠንካራ ግንኙነት ውጤት ነው፣ በንብርብሮች መካከል ቀላል ግንኙነት።

ሌላ ምሳሌ ቀላል አውታረ መረብ ነው። ሙሉ ግንኙነት, የሰለጠነበMNIST ላይ - ለኮምፒዩተር እይታ ቀላል የመረጃ ስብስብ ፣ በማሽን መማሪያ ውስጥ “ሄሎ ፣ ዓለም” ዓይነት። ቀላል አውታረ መረብይህንን የውሂብ ስብስብ ለማሰስ በፖፕላር አፕሊኬሽኖች የሚነዱ ግራፎችን ለመረዳት ይረዳል። የግራፍ ቤተ-ፍርግሞችን እንደ TensorFlow ካሉ ማዕቀፎች ጋር በማዋሃድ ኩባንያው በማሽን መማሪያ አፕሊኬሽኖች ውስጥ አይፒዩዎችን ለመጠቀም ቀላሉ መንገድ አንዱን ያቀርባል።

ማጠናከሪያውን በመጠቀም ግራፉ ከተሰራ በኋላ መፈጸም ያስፈልገዋል. ይህ ግራፍ ሞተር በመጠቀም ይቻላል. የ ResNet-50 ምሳሌ ስራውን ያሳያል.

ResNet-50 ግራፍ

የ ResNet-50 ሥነ ሕንፃ ጥልቅ አውታረ መረቦችን ከመድገም ክፍልፋዮች ለመፍጠር ያስችላል። ፕሮሰሰር እነዚህን ክፍሎች አንድ ጊዜ መግለፅ እና እንደገና መጥራት አለበት። ለምሳሌ፣ የኮንቪ 4 ደረጃ ክላስተር ስድስት ጊዜ ተፈፅሟል፣ ግን አንድ ጊዜ ብቻ ወደ ግራፉ ተቀርጿል። ምስሉ እያንዳንዱ ሰው በተፈጥሮው ስሌት መሰረት የተሰራ ግራፍ ስላላቸው የተለያዩ የኮንቮሉሽን ንብርብሮች ቅርጾችን ያሳያል።

ሞተሩ የማሽን መማሪያ ሞዴል አፈፃፀምን ይፈጥራል እና ያስተዳድራል በአቀነባባሪው የተፈጠረውን ግራፍ በመጠቀም። አንዴ ከተሰማራ፣ ግራፍ ኤንጂን ይከታተላል እና በመተግበሪያዎች ጥቅም ላይ የሚውሉትን አይፒዩዎች ወይም መሳሪያዎች ምላሽ ይሰጣል።

የ ResNet-50 ምስል ሙሉውን ሞዴል ያሳያል. በዚህ ደረጃ በግለሰብ ጫፎች መካከል ያለውን ግንኙነት ለመለየት አስቸጋሪ ነው, ስለዚህ የተስፋፉ ምስሎችን መመልከት ተገቢ ነው. ከዚህ በታች በነርቭ ኔትወርክ ንብርብሮች ውስጥ ያሉ አንዳንድ ክፍሎች ምሳሌዎች አሉ።

ለምን ጥልቅ አውታረ መረቦች ብዙ ማህደረ ትውስታ ያስፈልጋቸዋል?

ትላልቅ የማስታወሻ አሻራዎች ጥልቅ የነርቭ ኔትወርኮች ትልቅ ፈተናዎች ናቸው. ተመራማሪዎች የዲራም መሣሪያዎችን ውስን የመተላለፊያ ይዘት ለመዋጋት እየሞከሩ ነው፣ ይህም ዘመናዊ ስርዓቶች እጅግ በጣም ብዙ ክብደትን እና ጥልቅ በሆነ የነርቭ አውታረ መረብ ውስጥ እንቅስቃሴዎችን ለማከማቸት መጠቀም አለባቸው።

ስነ-ህንፃዎቹ የተገነቡት በመጠቀም ነው። ፕሮሰሰር ቺፕስ, ለተከታታይ ሂደት የተነደፈ እና DRAM ለከፍተኛ-ጥቅጥቅ ማህደረ ትውስታ ማመቻቸት. በእነዚህ ሁለት መሳሪያዎች መካከል ያለው በይነገጽ የውጤት ገደቦችን የሚያስተዋውቅ እና በኃይል ፍጆታ ላይ ጉልህ የሆነ ትርፍ የሚጨምር ማነቆ ነው።

ምንም እንኳን ስለ ሰው አንጎል እና እንዴት እንደሚሰራ እስካሁን የተሟላ ግንዛቤ ባይኖረንም, በአጠቃላይ የተለየ ትልቅ የማስታወሻ ማከማቻ አለመኖሩን መረዳት ይቻላል. ተግባሩ የረዥም ጊዜ እና ነው ተብሎ ይታመናል የአጭር ጊዜ ማህደረ ትውስታበሰው አንጎል ውስጥ በነርቭ ሴሎች + ሲናፕስ መዋቅር ውስጥ ይገነባል. እንደ ትል ያሉ ቀላል ፍጥረታት እንኳን ከ300 በላይ የነርቭ ሴሎች ያሉት የነርቭ አእምሮ መዋቅር በተወሰነ ደረጃ የማስታወስ ችሎታ አላቸው።

ማህደረ ትውስታን ወደ መደበኛ ፕሮሰሰር መገንባት የማህደረ ትውስታ ማነቆን ችግር ለመቅረፍ፣ በጣም ያነሰ ሃይል እየበሉ ትልቅ የመተላለፊያ ይዘትን ለመክፈት አንዱ መንገድ ነው። ነገር ግን፣ የቺፕ ማህደረ ትውስታ ውድ ነው እና በአሁኑ ጊዜ ጥልቅ የነርቭ ኔትወርኮችን ለማሰልጠን እና ለማሰማራት ከሚጠቀሙት ሲፒዩዎች እና ጂፒዩዎች ጋር ተያይዘው ላሉት ከፍተኛ መጠን ያላቸውን ማህደረ ትውስታዎች አልተነደፈም።

ስለዚህ ሜሞሪ ዛሬ በሲፒዩ እና በጂፒዩ ላይ በተመሰረቱ ጥልቅ የመማሪያ ስርዓቶች ውስጥ እንዴት ጥቅም ላይ እንደሚውል መመልከቱ ጠቃሚ ነው እና እራስዎን ይጠይቁ፡ የሰው አእምሮ ያለእነሱ በትክክል ሲሰራ ለምን እንደዚህ ያሉ ትላልቅ የማስታወሻ ማከማቻ መሳሪያዎችን ይፈልጋሉ?

ግብአቱ በኔትወርኩ ውስጥ ሲሰራጭ የነርቭ ኔትወርኮች የግብአት ውሂብን፣ ክብደትን እና የማግበር ተግባራትን ለማከማቸት ማህደረ ትውስታ ያስፈልጋቸዋል። በመማር ላይ፣ በመግቢያው ላይ ያለው ማንቃት በውጤቱ ግሬዲተሮች ውስጥ ያሉትን ስህተቶች ለማስላት ጥቅም ላይ እስኪውል ድረስ መቆየት አለበት።

ለምሳሌ፣ ባለ 50-layer ResNet አውታረ መረብ ወደ 26 ሚሊዮን የሚጠጉ የክብደት መለኪያዎች ያሉት ሲሆን 16 ሚሊዮን ወደፊት የሚደረጉ እንቅስቃሴዎችን ያሰላል። እያንዳንዱን ክብደት ለማከማቸት እና ለማግበር ባለ 32-ቢት ተንሳፋፊ ከተጠቀሙ፣ ወደ 168 ሜባ አካባቢ ይፈልጋል። እነዚህን ክብደቶች እና እንቅስቃሴዎችን ለማከማቸት ዝቅተኛ ትክክለኛ እሴት በመጠቀም፣ ይህንን የማከማቻ መስፈርት በግማሽ ወይም በአራት እጥፍ ማሳደግ እንችላለን።

ከባድ ችግርየማህደረ ትውስታ ችግር የሚከሰተው ጂፒዩዎች እንደ ጥቅጥቅ ያሉ ቬክተሮች በተወከለው መረጃ ላይ ስለሚመሰረቱ ነው። ስለዚህ ከፍተኛ የኮምፒዩተር እፍጋትን ለማግኘት ነጠላ የማስተማሪያ ክር (ሲኤምዲ) መጠቀም ይችላሉ። ሲፒዩ ከፍተኛ አፈጻጸም ላለው ስሌት ተመሳሳይ የቬክተር ክፍሎችን ይጠቀማል።

ጂፒዩዎች የሲናፕስ ስፋት 1024 ቢት ስላላቸው ባለ 32-ቢት ተንሳፋፊ ነጥብ ዳታ ይጠቀማሉ ስለዚህ ብዙ ጊዜ ወደ ትይዩ ሚኒ-ባች 32 ናሙናዎች ከፍለው የ1024-ቢት ዳታ ቬክተር ይፈጥራሉ። ይህ የቬክተር ትይዩ አቀራረብ የእንቅስቃሴዎች ብዛት በ 32 ጊዜ እና ከ 2 ጂቢ በላይ አቅም ያለው የአካባቢ ማከማቻ አስፈላጊነት ይጨምራል.

ጂፒዩዎች እና ሌሎች ለማትሪክስ አልጀብራ የተነደፉ ማሽኖች እንዲሁ ከክብደት ወይም ከነርቭ አውታር ማነቃቂያዎች የማህደረ ትውስታ ጫና አለባቸው። ጂፒዩዎች በጥልቅ ነርቭ ኔትወርኮች ውስጥ ጥቅም ላይ የሚውሉትን ትናንሽ ውዝግቦች በብቃት ማከናወን አይችሉም። ስለዚህ፣ “መቀነስ” የሚባል ለውጥ እነዚህን ውዝግቦች ወደ ማትሪክስ-ማትሪክስ ብዜት (ጂኤምኤምኤስ) ለመቀየር ጥቅም ላይ ይውላል፣ ይህም ጂፒዩዎች በብቃት ማስተናገድ ይችላሉ።

የግቤት ውሂብን፣ ጊዜያዊ እሴቶችን እና የፕሮግራም መመሪያዎችን ለማከማቸት ተጨማሪ ማህደረ ትውስታ ያስፈልጋል። ResNet-50ን በከፍተኛ ደረጃ ጂፒዩ ላይ ሲያሰለጥን የማህደረ ትውስታ አጠቃቀምን መለካት ከ7.5 ጊባ በላይ የአካባቢ ድራም እንደሚያስፈልገው ያሳያል።

አንዳንዶች ዝቅተኛ ስሌት ትክክለኛነት የሚፈለገውን የማህደረ ትውስታ መጠን ሊቀንስ ይችላል ብለው ያስቡ ይሆናል፣ ግን ይህ እንደዛ አይደለም። የውሂብ እሴቶችን ለክብደቶች እና ለማንቃት ወደ ግማሽ ትክክለኛነት በመቀየር ግማሹን የሲምዲ ቬክተር ስፋትን ብቻ ይሞላሉ ፣ ግማሹን የሚገኙትን የሂሳብ ሀብቶች ያባክናሉ። ይህንን ለማካካስ፣ በጂፒዩ ላይ ካለው ሙሉ ትክክለኛነት ወደ ግማሽ ትክክለኛነት ሲቀይሩ፣ ሁሉንም የሚገኙትን ስሌት ለመጠቀም በቂ የውሂብ ትይዩ ለማስገደድ የሚኒ-ባችውን መጠን በእጥፍ ማሳደግ ይኖርብዎታል። ስለዚህ፣ ወደ ዝቅተኛ ትክክለኝነት ክብደቶች መሄድ እና በጂፒዩ ላይ ማንቃት አሁንም ከ7.5ጂቢ በላይ ነፃ መዳረሻ ተለዋዋጭ ማህደረ ትውስታ ይፈልጋል።

በጣም ብዙ ውሂብ ለማከማቸት፣ ሁሉንም ወደ ጂፒዩ ማስገባት በቀላሉ የማይቻል ነው። እያንዳንዱ የተዛባ የነርቭ አውታረ መረብ ንብርብር የውጭውን DRAM ሁኔታ ማከማቸት, ቀጣዩን የአውታረ መረብ ንብርብር መጫን እና ከዚያም መረጃውን ወደ ስርዓቱ መጫን ያስፈልገዋል. በውጤቱም ፣ ቀድሞውንም የመተላለፊያ ይዘት ያለው ውጫዊ ማህደረ ትውስታ በይነገጽ ሚዛኖቹን በተከታታይ የመጫን እና የማግበር ተግባራትን በማከማቸት እና በማንሳት ተጨማሪ ሸክም ይሰቃያል። ይህ የስልጠና ጊዜን በእጅጉ ይቀንሳል እና የኃይል ፍጆታን በእጅጉ ይጨምራል.

ይህንን ችግር ለመፍታት በርካታ መንገዶች አሉ. በመጀመሪያ እንደ ማግበር ተግባራት ያሉ ስራዎች "በቦታ" ሊከናወኑ ይችላሉ, ይህም የግቤት ውሂብ በቀጥታ ወደ ውፅዓት እንደገና እንዲፃፍ ያስችለዋል. በዚህ መንገድ ነባር ማህደረ ትውስታን እንደገና መጠቀም ይቻላል. በሁለተኛ ደረጃ, ለ እንደገና መጠቀምማህደረ ትውስታን ማግኘት የሚቻለው በኔትወርኩ ላይ በሚሰሩ ስራዎች መካከል ያለውን የውሂብ ጥገኝነት በመተንተን እና ተመሳሳይ ማህደረ ትውስታ በዛን ጊዜ ጥቅም ላይ ላልሆኑ ስራዎች በመመደብ ላይ ነው.

ሁለተኛው አካሄድ በተለይ ውጤታማ የሚሆነው የማህደረ ትውስታ አስተዳደር ከሞላ ጎደል ወደ ዜሮ ስለሚቀንስ አጠቃላይ የነርቭ አውታረመረብ በተጠናቀረበት ጊዜ መተንተን ሲቻል ቋሚ የተመደበ ማህደረ ትውስታ ለመፍጠር ነው። የእነዚህ ዘዴዎች ጥምረት የነርቭ ኔትወርክን የማስታወስ አጠቃቀምን ከሁለት እስከ ሶስት ጊዜ ሊቀንስ እንደሚችል ተረጋግጧል.
ሦስተኛው ጠቃሚ አቀራረብ በBaidu Deep Speech ቡድን በቅርቡ ተገኝቷል። የማስታወሻ ቆጣቢ ቴክኒኮችን በመተግበር የማግበር ተግባራትን የማስታወስ ፍጆታን በ16 እጥፍ በመቀነስ 100 ንብርብር ያላቸውን ኔትወርኮች ለማሰልጠን አስችሏቸዋል። ከዚህ ቀደም በተመሳሳይ የማስታወሻ መጠን, ዘጠኝ ንብርብሮች ያሉት አውታረ መረቦችን ማሰልጠን ይችላሉ.

የማህደረ ትውስታ እና የማቀናበሪያ ሃብቶችን ወደ አንድ መሳሪያ በማጣመር የተጠናከረ የነርቭ ኔትወርኮችን አፈፃፀም እና ቅልጥፍናን እንዲሁም ሌሎች የማሽን መማሪያ ዓይነቶችን ለማሻሻል ከፍተኛ አቅም አለው። በሲስተሙ ውስጥ የባህሪያትን እና የአፈፃፀም ሚዛንን ለማሳካት በማህደረ ትውስታ እና በማስላት ሀብቶች መካከል ግብይቶች ሊደረጉ ይችላሉ።

በሌሎች የማሽን መማሪያ ዘዴዎች ውስጥ ያሉ የነርቭ ኔትወርኮች እና የእውቀት ሞዴሎች እንደ የሂሳብ ግራፎች ሊወሰዱ ይችላሉ። በእነዚህ ግራፎች ውስጥ ከፍተኛ መጠን ያለው ትይዩነት አለ። በግራፎች ውስጥ ትይዩነትን ለመጠቀም የተነደፈ ትይዩ ፕሮሰሰር በትንሽ ባች ላይ አይመሰረትም እና የሚፈለገውን የአካባቢ ማከማቻ መጠን በእጅጉ ሊቀንስ ይችላል።

አሁን ያሉት የምርምር ውጤቶች እንደሚያሳዩት እነዚህ ሁሉ ዘዴዎች የነርቭ መረቦችን አፈፃፀም በእጅጉ ሊያሻሽሉ ይችላሉ. ዘመናዊ ጂፒዩዎች እና ሲፒዩዎች የቦርድ ማህደረ ትውስታ በጣም የተገደበ ሲሆን በአጠቃላይ ጥቂት ሜጋባይት ብቻ ነው። በዛሬው ሲፒዩዎች እና ጂፒዩዎች ላይ ጉልህ የሆነ የአፈጻጸም እና የውጤታማነት ማሻሻያዎችን በማቅረብ ለማሽን መማር ሚዛን ለማስታወስ እና በቺፕ ላይ ለማስላት የተነደፉ አዲስ ፕሮሰሰር አርክቴክቸር።

ጥልቅ ትምህርት ምንድን ነው? ጥልቅ ትምህርት) ? መጋቢት 3 ቀን 2016 ዓ.ም

በአሁኑ ጊዜ ስለ ፋሽን ጥልቅ ትምህርት ቴክኖሎጂዎች ከሰማይ የወረደ መና ያወራሉ። ግን ተናጋሪዎቹ በትክክል ምን እንደሆነ ተረድተዋል? ነገር ግን ይህ ጽንሰ-ሐሳብ ምንም ዓይነት መደበኛ ትርጉም የለውም, እና አጠቃላይ የቴክኖሎጂ ቁልልን ያጣምራል. በዚህ ልኡክ ጽሁፍ ውስጥ በተቻለ መጠን ተወዳጅነት እና በመሠረቱ ከዚህ ቃል በስተጀርባ ያለውን, ለምን በጣም ተወዳጅ እንደሆነ እና እነዚህ ቴክኖሎጂዎች ምን እንደሚሰጡን ማብራራት እፈልጋለሁ.

ባጭሩ፣ ይህ አዲስ የተቀረጸ ቃል (ጥልቅ ትምህርት) ይበልጥ ውስብስብ እና ጥልቅ የሆነ ረቂቅ (ውክልና) ከአንዳንድ ቀላል ማጠቃለያዎች እንዴት መሰብሰብ እንደሚቻል ነው። ምንም እንኳን በጣም ቀላል የሆኑ ማጠቃለያዎች እንኳን በአንድ ሰው ሳይሆን በኮምፒዩተር መገጣጠም አለባቸው ።. እነዚያ። ከአሁን በኋላ መማር ብቻ ሳይሆን ስለ ሜታ-ትምህርት ነው። በምሳሌያዊ አነጋገር ኮምፒዩተሩ ራሱ እንዴት በተሻለ ሁኔታ መማር እንዳለበት መማር አለበት። እና በእውነቱ, ይህ "ጥልቅ" የሚለው ቃል የሚያመለክተው በትክክል ነው. ይህ ቃል ሁልጊዜ ማለት ይቻላል ከአንድ በላይ የተደበቀ ሽፋን በሚጠቀሙ ሰው ሰራሽ ነርቭ ኔትወርኮች ላይ የሚተገበር ነው፣ ስለዚህ በመደበኛነት “ጥልቅ” ማለት ጥልቅ የነርቭ አውታረ መረብ አርክቴክቸር ማለት ነው።

እዚህ በልማት ስላይድ ውስጥ ጥልቅ ትምህርት ከተራ ትምህርት ምን ያህል እንደሚለይ በግልፅ ማየት ይችላሉ። እደግመዋለሁ፣ ስለ ጥልቅ ትምህርት ልዩ የሆነው ማሽኑ ባህሪያቱን ማግኘቱ ነው።(አንድን የነገሮችን ክፍል ከሌላው ለመለየት በጣም ቀላል የሆነ የአንድ ነገር ቁልፍ ባህሪዎች) እና አወቃቀሮች እነዚህ ምልክቶች በተዋረድ፡ ቀለል ያሉ ወደ ውስብስብ ወደሆኑ ይጣመራሉ።. ከዚህ በታች ይህንን በምሳሌ እንመለከታለን.

የምስል ማወቂያ ችግርን በምሳሌ እንመልከት፡ እንዴት እንደነበረ - አንድ ትልቅ (1024×768 - ወደ 800,000 የቁጥር እሴት) ምስል ወደ መደበኛው የነርቭ አውታረ መረብ በአንድ ንብርብር ሞላን እና ኮምፒውተሩ በቀስታ ሲሞት ተመለከትን፣ በእጥረት ታፍነን የማስታወስ ችሎታ እና የትኞቹ ፒክሰሎች ለመለየት አስፈላጊ እንደሆኑ እና የትኞቹ እንደሌሉ መረዳት አለመቻል. የዚህን ዘዴ ውጤታማነት አለመጥቀስ. የእንደዚህ ዓይነቱ መደበኛ (ጥልቅ ያልሆነ) የነርቭ አውታረ መረብ ሥነ ሕንፃ እዚህ አለ።

ከዚያም አንጎል ባህሪያትን እንዴት እንደሚለይ ያዳምጡ ነበር, እና ይህንንም በጥብቅ በተዋረድ ነው, እና ከሥዕሎቹ ውስጥ ተዋረዳዊ መዋቅር ለማውጣት ወሰኑ. ይህንን ለማድረግ በነርቭ አውታረመረብ ላይ ተጨማሪ የተደበቁ ንብርብሮችን (በግቤት እና በውጤቱ መካከል ያሉ ንብርብሮች ፣ በግምት ፣ የመረጃ ሽግግር ደረጃዎች) ማከል አስፈላጊ ነበር። ምንም እንኳን የነርቭ ሴሎች ሲፈጠሩ ወዲያውኑ ይህን ለማድረግ ቢወስኑም, አንድ የተደበቀ ንብርብር ብቻ ያላቸው አውታረ መረቦች በተሳካ ሁኔታ ሰልጥነዋል. እነዚያ። በመርህ ደረጃ፣ ጥልቅ ኔትወርኮች ከመደበኛው እስከሆነ ድረስ ኖረዋል፣ እኛ ብቻ ማሠልጠን አልቻልንም። ምን ተለወጠ?

እ.ኤ.አ. በ 2006 ፣ በርካታ ገለልተኛ ተመራማሪዎች ይህንን ችግር በአንድ ጊዜ ፈቱት (ከዚህ በተጨማሪ የሃርድዌር ችሎታዎች ቀድሞውኑ በበቂ ሁኔታ አዳብረዋል ፣ በጣም ኃይለኛ የቪዲዮ ካርዶች ታዩ) ። እነዚህ ተመራማሪዎች፡- ጂኦፍሪ ሂንተን (እና የስራ ባልደረባው ሩስላን ሳላኩቲዲኖቭ) እያንዳንዱን የነርቭ መረብ ሽፋን በተገደበ ቦልትማን ማሽን (ለእነዚህ ቃላት ይቅር በለኝ...) የቅድመ-ስልጠና ቴክኒካል ዮሹዋይ ቤንጂዮ ከካስኬድ አውቶኢንኮደሮች ጋር። የመጀመሪያዎቹ ሁለቱ ወዲያውኑ ጎግል እና ፌስቡክ እንደ ቅደም ተከተላቸው ተቀጠሩ። ሁለት ትምህርቶች እዚህ አሉ-አንድ- ሂንቶንሌላው - ሊያኩናጥልቅ ትምህርት ምን እንደሆነ የሚናገሩበት። ስለዚህ ጉዳይ ከነሱ የተሻለ ማንም ሊነግርህ አይችልም። ሌላ አሪፍ ንግግርሽሚዱበር ስለ ጥልቅ ትምህርት እድገት ፣ እንዲሁም የዚህ ሳይንስ ምሰሶዎች አንዱ። እና ሂንተን በነርቭ ሴሎች ላይ ጥሩ ኮርስ አለው።

ጥልቀት ያላቸው ምን አቅም አላቸው? የነርቭ አውታረ መረቦችአሁን? ዕቃዎችን መለየት እና መግለጽ ይችላሉ, አንድ ሰው ምን እንደሆነ "ተረድተዋል" ሊል ይችላል. ስለ ነው።ትርጉሞችን ስለማወቅ.

ካሜራው የሚያየውን የእውነተኛ ጊዜ እውቅና ይህንን ቪዲዮ ብቻ ይመልከቱ።

ቀደም ብዬ እንደተናገርኩት, ጥልቅ ትምህርት ቴክኖሎጂዎች የቴክኖሎጂ እና መፍትሄዎች ቡድን ናቸው. ከላይ ባለው አንቀጽ ላይ ብዙዎቹን አስቀድሜ ዘርዝሬያቸዋለሁ፣ ሌላው ምሳሌ ይህ ነው። ተደጋጋሚ አውታረ መረቦችአውታረ መረቡ የሚያየውን ለመግለጽ ከላይ ባለው ቪዲዮ ውስጥ በትክክል ጥቅም ላይ የሚውሉት ናቸው። ነገር ግን የዚህ የቴክኖሎጂ ክፍል በጣም ታዋቂ ተወካይ አሁንም የሊያኩን ኮንቮሉሽን የነርቭ አውታሮች ናቸው. እነሱ የተገነቡት ከድመት አንጎል የእይታ ኮርቴክስ አሠራር መርሆዎች ጋር በማነፃፀር ነው ፣ በዚህ ውስጥ ቀለል ያሉ ህዋሶች በተለያዩ ማዕዘኖች ላይ ለቀጥታ መስመሮች ምላሽ የሚሰጡ እና ውስብስብ ህዋሶች ተገኝተዋል - ምላሽው ከማንቃት ጋር የተቆራኘ ነው ። የአንድ የተወሰነ ቀላል ሴሎች ስብስብ. ምንም እንኳን, እውነቱን ለመናገር, ላኩን እራሱ በባዮሎጂ ላይ ያተኮረ አልነበረም, እሱ አንድ የተወሰነ ችግር እየፈታ ነበር (የእሱን ንግግሮች ይመልከቱ), እና ከዚያ ሁሉም ነገር ተገናኝቷል.

በቀላሉ ለማስቀመጥ፣ ኮንቮሉሽን ኔትወርኮች የመማሪያ ዋናው መዋቅራዊ አካል የነርቭ ሴሎች ቡድን (በአብዛኛው 3x3፣ 10x10 ካሬ ወዘተ) የሆነባቸው እንጂ አንድ ብቻ ሳይሆን አንድ ብቻ አይደለም። እና በእያንዳንዱ የአውታረ መረብ ደረጃ በደርዘን የሚቆጠሩ እንደዚህ ያሉ ቡድኖች የሰለጠኑ ናቸው። አውታረ መረቡ ስለ ምስሉ መረጃን ከፍ የሚያደርጉ የነርቭ ሴሎች ውህዶችን ያገኛል። በመጀመሪያ ደረጃ, አውታረ መረቡ በጣም መሠረታዊ የሆኑትን, መዋቅራዊ ቀለል ያሉ የሥዕሉን ክፍሎች ያወጣል - አንድ ሰው ማለት ይቻላል, ክፍሎችን መገንባት: ድንበሮች, ጭረቶች, ክፍሎች, ንፅፅሮች. ከፍ ያለ ቀድሞውንም የተረጋጋ የአንደኛ ደረጃ ንጥረ ነገሮች ጥምረት እና የመሳሰሉት ናቸው። በድጋሚ አፅንዖት መስጠት እፈልጋለሁ ዋና ባህሪጥልቅ ትምህርት: አውታረ መረቦች እራሳቸው እነዚህን ንጥረ ነገሮች ይመሰርታሉ እና ከመካከላቸው የትኛው የበለጠ አስፈላጊ እና የትኛው እንዳልሆነ ይወስናሉ. ይህ አስፈላጊ ነው, ምክንያቱም በማሽን መማሪያ መስክ, ባህሪያትን መፍጠር ቁልፍ ነው እና አሁን ኮምፒዩተሩ ራሱ ባህሪያትን ለመፍጠር እና ለመምረጥ ሲማር ወደ መድረክ እንሄዳለን. ማሽኑ ራሱ የመረጃ ባህሪያት ተዋረድን ይለያል።

ስለዚህ, በመማር ሂደት (በመቶዎች የሚቆጠሩ ስዕሎችን በመመልከት), የኮንቮሉሽን አውታር የተለያየ ጥልቀት ደረጃዎች ባህሪያት ተዋረድ ይመሰርታል. በመጀመሪያ ደረጃ, ለምሳሌ, እንደነዚህ ያሉትን ንጥረ ነገሮች (ንፅፅርን, አንግል, ድንበር, ወዘተ የሚያንፀባርቅ) ማጉላት ይችላሉ.


በሁለተኛው ደረጃ, ይህ ቀድሞውኑ ከመጀመሪያው ደረጃ ንጥረ ነገሮች ንጥረ ነገር ይሆናል. በሦስተኛው ላይ - ከሁለተኛው. ይህ ስዕል ማሳያ ብቻ መሆኑን መረዳት አለብህ። አሁን በኢንዱስትሪ አጠቃቀም ውስጥ እንደዚህ ያሉ ኔትወርኮች ከ 10 እስከ 30 ንብርብሮች (ደረጃዎች) አላቸው.

እንደዚህ አይነት አውታር ከሰለጠነ በኋላ ለምድብ ልንጠቀምበት እንችላለን። አንዳንድ ምስሎችን እንደ ግብአት ከሰጠን፣ በመጀመሪያው ሽፋን ውስጥ ያሉ የነርቭ ሴሎች ቡድኖች በምስሉ ላይ ይሮጣሉ፣ ይህም ተዛማጅ ባለባቸው ቦታዎች ላይ በማንቃት ነው። የተወሰነ አካልየስዕል አካል. እነዚያ። ይህ አውታረመረብ ምስሉን ወደ ክፍሎች ይከፋፍላል - በመጀመሪያ ወደ መስመሮች ፣ ስትሮክ ፣ የዝንባሌ ማዕዘኖች ፣ ከዚያም የበለጠ ውስብስብ ክፍሎች ፣ እና በመጨረሻም የዚህ ዓይነቱ የመሠረታዊ አካላት ጥምረት ስዕል ፊት ነው ወደሚል መደምደሚያ ይደርሳል ።

ስለ ኮንቮሉሽን አውታረ መረቦች ተጨማሪ -

(ማኒንግ ህትመቶች)

ይህ ጽሑፍ በጥልቅ ትምህርት ከፍተኛ ልምድ ላላቸው ሰዎች የታሰበ ነው (ለምሳሌ የዚህን መጽሐፍ ምዕራፍ 1-8 ቀድሞ ላነበቡ)። ከፍተኛ መጠን ያለው እውቀት ይገመታል.

ጥልቅ ትምህርት፡ ጂኦሜትሪክ እይታ

ስለ ጥልቅ ትምህርት በጣም የሚያስደንቀው ነገር ምን ያህል ቀላል እንደሆነ ነው። ከአስር አመታት በፊት፣ ቀስ በቀስ የሰለጠነ ቀላል ፓራሜትሪክ ሞዴሎችን በመጠቀም በማሽን ግንዛቤ ችግሮች ላይ የምናገኘውን አስደናቂ ውጤት ማንም ሊገምት አይችልም። አሁን እኛ የምንፈልገው ብቻ እንደሆነ ታወቀ በቂ ትልቅፓራሜትሪክ ሞዴሎች የሰለጠኑ በቂ ትልቅየናሙናዎች ብዛት. ፌይንማን በአንድ ወቅት ስለ አጽናፈ ሰማይ እንደተናገረው፡- “ ውስብስብ አይደለም, ብዙ ብቻ ነው».

በጥልቅ ትምህርት, ሁሉም ነገር ቬክተር ነው, ማለትም. ነጥብቪ የጂኦሜትሪክ ቦታ. የአምሳያው ግቤት ውሂብ (ይህ ጽሑፍ, ምስሎች, ወዘተ ሊሆን ይችላል) እና ዒላማዎቹ በመጀመሪያ "በቬክተር" የተቀመጡ ናቸው, ማለትም ወደ አንዳንድ የመነሻ ቬክተር ቦታ እንደ ግብአት እና የታለመ የቬክተር ቦታ እንደ ውፅዓት ተተርጉሟል. በጥልቅ የመማሪያ ሞዴል ውስጥ ያለው እያንዳንዱ ሽፋን በእሱ ውስጥ በሚያልፈው መረጃ ላይ አንድ ቀላል የጂኦሜትሪክ ለውጥ ያከናውናል. አንድ ላይ, የሞዴል ንብርብሮች ሰንሰለት አንድ በጣም ውስብስብ የሆነ የጂኦሜትሪክ ለውጥ ይፈጥራል, ወደ በርካታ ቀላል ክፍሎች ይከፋፈላል. ይህ ውስብስብ ለውጥ የግቤት ውሂብ ቦታን ወደ ዒላማው ቦታ ለመለወጥ ይሞክራል, ለእያንዳንዱ ነጥብ. የትራንስፎርሜሽን መለኪያዎች የሚወሰኑት በንብርብር ክብደቶች ነው, ይህም ሞዴሉ በአሁኑ ጊዜ ምን ያህል በጥሩ ሁኔታ እየሰራ እንደሆነ ላይ በመመስረት በየጊዜው ይሻሻላል. ቁልፍ ባህሪየጂኦሜትሪክ ለውጥ - ምን መሆን እንዳለበት ሊለያይ የሚችል, ማለትም, እኛ በኩል የእሱን መለኪያዎች ማወቅ መቻል አለብን ቀስ በቀስ መውረድ. በማስተዋል፣ ይህ ማለት የጂኦሜትሪክ ሞርፒንግ ለስላሳ እና ቀጣይነት ያለው መሆን አለበት - አስፈላጊ እገዳ።

ይህንን ውስብስብ የጂኦሜትሪክ ለውጥ ወደ ግብአት መረጃ የመተግበር አጠቃላይ ሂደት አንድ የወረቀት ኳስ ለመንቀል የሚሞክርን ሰው በማሳየት በ3-ል ሊታዩ ይችላሉ፡ የተጨማደደው የወረቀት ኳስ ሞዴሉ አብሮ መስራት የሚጀምርበት የተለያዩ የግብአት መረጃዎች ነው። የወረቀት ኳስ ያለው ሰው እያንዳንዱ እንቅስቃሴ በአንድ ንብርብር የሚከናወን ቀላል የጂኦሜትሪክ ለውጥ ነው። የመግለጫ ምልክቶች ሙሉ ቅደም ተከተል የጠቅላላው ሞዴል ውስብስብ ለውጥ ነው። ጥልቅ የመማሪያ ሞዴሎች ውስብስብ የሆነውን የባለብዙ ዳይሜንሽን መረጃን ለመፍታት የሂሳብ ማሽኖች ናቸው።

ያ የጥልቅ ትምህርት አስማት ነው፡ እሴቱን ወደ ቬክተር፣ ወደ ጂኦሜትሪክ ክፍተቶች፣ እና ከዚያም ቀስ በቀስ ውስብስብ የጂኦሜትሪክ ለውጦችን መማር አንድን ቦታ ወደ ሌላ ቦታ የሚቀይር። በዋናው መረጃ ውስጥ የሚገኙትን ሙሉ ግንኙነቶች ለማስተላለፍ የሚያስፈልግ በቂ ትልቅ መጠን ያለው ቦታ ብቻ ነው የሚያስፈልገው።

የጥልቅ ትምህርት ገደቦች

ይህንን ቀላል ስልት በመጠቀም የሚፈቱት የችግሮች ብዛት ማለቂያ የለውም። ሆኖም፣ ብዙዎቹ አሁንም ከአሁኑ የጥልቅ ትምህርት ቴክኒኮች ሊደረስባቸው የማይችሉ ናቸው - ምንም እንኳን በእጅ የተብራሩ እጅግ በጣም ብዙ መረጃዎች ቢኖሩም። ለምሳሌ ያህል በመቶ ሺዎች የሚቆጠሩ - እንዲያውም በሚሊዮኖች የሚቆጠሩ - የእንግሊዝኛ ቋንቋ የተግባር መግለጫዎችን መሰብሰብ ይችላሉ እንበል። ሶፍትዌር, በምርት አስተዳዳሪዎች የተፃፈ, እንዲሁም እነዚህን መስፈርቶች ለማሟላት በምህንድስና ቡድኖች የተገነባ ተዛማጅ የማጣቀሻ አመት. በዚህ ውሂብ እንኳን፣ የምርት መግለጫን በቀላሉ ለማንበብ እና ተዛማጅ ኮድ ቤዝ ለመፍጠር ጥልቅ የመማሪያ ሞዴልን ማሰልጠን አይችሉም። ይህ ከብዙ ምሳሌዎች አንዱ ብቻ ነው። በአጠቃላይ ማመዛዘን የሚፈልግ ማንኛውም ነገር - እንደ ፕሮግራም አወጣጥ ወይም ሳይንሳዊ ዘዴን መተግበር፣ የረጅም ጊዜ እቅድ ማውጣት፣ አልጎሪዝም-ስታይል ዳታ ማጭበርበር - ምንም ያህል ውሂብ ብትጥልባቸው ከጥልቅ ትምህርት ሞዴሎች አቅም በላይ ነው። የመደርደር ስልተ-ቀመርን ለማከናወን የነርቭ ኔትወርክን ማሰልጠን እንኳን በጣም ከባድ ስራ ነው።

ምክንያቱ የጥልቅ ትምህርት ሞዴል "ብቻ" ነው. ቀላል ፣ ተከታታይ የጂኦሜትሪክ ለውጦች ሰንሰለትአንድ የቬክተር ቦታን ወደ ሌላ የሚቀይር. ማድረግ የሚቻለው አንድን የዳታ ስብስብ X ወደ ሌላ ስብስብ Y መቀየር ሲሆን ይህም ሊማር የሚችል ቀጣይነት ያለው ከX ወደ Y መቀየር እና ሊገኝ የሚችል ከሆነ ነው. ጥቅጥቅ ያሉ ናሙናዎች ስብስብ X:Y ለውጦች እንደ የሥልጠና መረጃ። ስለዚህ የጥልቅ ትምህርት ሞዴል እንደ የፕሮግራም ዓይነት ሊቆጠር ይችላል. አብዛኞቹ ፕሮግራሞች እንደ ጥልቅ ትምህርት ሞዴሎች ሊገለጹ አይችሉም- ለአብዛኛዎቹ ተግባራት ምንም ጥልቅ የነርቭ አውታረ መረብ የለም ተስማሚ መጠን, ችግሩን የሚፈታው, ወይም ካለ, ሊሆን ይችላል የማይማርማለትም፣ ተዛማጁ የጂኦሜትሪክ ለውጥ በጣም የተወሳሰበ ሊሆን ይችላል፣ ወይም እሱን ለማሰልጠን ምንም ተስማሚ መረጃ የለም።

ያሉትን ጥልቅ የመማሪያ ቴክኒኮችን ማስፋፋት - ብዙ ንብርብሮችን መጨመር እና ተጨማሪ የስልጠና መረጃዎችን መጠቀም - ከእነዚህ ችግሮች ውስጥ ጥቂቶቹን ብቻ ሊያቃልል ይችላል። ጥልቅ መማሪያ ሞዴሎች ሊወክሉት በሚችሉት ውስጥ በጣም የተገደቡ መሆናቸው እና አብዛኛዎቹ ፕሮግራሞች እንደ ተከታታይ የጂኦሜትሪክ የዳታ ማኒፎልዲንግ መገለጽ አለመቻላቸው የበለጠ መሠረታዊ ችግርን አይፈታውም።

የአንትሮፖሞርፊዚንግ ማሽን መማሪያ ሞዴሎች ስጋት

የዘመናዊው AI በጣም እውነተኛ አደጋዎች አንዱ ጥልቅ የመማሪያ ሞዴሎች እንዴት እንደሚሠሩ በተሳሳተ መንገድ መተርጎም እና አቅማቸውን ማጋነን ነው። የሰው ልጅ አእምሮ መሰረታዊ ባህሪ “የሰው ልጅ ስነ-ልቦና ሞዴል” ነው፣ ግቦቻችንን፣ እምነቶችን እና እውቀትን በዙሪያችን ባሉ ነገሮች ላይ የማቀድ ዝንባሌያችን ነው። በድንጋይ ላይ የፈገግታ ፊት መሳል በድንገት “ደስተኛ” ያደርገናል - በአእምሮ። በጥልቅ ትምህርት ላይ ሲተገበር ይህ ማለት ለምሳሌ የሥዕሎችን የጽሑፍ መግለጫዎች ለመፍጠር የበለጠ ወይም ያነሰ ሞዴል በተሳካ ሁኔታ ማሰልጠን ከቻልን ሞዴሉ የምስሎቹን ይዘት “ይገነዘባል” ብለን እናስባለን ። የተፈጠሩት መግለጫዎች. በስልጠናው መረጃ ላይ ከቀረቡት የምስሎች ስብስብ ትንሽ ልዩነት የተነሳ ሞዴሉ ፍጹም የማይረባ መግለጫዎችን ማመንጨት ሲጀምር በጣም እንገረማለን።

በተለይም ይህ በተለይ በተሳሳተ መንገድ ለመመደብ የተመረጡ የጥልቅ መማሪያ አውታር ግብዓት ዳታ ናሙናዎች በሆኑት “የተቃዋሚ ምሳሌዎች” ውስጥ በግልጽ ይታያል። በመግቢያው ዳታ ቦታ ላይ የግራዲየንት አቀበት ማድረግ እንደምትችል ታውቃለህ ለምሳሌ የአንድ የተወሰነ convolutional neural network ማጣሪያን ከፍ የሚያደርጉ ናሙናዎችን ለማመንጨት - ይህ በምዕራፍ 5 ላይ የጠቀስነው የእይታ ቴክኒክ መሰረት ነው (ማስታወሻ፡- መፃህፍት "ጥልቅ ትምህርት በፓይዘን")፣ ልክ እንደ ጥልቅ ህልም አልጎሪዝም ከምዕራፍ 8። በተመሳሳይ መንገድ፣ ቀስ በቀስ ወደ ላይ በመሄድ፣ ለተወሰነ ክፍል የክፍል ትንበያን ከፍ ለማድረግ ምስሉን በትንሹ መቀየር ይችላሉ። የፓንዳ ፎቶ አንስተን "ጊቦን" ቅልመት ከጨመርን የነርቭ ኔትወርክ ያንን ፓንዳ እንደ ጊቦን እንዲመድበው ማስገደድ እንችላለን። ይህ የሚያሳየው የእነዚህን ሞዴሎች ደካማነት እና በሚመራው የግብአት-ወደ-ውፅዓት ለውጥ እና በራሳችን የሰው ግንዛቤ መካከል ያለውን ጥልቅ ልዩነት ነው።

በአጠቃላይ ጥልቅ የመማሪያ ሞዴሎች ስለ ግቤት መረጃ ምንም ግንዛቤ የላቸውም ቢያንስ፣ በሰው አስተሳሰብ አይደለም። ስለ ምስሎች፣ ድምፆች፣ ቋንቋዎች የራሳችን ግንዛቤ እንደ ሰዎች - እንደ ቁሳዊ ምድራዊ ፍጡራን ባለን የስሜት ህዋሳት ልምድ ላይ የተመሰረተ ነው። የማሽን መማሪያ ሞዴሎች እንደዚህ አይነት ልምድ የላቸውም እና ስለዚህ የእኛን የግብአት መረጃ በማንኛውም ሰው በሚመስል መልኩ "መረዳት" አይችሉም። ለሞዴሎቻችን ብዙ ቁጥር ያላቸውን የስልጠና ምሳሌዎችን በማብራራት ለዚያ የተለየ የምሳሌዎች ስብስብ መረጃን ወደ ሰው ጽንሰ-ሀሳቦች የሚቀንስ የጂኦሜትሪክ ለውጥ እንዲማሩ እናስገድዳቸዋለን ፣ ግን ይህ ለውጥ ቀለል ያለ ንድፍ ነው ። ኦሪጅናል ሞዴልአእምሯችን እንደ ሰውነት ወኪሎች ካለን ልምድ እንደዳበረ በመስታወት ውስጥ እንደ ደካማ ነጸብራቅ ነው።

የማሽን መማሪያ እንደመሆንዎ መጠን ይህንን ሁልጊዜም ልብ ይበሉ እና የነርቭ ኔትወርኮች የሚያከናውኑትን ተግባር ይገነዘባሉ ብለው በማመን ወጥመድ ውስጥ አይግቡ - አይረዱም, ቢያንስ ለእኛ ትርጉም በሚሰጥ መንገድ አይደለም. እኛ ልናሠልጥናቸው ከምንፈልገው በተለየ፣ በጣም ልዩ በሆነ ተግባር ላይ የሰለጠኑ ናቸው፡ የግብአት ትምህርት ንድፎችን በቀላሉ ወደ ኢላማ የመማር ዘዴዎች መለወጥ፣ ነጥብ ወደ ነጥብ። ከስልጠናው መረጃ የተለየ ማንኛውንም ነገር አሳያቸው እና በጣም በማይረቡ መንገዶች ይሰበራሉ።

የአካባቢያዊ አጠቃላይነት እና ከፍተኛ አጠቃላይነት

ጥልቅ የመማሪያ ሞዴሎች በሚያደርጉት ቀጥተኛ የጂኦሜትሪክ ሞርፒንግ ከግብአት ወደ ውፅዓት እና የሰው ልጅ በሚያስብበት እና በሚማርበት መንገድ መካከል መሠረታዊ ልዩነቶች ያሉ ይመስላሉ። ሰዎች እራሳቸውን የሚማሩት ከአካል ልምዳቸው ብቻ ሳይሆን የስልጠና ናሙናዎችን በማዘጋጀት አይደለም። ከመማር ሂደቶች ልዩነቶች በተጨማሪ, በመሠረታዊ ጽንሰ-ሐሳቦች ተፈጥሮ ውስጥ መሠረታዊ ልዩነቶች አሉ.

ሰዎች ፈጣን ማነቃቂያን ወደ ፈጣን ምላሽ ከመተርጎም የበለጠ ችሎታ አላቸው፣ እንደ የነርቭ አውታረ መረብ ወይም ምናልባትም ነፍሳት። ሰዎች በአእምሯቸው ውስጥ ውስብስብ ናቸው ፣ ረቂቅ ሞዴሎች ወቅታዊ ሁኔታ, እራሳቸው, ሌሎች ሰዎች, እና እነዚህን ሞዴሎች በመጠቀም የተለያዩ ሊሆኑ የሚችሉ የወደፊት ሁኔታዎችን ለመተንበይ እና የረጅም ጊዜ እቅድ ለማውጣት ይችላሉ. የታወቁ ፅንሰ ሀሳቦችን በማጣመር ከዚህ በፊት የማያውቁትን ነገር መገመት ይችላሉ - ለምሳሌ ፈረስ በጂንስ ውስጥ መሳል ፣ ወይም ሎተሪ ቢያሸንፉ ምን እንደሚያደርጉ መሳል። በግምታዊ አስተሳሰብ የማሰብ ችሎታ፣ በቀጥታ ካጋጠመን ነገር በላይ የአዕምሮ ቦታችንን ሞዴል የማስፋት ችሎታ፣ ማለትም፣ የማድረግ ችሎታ ማጠቃለያዎችእና ማመዛዘን, ምናልባትም የሰው ልጅ የማወቅ ባህሪይ. ይህንን “የመጨረሻ አጠቃላይ” ብዬ እጠራለሁ፡ ትንሽ ወይም ምንም መረጃ በመጠቀም ከአዲስ፣ ከዚህ በፊት ልምድ ከሌላቸው ሁኔታዎች ጋር የመላመድ ችሎታ።

ይህ እኔ "አካባቢያዊ አጠቃላይ" ብዬ የምጠራው ጥልቅ የመማሪያ ኔትወርኮች ከሚሰሩት ጋር በእጅጉ የሚቃረን ነው፡ የግብአት መረጃን ወደ ውፅዓት መረጃ መቀየር በፍጥነት ትርጉም መስጠት ያቆማል አዲሱ የግብአት መረጃ በስልጠና ወቅት ካጋጠመው ነገር እንኳን ትንሽ የተለየ ነው። ለምሳሌ በጨረቃ ላይ ያርፋል ተብሎ ለሚታሰበው ሮኬት ተገቢውን የማስነሻ መለኪያዎች የመማር ችግርን አስቡበት። ለዚህ ተግባር የነርቭ ኔትወርክን ከተጠቀሙ፣ ክትትል የሚደረግበት ወይም ማጠናከሪያ የሰለጠነ፣ በሺዎች ወይም በሚሊዮኖች የሚቆጠሩ የበረራ መስመሮችን መስጠት ያስፈልግዎታል ፣ ማለትም ፣ ማምረት ያስፈልግዎታል ጥቅጥቅ ያሉ ምሳሌዎችከሚመጡት እሴቶች ቦታ ወደ የወጪ እሴቶች ቦታ እንዴት በአስተማማኝ ሁኔታ መለወጥ እንደሚቻል ለመማር በሚመጡት እሴቶች ቦታ። በአንጻሩ ሰዎች ለመፍጠር የአብስትራክት ኃይልን መጠቀም ይችላሉ። አካላዊ ሞዴሎች- ሮኬት ሳይንስ - እና በጥቂት ሙከራዎች ውስጥ ሮኬቱን ወደ ጨረቃ የሚወስደው ትክክለኛ መፍትሄ ያግኙ። በተመሳሳይ ሁኔታ የሰውን አካል ለመቆጣጠር የነርቭ ኔትወርክ ከፈጠሩ እና በመኪና ሳይገጭ በደህና በከተማ ውስጥ እንዴት መሄድ እንዳለበት እንዲማር ከፈለጉ አውታረ መረቡ ከዚህ በፊት በተለያዩ ሁኔታዎች በሺዎች ለሚቆጠሩ ጊዜያት መሞት ነበረበት። መኪኖች አደገኛ ናቸው እና እነሱን ለማስወገድ ተገቢ ባህሪ እንዳላቸው ይደመድማል። ወደ አዲስ ከተማ ከተዛወረ አውታረ መረቡ ብዙ የሚያውቀውን መማር ነበረበት። በሌላ በኩል ሰዎች ከመቼውም ጊዜ ሳይሞቱ ደህንነቱ የተጠበቀ ባህሪን መማር ችለዋል - እንደገና ፣ ግምታዊ ሁኔታዎችን ረቂቅ የማስመሰል ኃይል ምስጋና ይግባው።

ስለዚህ፣ በማሽን ግንዛቤ ውስጥ እድገታችን ቢመጣም፣ እስካሁን ድረስ ከሰው-ደረጃ AI በጣም ርቀናል፡ ሞዴሎቻችን ማከናወን የሚችሉት ብቻ ነው። አካባቢያዊ አጠቃላይ, ካለፈው መረጃ ጋር በጣም ቅርብ መሆን ካለባቸው አዳዲስ ሁኔታዎች ጋር መላመድ, የሰው አእምሮ በሚችልበት ጊዜ እጅግ በጣም አጠቃላይ, በፍጥነት ሙሉ ለሙሉ አዲስ ሁኔታዎችን ማላመድ ወይም ለወደፊቱ ሩቅ እቅድ ማውጣት.

መደምደሚያዎች

ማስታወስ ያለብዎት ነገር ይኸውና፡ እስካሁን ባለው የጥልቅ ትምህርት ብቸኛው እውነተኛ ስኬት የX ቦታን ወደ Y ቦታ የመተርጎም ችሎታ ቀጣይነት ያለው የጂኦሜትሪክ ለውጥ በመጠቀም፣ ከፍተኛ መጠን ያለው የሰው የተብራራ መረጃ ነው። ይህንን በደንብ ማድረግ ለጠቅላላው ኢንዱስትሪ አብዮታዊ እድገትን ይወክላል ፣ ግን በሰው ደረጃ AI አሁንም በጣም ሩቅ ነው።

ከእነዚህ ውሱንነቶች ጥቂቶቹን ለማስወገድ እና ከሰው አንጎል ጋር መወዳደር ለመጀመር ከቀጥታ ግብአት ወደ ውፅዓት መለወጥ እና ወደ መንቀሳቀስ መሄድ አለብን። ማመዛዘንእና ማጠቃለያዎች. የኮምፒዩተር ፕሮግራሞች የተለያዩ ሁኔታዎችን እና ጽንሰ-ሀሳቦችን በአብስትራክት ለመቅረጽ ተስማሚ መሠረት ሊሆኑ ይችላሉ። ቀደም ብለን ተናግረናል (ማስታወሻ፡ ጥልቅ ትምህርት ከ Python ጋር) የማሽን መማሪያ ሞዴሎች "የሚማሩ ፕሮግራሞች" ተብለው ሊገለጹ ይችላሉ; በአሁኑ ጊዜ ሁሉንም ሊሆኑ የሚችሉ ፕሮግራሞችን ጠባብ እና ልዩ ንዑስ ስብስብ ብቻ ማሰልጠን እንችላለን። ግን እያንዳንዱን ፕሮግራም በሞዱል እና በድግግሞሽ ማሰልጠን ብንችልስ? እዚያ መድረስ የምንችለው እንዴት እንደሆነ እስቲ እንመልከት።

የጥልቅ ትምህርት የወደፊት

ስለ ጥልቅ የመማሪያ አውታሮች እንዴት እንደሚሠሩ፣ ውስንነታቸው እና አሁን ስላለው ሁኔታ የምናውቀውን ከግምት ውስጥ በማስገባት ሳይንሳዊ ምርምርበመካከለኛ ጊዜ ምን እንደሚሆን መተንበይ እንችላለን? በጉዳዩ ላይ አንዳንድ የግል ሀሳቦቼ እዚህ አሉ። ለግምገማ የሚሆን ክሪስታል ኳስ እንደሌለኝ አስታውስ፣ ስለዚህ የምጠብቀው አብዛኛው ነገር ላይሳካ ይችላል። ይህ ሙሉ ግምት ነው። እነዚህን ትንበያዎች የማካፍለው ወደፊት ሙሉ በሙሉ እውን ይሆናሉ ብዬ ስለምጠብቅ ሳይሆን ለአሁኑ ጊዜ የሚስቡ እና ተግባራዊ ስለሚሆኑ ነው።

በከፍተኛ ደረጃ፣ ተስፋ ሰጭ የምቆጥራቸው ዋና ዋና ቦታዎች እዚህ አሉ፡-

• ሞዴሎች ይቀርባሉ የኮምፒውተር ፕሮግራሞችአጠቃላይ ዓላማ ፣ አሁን ካሉን ሊለያዩ ከሚችሉ ንጣፎች በበለጠ የበለፀጉ ፕሪሚቲቭ አናት ላይ - እኛ የምናገኘው እንደዚህ ነው ። ማመዛዘንእና ማጠቃለያዎች, አለመኖሩ የአሁኑ ሞዴሎች መሠረታዊ ድክመት ነው.
• ይህንን ተግባራዊ የሚያደርጉ አዳዲስ የትምህርት ዓይነቶች ይወጣሉ - እና ሞዴሎች በቀላሉ ከሚለያዩ ለውጦች እንዲርቁ ያስችላቸዋል።
• ሞዴሎች አነስተኛ የገንቢ ግብአት ያስፈልጋቸዋል - ያለማቋረጥ ማዞሪያዎችን ማዞር የእርስዎ ስራ መሆን የለበትም።
• የተማሩ ባህሪያትን እና አርክቴክቸርን የበለጠ፣ ስልታዊ በሆነ መልኩ እንደገና ጥቅም ላይ ማዋል ይሆናል፤ በድጋሚ ጥቅም ላይ በሚውሉ እና ሞጁል ልማዶች ላይ የተመሰረቱ የሜታ-ትምህርት ሥርዓቶች።

በተጨማሪም፣ እነዚህ አስተያየቶች በተለይ የማሽን መማር መሰረት በሆነው ክትትል ለሚደረግ ትምህርት የማይተገበሩ መሆናቸውን ልብ ይበሉ—እነሱም ቁጥጥር የማይደረግበትን ትምህርት፣ ክትትል የሚደረግበት ትምህርት እና የማጠናከሪያ ትምህርትን ጨምሮ በማንኛውም የማሽን ትምህርት ላይም ተግባራዊ ይሆናሉ። መለያዎችዎ ከየት እንደመጡ ወይም የመማሪያ ዑደትዎ ምን እንደሚመስል በመሠረቱ ምንም ችግር የለውም። እነዚህ የተለያዩ የማሽን መማሪያ ቅርንጫፎች በቀላሉ የአንድ ዓይነት ግንባታ የተለያዩ ገጽታዎች ናቸው።

ስለዚህ, ቀጥል.

ሞዴሎች እንደ ፕሮግራሞች

ቀደም ሲል እንደገለጽነው በማሽን መማሪያው መስክ የሚጠበቀው አስፈላጊ የለውጥ እድገት ብቻውን ከሚሰሩ ሞዴሎች መራቅ ነው. ስርዓተ-ጥለት ማወቂያእና የሚችል ብቻ አካባቢያዊ አጠቃላይ, ለሚችሉ ሞዴሎች ማጠቃለያዎችእና ማመዛዘንሊደርስ ይችላል የመጨረሻው አጠቃላይ. ሁሉም የአሁን AI ፕሮግራሞች ከመሠረታዊ አመክንዮ ጋር በጠንካራ ኮድ የተቀመጡ ናቸው በሰው ፕሮግራም አውጪዎች ለምሳሌ ፣ በፍለጋ ስልተ ቀመሮች ፣ በግራፍ ማጭበርበር ፣ በመደበኛ ሎጂክ ላይ የተመሰረቱ ፕሮግራሞች። በ DeepMind's AlphaGo ፕሮግራም ለምሳሌ አብዛኛው በስክሪኑ ላይ ያለው "ኢንተለጀንስ" የተነደፈ እና በጠንካራ ኮድ የተቀዳው በባለሙያ ፕሮግራመሮች ነው (ለምሳሌ በሞንቴ ካርሎ ዛፍ ፍለጋ)። ከአዲስ መረጃ መማር የሚከሰተው በልዩ ንዑስ ሞጁሎች - የእሴት ኔትወርኮች እና የፖሊሲ አውታሮች ውስጥ ብቻ ነው። ነገር ግን ወደፊት, እንዲህ ያሉ AI ስርዓቶች ያለ ሰው ጣልቃ ገብነት ሙሉ በሙሉ ሊሰለጥኑ ይችላሉ.

ይህንን እንዴት ማግኘት ይቻላል? በደንብ እንውሰድ ታዋቂ ዓይነትአውታረ መረቦች: RNN. በአስፈላጊ ሁኔታ፣ RNNs ከመጋቢ የነርቭ ኔትወርኮች ትንሽ ያነሱ ገደቦች አሏቸው። ይህ የሆነበት ምክንያት RNNs ከቀላል የጂኦሜትሪክ ትራንስፎርሜሽን ጥቂት የሚበልጡ በመሆናቸው፡ የጂኦሜትሪክ ትራንስፎርሜሽን ናቸው። ያለማቋረጥ በ loop ውስጥ ይከናወናል. የ loop ጊዜ በገንቢው ተገልጿል፡ እሱ አብሮ የተሰራ የአውታረ መረብ ግምት ነው። በተፈጥሮ፣ RNNs አሁንም ሊወክሉት በሚችሉት ነገር ላይ የተገደቡ ናቸው፣ በዋነኝነት ምክንያቱም እያንዳንዱ የሚወስዱት እርምጃ አሁንም ሊለያይ የሚችል የጂኦሜትሪክ ለውጥ ስለሆነ እና በተከታታይ ጂኦሜትሪክ ቦታ (ስቴት ቬክተሮች) ውስጥ መረጃን በደረጃ በደረጃ የሚያስተላልፉበት መንገድ። አሁን በተመሳሳይ መንገድ በፕሮግራም አወጣጥ "የሚሰፋ" የነርቭ መረቦችን አስብ ለ loops- ነገር ግን አንድ ነጠላ-ኮድ ለ loop ከተሰፋ ጂኦሜትሪክ ማህደረ ትውስታ ጋር ብቻ አይደለም ፣ ነገር ግን ሞዴሉ የማቀነባበር አቅሙን ለማስፋት የሚያስችል ትልቅ የፕሮግራም ፕሪሚቲቭ ስብስብ ፣ ለምሳሌ ቅርንጫፎች ፣ መግለጫዎች ሳለተለዋዋጮችን መፍጠር ፣ የዲስክ ማከማቻለረጅም ጊዜ ማህደረ ትውስታ፣ የመደርደር ኦፕሬተሮች፣ የላቁ የውሂብ አወቃቀሮች እንደ ዝርዝሮች፣ ግራፎች፣ ሃሽ ጠረጴዛዎች እና ሌሎችም። እንዲህ ዓይነቱ አውታረመረብ የሚወክለው የፕሮግራሞች ቦታ ሊገለጽ ከሚችለው በላይ በጣም ሰፊ ይሆናል ነባር አውታረ መረቦችጥልቅ ትምህርት ፣ እና ከእነዚህ ፕሮግራሞች ውስጥ አንዳንዶቹ የላቀ አጠቃላይ ኃይልን ሊያገኙ ይችላሉ።

በአጭሩ፣ በአንድ በኩል “ሃርድ-ኮድ አልጎሪዝም ኢንተለጀንስ” (በእጅ የተጻፈ ሶፍትዌር)፣ በሌላ በኩል ደግሞ “የሰለጠነ የጂኦሜትሪክ ዕውቀት” (ጥልቅ ትምህርት) ካለን እውነታ እንርቃለን። በምትኩ፣ አቅምን የሚያቀርቡ መደበኛ አልጎሪዝም ሞጁሎችን እንጨርሰዋለን ማመዛዘንእና ማጠቃለያዎች, እና ችሎታዎችን የሚያቀርቡ የጂኦሜትሪክ ሞጁሎች መደበኛ ያልሆነ ግንዛቤ እና ስርዓተ-ጥለት እውቅና. አጠቃላይ ስርዓቱ በጥቂት ወይም ምንም በሰዎች ጣልቃ ገብነት ይሠለጥናል.

በቅርብ ጊዜ ትልቅ እመርታ ሊያደርግ ይችላል ብዬ የማስበው ተዛማጅ የ AI አካባቢ ነው። የሶፍትዌር ውህደትበተለይም የነርቭ ሶፍትዌር ውህደት. የሶፍትዌር ውህደት በራስ ሰር ማመንጨትን ያካትታል ቀላል ፕሮግራሞች, ለማጥናት የፍለጋ ስልተ-ቀመር (ምናልባትም የዘረመል ፍለጋ, በጄኔቲክ ፕሮግራሚንግ ውስጥ) በመጠቀም ትልቅ ቦታሊሆኑ የሚችሉ ፕሮግራሞች. ፍለጋው የሚቆመው የሚፈለጉትን መስፈርቶች የሚያሟላ ፕሮግራም ሲገኝ ነው፣ ብዙ ጊዜ እንደ የግቤት-ውፅዓት ጥንዶች ስብስብ። እንደሚመለከቱት ፣ ይህ ከማሽን መማር ጋር በጣም ተመሳሳይ ነው “የስልጠና መረጃ” እንደ ግብዓት-ውፅዓት ጥንዶች ቀርቧል ፣ ከግብአት ወደ ውፅዓት ለውጥ ጋር የሚዛመድ እና አጠቃላይ ወደ አዲስ ግብአቶች የሚያስገባ “ፕሮግራም” እናገኛለን። ልዩነቱ በጠንካራ ኮድ ፕሮግራም (የነርቭ አውታረመረብ) ውስጥ የመለኪያ እሴቶችን ከማሰልጠን ይልቅ እናመነጫለን። ምንጭ ኮድበልዩ የፍለጋ ሂደት።

እኔ በእርግጠኝነት በሚቀጥሉት ጥቂት ዓመታት ውስጥ እንደገና በዚህ አካባቢ ብዙ ፍላጎት ይኖራል ብዬ እጠብቃለሁ። በተለይም የጋራ መግባቢያ እጠብቃለሁ። ተዛማጅ አካባቢዎችጥልቅ ትምህርት እና የፕሮግራም ውህደት ፣በአጠቃላይ ቋንቋዎች ፕሮግራሞችን የምንፈጥርበት ብቻ ሳይሆን የነርቭ አውታረ መረቦችን የምንፈጥርበት (የጂኦሜትሪክ መረጃ ማቀነባበሪያ ጅረቶች) ፣ ተጨምሯልእንደ loops ያሉ የበለፀገ የአልጎሪዝም ፕሪሚየርስ ስብስብ - እና ሌሎች ብዙ። ይህ በቀጥታ ምንጭ ኮድ ማመንጨት ይልቅ እጅግ የበለጠ ምቹ እና ጠቃሚ መሆን አለበት, እና ጉልህ የማሽን በመጠቀም ሊፈቱ የሚችሉ ችግሮች ስፋት ማስፋፋት ይሆናል - እኛ በራስ-ሰር ማመንጨት የምንችለው ፕሮግራሞች ቦታ, ተገቢውን የስልጠና ውሂብ የተሰጠ. የምሳሌያዊ AI እና የጂኦሜትሪክ AI ድብልቅ። ዘመናዊ አርኤንኤን የእንደዚህ አይነት ድብልቅ አልጎሪዝም-ጂኦሜትሪክ ሞዴሎች ታሪካዊ ቅድመ አያት ተደርጎ ሊወሰድ ይችላል።

ስዕል፡ የሰለጠነው ፕሮግራም በተመሳሳይ ጊዜ በጂኦሜትሪክ ፕሪሚቲቭስ (ንድፍ ማወቂያ፣ ውስጠ-ግንዛቤ) እና አልጎሪዝም ፕሪሚቲቭስ (ክርክር፣ ፍለጋ፣ ማህደረ ትውስታ) ላይ ነው።

ከጀርባ ማሰራጨት እና ሊለያዩ የሚችሉ ንብርብሮች ባሻገር

የማሽን መማሪያ ሞዴሎች ከፕሮግራሞች ጋር ተመሳሳይ ከሆኑ፣ ከዚያ በኋላ ሊለያዩ አይችሉም - በእርግጠኝነት እነዚያ ፕሮግራሞች አሁንም ቀጣይነት ያለው የጂኦሜትሪክ ንብርብሮችን እንደ ንዑስ ክፍሎች ይጠቀማሉ ነገር ግን አጠቃላይ ሞዴሉ አይሆንም። በዚህ ምክንያት የክብደት እሴቶችን በቋሚ እና በጠንካራ ኮድ በተቀመጠው አውታረ መረብ ውስጥ ለማስተካከል የኋላ ፕሮፓጋንዳ በመጠቀም ለወደፊቱ ሞዴሎችን ለማሰልጠን ተመራጭ ዘዴ ላይሆን ይችላል -ቢያንስ በዚህ ዘዴ ብቻ መገደብ የለበትም። የማይለያዩ ስርዓቶችን እንዴት በብቃት ማሰልጠን እንዳለብን ማወቅ አለብን። አሁን ያሉት አቀራረቦች የዘረመል ስልተ ቀመሮችን፣ "የዝግመተ ለውጥ ስትራቴጂዎችን"፣ የተወሰኑ የማጠናከሪያ ትምህርት ዘዴዎችን፣ ADMM (የLagrange multipliers ተለዋጭ አቅጣጫ ዘዴ) ያካትታሉ። በተፈጥሮ፣ የግራዲየንት መውረድ እዚህ ለመቆየት ነው - የግራዲየንት መረጃ ሁል ጊዜ የሚለያዩ ፓራሜትሪክ ተግባራትን ለማመቻቸት ጠቃሚ ይሆናል። ነገር ግን ሞዴሎቻችን በእርግጠኝነት ሊለያዩ ከሚችሉ የፓራሜትሪክ ተግባራት የበለጠ ትልቅ ፍላጎት ይኖራቸዋል፣ እና ስለዚህ አውቶማቲክ እድገታቸው (በ "ማሽን መማር" ውስጥ “ስልጠና”) ከጀርባ ከማሰራጨት የበለጠ ይፈልጋል።

በተጨማሪም ፣የኋለኛው ፕሮፓጋንዳ ከጫፍ እስከ ጫፍ ያለው መዋቅር አለው ፣ይህም ጥሩ የተቀናጁ ለውጦችን ለመማር ተስማሚ ነው ፣ነገር ግን በኮምፒዩቲሽኑ በጣም ውጤታማ አይደለም ምክንያቱም የጥልቅ አውታረ መረቦችን ሞዱላሪቲ ሙሉ በሙሉ ስለማይጠቀም። የማንኛውንም ነገር ቅልጥፍና ለመጨመር አንድ ሁለንተናዊ የምግብ አዘገጃጀት መመሪያ አለ-ሞዱላሪቲ እና ተዋረድን ያስተዋውቁ። ስለዚህ የተበታተኑ የመማሪያ ሞጁሎችን በመካከላቸው አንዳንድ የማመሳሰል ዘዴን በተዋረድ ተደራጅተው በማስተዋወቅ የጀርባ ስርጭትን በራሱ ውጤታማ ማድረግ እንችላለን። ይህ ስልት በከፊል DeepMind በቅርብ ጊዜ በ"synthetic gradients" ላይ ተንጸባርቋል። ብዙ፣ ብዙ እጠብቃለሁ። ተጨማሪ ሥራበዚህ አቅጣጫ በቅርብ ጊዜ ውስጥ.

አንድ ሰው በአለምአቀፍ ደረጃ የማይለያዩ ሞዴሎች (ነገር ግን ሊለያዩ በሚችሉ ክፍሎች) የሚማሩበት - የሚያድጉበት - ቀልጣፋ የፍለጋ ሂደት በመጠቀም ቅልመትን የማይተገበርበትን ጊዜ ሊገምት ይችላል፣ ልዩነት ያላቸው ክፍሎች ደግሞ አንዳንድ ይበልጥ ቀልጣፋ የኋላ ፕሮፓጋሽን ስሪቶችን በመጠቀም ቀስ በቀስ በፍጥነት ይማራሉ ።

ራስ-ሰር የማሽን ትምህርት

ወደፊት በሥነ ሕንፃ ውስጥ, ሞዴሎች በእጃቸው በመሐንዲሶች ከመጻፍ ይልቅ በመማር ይፈጠራሉ. የተገኙት ሞዴሎች በራስ-ሰር ከበለጸጉ ጥንታዊ እና ፕሮግራም መሰል የማሽን መማሪያ ሞዴሎች ጋር ይጣመራሉ።

በአሁኑ ጊዜ፣ ብዙ ጊዜ፣ ጥልቅ የመማሪያ ስርዓት ገንቢ ያለማቋረጥ መረጃን በ Python ስክሪፕቶች ያስተካክላል፣ ከዚያም ጥልቅ የመማሪያ አውታር ላይ አርኪቴክቸር እና የስራ ሞዴል ለማግኘት ረጅም ጊዜ ያሳልፋል - ወይም ደግሞ ገንቢው ከሆነ የላቀ ሞዴል ለማግኘት። በጣም ሥልጣን ያለው ነው። ይህ በጣም ጥሩው የሁኔታዎች ሁኔታ አይደለም ብሎ መናገር አያስፈልግም። ግን AI እዚህም ሊረዳ ይችላል. እንደ አለመታደል ሆኖ የመረጃ ማቀናበሪያ እና የዝግጅት ክፍል በራስ ሰር ለመስራት አስቸጋሪ ነው ምክንያቱም ብዙ ጊዜ የጎራ እውቀትን እንዲሁም ገንቢው ምን ማግኘት እንደሚፈልግ ግልጽ እና ከፍተኛ ደረጃ ግንዛቤን ይፈልጋል። ሆኖም፣ የሃይፐርፓራሜትር ማስተካከያ ቀላል የፍለጋ ሂደት ነው፣ እና በ በዚህ ጉዳይ ላይገንቢው ምን ማግኘት እንደሚፈልግ አስቀድመን አውቀናል-ይህ የሚወሰነው መዋቀር በሚያስፈልገው የነርቭ አውታረ መረብ ኪሳራ ተግባር ነው። የአምሳያው ቅንጅቶችን አብዛኛው ማስተካከል የሚንከባከበው መሰረታዊ አውቶኤምኤል ሲስተሞችን መጫን አሁን የተለመደ ሆኗል። የ Kaggle ውድድርን ለማሸነፍ ራሴን ጫንኩ።

በጣም በመሠረታዊ ደረጃ, እንዲህ ዓይነቱ ስርዓት በቆለሉ ውስጥ ያሉትን የንብርብሮች ብዛት, ቅደም ተከተላቸው እና በእያንዳንዱ ንብርብር ውስጥ ያሉትን ንጥረ ነገሮች ወይም ማጣሪያዎች በቀላሉ ያስተካክላል. ይህ በአብዛኛው የሚከናወነው በምዕራፍ 7 ላይ የተነጋገርነውን እንደ Hyperopt ያሉ ቤተ-መጻሕፍትን በመጠቀም ነው (ማስታወሻ፡ "Deep Learning with Python") መጽሐፍት። ነገር ግን ብዙ መሄድ እና ተገቢውን አርክቴክቸር ከባዶ ለመማር መሞከር ይችላሉ፣በዝቅተኛ ገደቦች። ይህ የማጠናከሪያ ትምህርትን ለምሳሌ ወይም የጄኔቲክ ስልተ ቀመሮችን በመጠቀም ይቻላል.

በአውቶኤምኤል ልማት ውስጥ ሌላው አስፈላጊ አቅጣጫ የሞዴል አርክቴክቸር ከሞዴል ክብደት ጋር በአንድ ጊዜ ማሰልጠን ነው። ሞዴልን ከባዶ በማሰልጠን በእያንዳንዱ ጊዜ ትንሽ የተለያዩ አርክቴክቸሮችን እንሞክራለን ፣ ይህም እጅግ በጣም ውጤታማ አይደለም ፣ ስለሆነም በእውነቱ ኃይለኛ አውቶኤምኤል ስርዓት የሕንፃዎችን ዝግመተ ለውጥ ያስተዳድራል ፣ የሞዴል ንብረቶች ደግሞ በስልጠናው መረጃ ላይ በማሰራጨት ተስተካክለዋል ፣ ስለሆነም ሁሉንም የሂሳብ ወጪዎች ያስወግዳል። እነዚህን መስመሮች በምጽፍበት ጊዜ, ተመሳሳይ አቀራረቦች ቀድሞውኑ መተግበር ጀምረዋል.

ይህ ሁሉ መከሰት ሲጀምር የማሽን መማሪያ ስርዓቶች ገንቢዎች ያለ ስራ አይተዉም - ወደ ተጨማሪ ይሸጋገራሉ ከፍተኛ ደረጃበእሴት ሰንሰለት ውስጥ. ብዙ ተጨማሪ ማስገባት ይጀምራሉ ተጨማሪ ጥረትወደ ፍጥረት ውስብስብ ተግባራትየንግድ ፈተናዎችን በእውነት የሚያንፀባርቁ ኪሳራዎች ፣ እና ሞዴሎቻቸው በሚሠሩባቸው ዲጂታል ሥነ-ምህዳሮች ላይ እንዴት ተጽዕኖ እንደሚያሳድሩ ጥልቅ ግንዛቤ ይኖረዋል (ለምሳሌ ፣ የአምሳያው ትንበያዎችን የሚጠቀሙ እና እሱን ለማሰልጠን መረጃ የሚያመነጩ ደንበኞች) - ጉዳዮች አሁን ትልቁ ብቻ ናቸው ። ኩባንያዎች ግምት ውስጥ ማስገባት ይችላሉ.

የዕድሜ ልክ ትምህርት እና ሞዱላር ልማዶችን እንደገና መጠቀም

ሞዴሎች ይበልጥ ውስብስብ ከሆኑ እና በበለጸጉ አልጎሪዝም ፕሪሚቲቭስ ላይ ከተገነቡ፣ ይህ የጨመረው ውስብስብነት አዲስ ተግባር ወይም ተግባር ባለን ቁጥር ከባዶ አምሳያ ከማሰልጠን ይልቅ በተግባሮች መካከል የበለጠ የተጠናከረ እንደገና መጠቀምን ይጠይቃል። አዲስ ስብስብውሂብ. ውሎ አድሮ፣ ብዙ የመረጃ ቋቶች ከባዶ አዲስ ውስብስብ ሞዴል ለማዘጋጀት በቂ መረጃ ስለሌላቸው ከቀደምት የውሂብ ስብስቦች መረጃን መጠቀም አስፈላጊ ይሆናል። እንግሊዘኛን በከፈትክ ቁጥር እንደገና አትማርም። አዲስ መጽሐፍ- የማይቻል ይሆናል. በተጨማሪም በእያንዳንዱ አዲስ ችግር ላይ ከባዶ የስልጠና ሞዴሎች በጣም ውጤታማ አይደሉም, ምክንያቱም አሁን ባሉት ችግሮች እና ከዚህ በፊት ያጋጠሙት ጉልህ መደራረብ.

በተጨማሪም ፣ በ በቅርብ ዓመታትተመሳሳይ ሞዴል ብዙ ያልተጣመሩ ስራዎችን እንዲሰራ ማሰልጠን አፈፃፀሙን እንደሚያሻሽለው አስደናቂው ምልከታ ተደጋግሞ ታይቷል። በእያንዳንዱ በእነዚህ ተግባራት ውስጥ. ለምሳሌ, ከእንግሊዝኛ ወደ ጀርመንኛ እና ከፈረንሳይኛ ወደ ጣሊያንኛ ለመተርጎም ተመሳሳይ የነርቭ አውታር ማሰልጠን በእያንዳንዱ በእነዚህ የቋንቋ ጥንዶች የተሻለ ሞዴል ​​ያመጣል. የምስል አመዳደብ ሞዴልን በአንድ ጊዜ ከምስል ክፍልፋይ ሞዴል ጋር ማሰልጠን በአንድ ኮንቮሉሽን መሰረት በሁለቱም ስራዎች የተሻለ ሞዴልን ያመጣል። እና ሌሎችም። ይህ በጣም የሚታወቅ ነው፡ ሁሌም አለ። አንዳንድ ዓይነትበእነዚህ ሁለት የተለያዩ በሚመስሉ ተግባራት መካከል የሚደራረብ መረጃ፣ እና ስለዚህ አጠቃላይ ሞዴልመዳረሻ አለው። ተጨማሪበተለየ ተግባር ላይ ብቻ ከሰለጠነ ሞዴል ስለ እያንዳንዱ የግለሰብ ተግባር መረጃ.

ሞዴሉን እንደገና ስንጠቀም በእውነቱ ምን እያደረግን ነው? የተለያዩ ተግባራትአህ, ስለዚህ ለሚሰሩ ሞዴሎች አስቀድመው የሰለጠኑ ክብደቶችን እንጠቀማለን አጠቃላይ ተግባራት፣ እንደ ማውጣት የእይታ ምልክቶች. ይህንን በተግባር በምዕራፍ 5 ውስጥ አይተሃል። የዚህ ዘዴ አጠቃላይ ስሪት ለወደፊቱ በተለምዶ ጥቅም ላይ እንደሚውል እጠብቃለሁ፡ ከዚህ ቀደም የተማሩትን ባህሪያት (ንዑስ ሞዴል ክብደቶችን) ብቻ ሳይሆን ሞዴል አርክቴክቸር እና የስልጠና ሂደቶችንም እንጠቀማለን። ሞዴሎች የበለጠ ፕሮግራም የሚመስሉ ሲሆኑ፣ እንደገና መጠቀም እንጀምራለን። subbroutinesበመደበኛ የፕሮግራም ቋንቋዎች እንደ ተግባራት እና ክፍሎች ያሉ።

የሶፍትዌር ልማት ሂደት ዛሬ ምን እንደሚመስል አስቡ፡ አንድ መሐንዲስ አንድን ችግር ከፈታ (ለምሳሌ በ Python ውስጥ የኤችቲቲፒ ጥያቄዎች) እንደገና ጥቅም ላይ እንዲውል እንደ አብስትራክት ላይብረሪ ያዘጋጃል። ወደፊት የሚገናኙ መሐንዲሶች ተመሳሳይ ችግር, በቀላሉ ያሉትን ቤተ-መጻሕፍት ይፈልጉ, ያውርዱ እና በራሳቸው ፕሮጀክቶች ውስጥ ይጠቀሙባቸው. በተመሳሳይ፣ ለወደፊት፣ የሜታ-ትምህርት ስርዓቶች በአለም አቀፍ ደረጃ እንደገና ጥቅም ላይ ሊውሉ የሚችሉ ብሎኮችን በማጣራት አዳዲስ ፕሮግራሞችን ማሰባሰብ ይችላሉ። ስርዓቱ ለብዙ የተለያዩ ስራዎች ተመሳሳይ አሰራሮችን ማዘጋጀት ከጀመረ፣ እንደገና ጥቅም ላይ ሊውል የሚችል የመደበኛውን "abstract" ስሪት ይለቀቅና በአለምአቀፍ ቤተ-መጽሐፍት ውስጥ ያከማቻል። ይህ ሂደት እድሉን ይከፍታል ማጠቃለያዎች, "Ultimate Generalization"ን ለማግኘት አስፈላጊ አካል፡- ለብዙ ችግሮች እና ጎራዎች ጠቃሚ የሆነ የዕለት ተዕለት ተግባር የውሳኔ አሰጣጥን አንዳንድ ገጽታዎች "አብስትራክት" ነው ሊባል ይችላል. ይህ የ"አብስትራክት" ትርጉም በሶፍትዌር ልማት ውስጥ የአብስትራክት ጽንሰ-ሀሳብ አይመስልም። እነዚህ የዕለት ተዕለት ተግባራት ጂኦሜትሪክ (ጥልቅ የመማሪያ ሞጁሎች አስቀድሞ የሰለጠኑ ውክልና ያላቸው) ወይም አልጎሪዝም (ዘመናዊ ፕሮግራመሮች አብረው ከሚሠሩት ቤተ መጻሕፍት ጋር ቅርብ) ሊሆኑ ይችላሉ።

ስዕል፡ እንደገና ጥቅም ላይ ሊውሉ የሚችሉ ፕሪሚቲቭስ (አልጎሪዝም እና ጂኦሜትሪክ) በመጠቀም ተግባር-ተኮር ሞዴሎችን በፍጥነት ማዳበር የሚችል ሜታ-ትምህርት ስርዓት፣ በዚህም “የመጨረሻውን አጠቃላይነት” ማሳካት ይችላል።

ውጤቱ: የረጅም ጊዜ እይታ

በአጭሩ፣ የማሽን መማር የረዥም ጊዜ እይታዬ ይኸውና፡

• ሞዴሎች ልክ እንደ ፕሮግራሞች ይሆናሉ እና አሁን ከምንሰራው የመረጃ ምንጭ ውሂብ ቀጣይነት ያለው ጂኦሜትሪክ ለውጥ የራቁ ችሎታዎች ይኖራቸዋል። ምናልባት እነዚህ ፕሮግራሞች ሰዎች ስለ አካባቢያቸው እና ስለራሳቸው ከሚያዙት ረቂቅ የአዕምሮ ሞዴሎች ጋር በጣም ይቀራረባሉ እና በአልጎሪዝም ባህሪያቸው ምክንያት አጠቃላይ አጠቃላይ ማድረግ ይችላሉ።
• በተለይም ሞዴሎች ይደባለቃሉ አልጎሪዝም ሞጁሎችበመደበኛ የማመዛዘን, ፍለጋ, ረቂቅ ችሎታዎች - እና ጂኦሜትሪክ ሞጁሎችመደበኛ ባልሆነ አስተሳሰብ እና ስርዓተ-ጥለት እውቅና። አልፋጎ (የተጠናከረ የእጅ ፕሮግራሚንግ እና አርክቴክቸር የሚያስፈልገው ስርዓት) ምሳሌያዊ እና ጂኦሜትሪክ AI ውህደት ምን እንደሚመስል ቀደምት ምሳሌ ይሰጣል።
• ያደርጋሉ ማደግበራስ-ሰር (በሰው ፕሮግራመሮች በእጅ ከመፃፍ ይልቅ) ፣ ከአለም አቀፍ ቤተ-መጽሐፍት ውስጥ ሞዱላር ክፍሎችን በመጠቀም እንደገና ጥቅም ላይ ሊውሉ የሚችሉ የዕለት ተዕለት ተግባራት - በሺዎች ከሚቆጠሩ የቀድሞ ችግሮች እና የውሂብ ስብስቦች ከፍተኛ አፈፃፀም ያላቸውን ሞዴሎች በማዋሃድ የተሻሻለ ቤተ-መጽሐፍት። አንድ ጊዜ የብረታ ብረት ማምረቻ ስርዓቱ የተለመዱ የችግር አፈታት ንድፎችን ካወቀ በኋላ ወደ ተደጋጋሚ ልማዶች ይለወጣሉ - ልክ እንደ ተግባራት እና ክፍሎች ዘመናዊ ፕሮግራሚንግ- እና ወደ ዓለም አቀፍ ቤተ-መጽሐፍት ታክሏል። ችሎታው የሚሳካው በዚህ መንገድ ነው። ማጠቃለያዎች.
• ዓለም አቀፋዊ ቤተመፃህፍት እና ተያያዥነት ያለው የሞዴል አብቃይ ስርዓት አንድ ዓይነት ሰውን የሚመስል "የመጨረሻ አጠቃላይነት" ማሳካት ይችላል፡ አዲስ ተግባር ሲገጥመው፣ አዲስ ሁኔታ ሲገጥመው ስርዓቱ ለዚህ ተግባር አዲስ የስራ ሞዴል ማሰባሰብ ይችላል። በጣም ትንሽ መረጃ ምስጋና ይግባውና፡ 1) የበለጸጉ ፕሮግራም መሰል ፕሪሚቲቭስ፣ በደንብ የሚያጠቃልሉ እና 2) ተመሳሳይ ችግሮችን የመፍታት ልምድ። በተመሳሳይ መልኩ ሰዎች ቀደም ሲል ከብዙ ጨዋታዎች ጋር ልምድ ስላላቸው እና በቀድሞው ልምድ ላይ የተመሰረቱ ሞዴሎች ረቂቅ እና ፕሮግራም ከመሆን ይልቅ አዲስ ውስብስብ የቪዲዮ ጨዋታ በፍጥነት መማር ይችላሉ. ቀላል ለውጥወደ ተግባር ማነቃቂያ.
• በመሰረቱ፣ ይህ ቀጣይነት ያለው ትምህርት ሞዴል-ማደግ ስርዓት እንደ ጠንካራ ሰው ሰራሽ እውቀት ሊተረጎም ይችላል። ነገር ግን አንድ ዓይነት ነጠላ ሮቦት አፖካሊፕስ ይጀምራል ብለው አይጠብቁ፡ ከ የተወለደው ንጹህ ቅዠት ነው። ትልቅ ዝርዝርበእውቀት እና በቴክኖሎጂ ግንዛቤ ውስጥ ጥልቅ አለመግባባቶች። ይሁን እንጂ ይህ ትችት እዚህ ቦታ የለውም.

ዛሬ ስለ ሰው ሰራሽ ነርቭ ኔትወርኮች ብዙ ንግግሮች እና ፅሁፎች አሉ ፣ሁለቱም በትልቁ መረጃ እና በማሽን መማር እና ከእሱ ውጭ። በዚህ ጽሑፍ ውስጥ, የዚህን ጽንሰ-ሐሳብ ትርጉም እናስታውሳለን, የአተገባበሩን ወሰን እንደገና እንገልፃለን, እንዲሁም ከነርቭ ኔትወርኮች ጋር የተያያዘ አንድ አስፈላጊ አቀራረብን እንነጋገራለን - ጥልቅ ትምህርት, ጽንሰ-ሐሳቡን እንገልፃለን, እንዲሁም ጥቅሞቹን እንገልፃለን. እና በተወሰኑ የአጠቃቀም ጉዳዮች ላይ ጉዳቶች።

የነርቭ አውታረመረብ ምንድን ነው?

እንደሚያውቁት የነርቭ ኔትወርክ (ኤንኤን) ጽንሰ-ሐሳብ ከባዮሎጂ የመጣ እና በመጠኑ ቀለል ያለ የአወቃቀሩ ሞዴል ነው. የሰው አንጎል. ግን ወደ ተፈጥሮ ሳይንስ ዱር ውስጥ አንገባም - ቀላሉ መንገድ የነርቭ ሴል (ሰው ሰራሽ አካልን ጨምሮ) እንደ ጥቁር ሳጥን ብዙ የመግቢያ ቀዳዳዎች እና አንድ ውፅዓት መገመት ነው።

በሂሳብ, ሰው ሰራሽ የነርቭ ሴል የቬክተር ለውጥን ያከናውናል የግቤት ምልክቶች(ተጽዕኖዎች) X ወደ ውፅዓት ቬክተር Y የማግበር ተግባር የሚባል ተግባር በመጠቀም። በግንኙነቱ ውስጥ (ሰው ሰራሽ የነርቭ አውታረ መረብ - ኤኤንኤን) ፣ ሶስት ዓይነት የነርቭ ሴሎች ተግባር: ግብዓት (መረጃን ከ መቀበል) የውጭው ዓለምየምንፈልጋቸው ተለዋዋጮች እሴቶች) ፣ ውፅዓት (የተፈለጉትን ተለዋዋጮች መመለስ - ለምሳሌ ፣ ትንበያዎች ፣ ወይም የቁጥጥር ምልክቶች) እንዲሁም መካከለኛ - የተወሰኑ የውስጥ (“ድብቅ”) ተግባራትን የሚያከናውኑ የነርቭ ሴሎች። ክላሲካል ኤኤንኤን ስለዚህ ሶስት ወይም ከዚያ በላይ የነርቭ ሴሎችን ያቀፈ ነው, እና በሁለተኛው እና በቀጣይ ንብርብሮች ("ድብቅ" እና ውፅዓት) እያንዳንዱ ንጥረ ነገሮች ከቀዳሚው ንብርብር አካላት ጋር የተገናኙ ናቸው.

ጽንሰ-ሐሳቡን ማስታወስ አስፈላጊ ነው አስተያየትየኤኤንኤን መዋቅር አይነት የሚወስነው፡ ቀጥተኛ የምልክት ማስተላለፊያ (ምልክቶች በቅደም ተከተል ከግቤት ንብርብር በድብቅ ንብርብር ውስጥ ይገቡና የውጤት ንብርብር ውስጥ ይገባሉ) እና ተደጋጋሚ መዋቅር፣ አውታረ መረቡ ወደ ኋላ የሚመለሱ ግንኙነቶችን ሲይዝ፣ ከሩቅ እስከ ቅርብ የነርቭ ሴሎች)። እነዚህ ሁሉ ፅንሰ-ሀሳቦች ወደ ቀጣዩ የግንዛቤ ደረጃ ANN ለመሸጋገር አስፈላጊውን ዝቅተኛ መረጃ ይመሰርታሉ - የነርቭ ኔትወርክን ማሰልጠን ፣ ዘዴዎቹን መለየት እና የእያንዳንዳቸውን የአሠራር መርሆዎች መረዳት።

የነርቭ አውታረ መረብ ስልጠና

ለምን እንደዚህ አይነት ምድቦች በአጠቃላይ ጥቅም ላይ እንደሚውሉ መዘንጋት የለብንም - አለበለዚያ በአብስትራክት ሒሳብ ውስጥ የመውደቅ አደጋ አለ. በእርግጥ ሰው ሰራሽ ነርቭ ኔትወርኮች የተወሰኑ ተግባራዊ ችግሮችን ለመፍታት እንደ አንድ ዘዴ ተረድተዋል ፣ ከእነዚህም መካከል ዋና ዋናዎቹ የስርዓተ-ጥለት ማወቂያ ፣ የውሳኔ አሰጣጥ ፣ የውሂብ መጠጋ እና መጨናነቅ እንዲሁም ለእኛ በጣም አስደሳች የሆኑት የክላስተር ችግሮች ናቸው ። ትንተና እና ትንበያ.

ወደ ሌላኛው ጽንፍ ሳንሄድ እና በእያንዳንዱ ጉዳይ ላይ ስለ ኤኤንኤን ዘዴዎች አሠራር በዝርዝር ሳንሄድ, በማንኛውም ሁኔታ የነርቭ ኔትወርክ የመማር ችሎታ መሆኑን እራሳችንን እናስታውስ (ከአስተማሪ ጋር ወይም "በራሱ) ”) ተግባራዊ ችግሮችን ለመፍታት እሱን ለመጠቀም ዋናው ነጥብ ነው።

በአጠቃላይ የኤኤንኤን ማሰልጠን እንደሚከተለው ነው።

1. የግብአት ነርቮች ተለዋዋጮችን ይቀበላሉ ("ማነቃቂያዎች") ከውጭው አካባቢ;
2. በተቀበለው መረጃ መሰረት, የነርቭ አውታረመረብ ነፃ መለኪያዎች ይለወጣሉ (መካከለኛ ደረጃ የነርቭ ሴሎች ይሠራሉ);
3. በነርቭ አውታረመረብ መዋቅር ላይ በተደረጉ ለውጦች ምክንያት አውታረ መረቡ በተለየ መንገድ መረጃን "ምላሽ ይሰጣል".

ይህ የነርቭ አውታረ መረብን ለማሰልጠን አጠቃላይ ስልተ-ቀመር ነው (የፓቭሎቭን ውሻ እናስታውስ - አዎ ፣ አዎ ፣ ኮንዲሽነር reflex ምስረታ ያለው ውስጣዊ አሠራር በትክክል ነው - እና ወዲያውኑ እንርሳ-ከሁሉም በኋላ የእኛ አውድ ኦፕሬቲንግን ያካትታል ። ቴክኒካዊ ጽንሰ-ሐሳቦችእና ምሳሌዎች)።

ሁለንተናዊ የመማሪያ ስልተ-ቀመር እንደሌለ እና, ምናልባትም, ሊኖር እንደማይችል ግልጽ ነው; በፅንሰ-ሀሳብ፣ የመማር አቀራረቦች ክትትል የሚደረግበት ትምህርት እና ክትትል በሌለው ትምህርት የተከፋፈሉ ናቸው። የመጀመሪያው ስልተ ቀመር ለእያንዳንዱ ግቤት (“መማር”) ቬክተር የሚፈለገው የውጤት እሴት (“ዒላማ”) ቬክተር አለ ብሎ ይገምታል - ስለሆነም እነዚህ ሁለት እሴቶች የሥልጠና ጥንድ ይመሰርታሉ ፣ እና የእነዚህ ጥንዶች አጠቃላይ ስብስብ የስልጠና ስብስብ. ክትትል በማይደረግበት ትምህርት, የስልጠናው ስብስብ የግብአት ቬክተሮችን ብቻ ያቀፈ ነው - እና ይህ ሁኔታ ከእውነተኛ ህይወት አንጻር ሲታይ የበለጠ አሳማኝ ነው.

ጥልቅ ትምህርት

የጥልቅ ትምህርት ጽንሰ-ሐሳብ ሌላ ምደባን የሚያመለክት ሲሆን ጥልቅ መዋቅሮች የሚባሉትን የሥልጠና አቀራረብን የሚያመለክት ሲሆን እነዚህም ባለብዙ ደረጃ የነርቭ መረቦችን ያካትታል. የምስል ማወቂያ መስክ ቀላል ምሳሌ: ሌሎች ረቂቅ ባህሪያት አንፃር እየጨመረ ረቂቅ ባህሪያትን ለመለየት ማሽን ማስተማር አስፈላጊ ነው, ማለትም, መላው ፊት, ዓይን እና አፍ መግለጫ መካከል ያለውን ግንኙነት ለመወሰን, እና. በመጨረሻ፣ በሒሳብ ቀለም ያላቸው የፒክሰሎች ስብስቦች። ስለዚህ, በጥልቅ የነርቭ አውታረመረብ ውስጥ, እያንዳንዱ የባህሪያት ደረጃ የራሱ የሆነ ንብርብር አለው; እንዲህ ዓይነቱን "colossus" ማሰልጠን ትክክለኛውን የተመራማሪዎች ልምድ እና የሃርድዌር ደረጃን እንደሚፈልግ ግልጽ ነው. ጥልቅ የነርቭ ትምህርትን የሚደግፉ ሁኔታዎች በ 2006 ብቻ - እና ከስምንት ዓመታት በኋላ ይህ አካሄድ በማሽን መማሪያ ውስጥ ስላመጣው አብዮት መነጋገር እንችላለን ።

ስለዚህ, በመጀመሪያ, በእኛ ጽሑፉ አውድ ውስጥ, የሚከተለውን ልብ ሊባል የሚገባው ነው-በአብዛኛዎቹ ጉዳዮች ጥልቅ ትምህርት በአንድ ሰው ቁጥጥር ስር አይደለም. ያም ማለት ይህ አቀራረብ ያለ አስተማሪ የነርቭ ኔትወርክን ማሰልጠን ያካትታል. ይህ የ "ጥልቅ" አቀራረብ ዋነኛው ጠቀሜታ ነው, ቁጥጥር የሚደረግበት የማሽን ትምህርት, በተለይም በጥልቅ አወቃቀሮች ውስጥ, በጣም ብዙ ጊዜ - እና ጉልበት - ወጪዎችን ይጠይቃል. በሌላ በኩል ጥልቅ ትምህርት የሰውን ረቂቅ አስተሳሰብ ከመጠቀም ይልቅ የሚቀርፅ (ወይም ቢያንስ ለመገመት የሚሞክር) አካሄድ ነው።

ሀሳቡ እንደተለመደው ድንቅ ነው ፣ ግን በአቀራረብ መንገድ ላይ በጣም ተፈጥሯዊ ችግሮች ይነሳሉ - በመጀመሪያ ፣ ለአለም አቀፍነት ባለው የይገባኛል ጥያቄ ላይ የተመሠረተ። እንደ እውነቱ ከሆነ, ጥልቅ የመማሪያ አቀራረቦች በምስል እውቅና መስክ ከፍተኛ ስኬት ካገኙ, ከዚያም በተመሳሳይ ሂደት የተፈጥሮ ቋንቋአሁንም መልሶች ካሉት ብዙ ጥያቄዎች አሉ። በሚቀጥሉት n ዓመታት ውስጥ “አርቲፊሻል ሊዮናርዶ ዳ ቪንቺ” መፍጠር ይቻል ይሆናል ብሎ ማሰብ የማይመስል ነገር እንደሆነ ወይም ቢያንስ ቢያንስ! - "ሰው ሰራሽ ሆሞ ሳፒየንስ"

ይሁን እንጂ አርቴፊሻል ኢንተለጀንስ ተመራማሪዎች የሥነ ምግባር ጥያቄ አጋጥሟቸዋል-በእያንዳንዱ ራስን በሚያከብር የሳይንስ ልብወለድ ፊልም ውስጥ የተገለጹት ፍርሃቶች ከ "Terminator" እስከ "Transformers" ድረስ አስቂኝ አይመስሉም (ዘመናዊ የተራቀቁ የነርቭ አውታረ መረቦች ቀድሞውኑ እንደ አሳማኝ ሊቆጠሩ ይችላሉ. የነፍሳትን አንጎል ሥራ ይቅረጹ!) ፣ ግን በግልጽ ለአሁኑ አላስፈላጊ ናቸው።

ተስማሚ የቴክኖሎጂ የወደፊት ጊዜ አንድ ሰው አብዛኛውን ስልጣኑን ለማሽን መስጠት የሚችልበት - ወይም ቢያንስ የአዕምሯዊ ስራውን ጉልህ ክፍል እንዲያመቻች የሚፈቅድበት ዘመን ሆኖ ይታያል። የጥልቅ ትምህርት ጽንሰ-ሀሳብ ወደዚህ ህልም አንድ እርምጃ ነው. ከፊት ያለው መንገድ ረጅም ነው, ነገር ግን የነርቭ ኔትወርኮች እና ከነሱ ጋር ተያያዥነት ያላቸው ከጊዜ ወደ ጊዜ እየተሻሻሉ ያሉ አቀራረቦች የሳይንስ ልብ ወለድ ፀሐፊዎችን ምኞት በጊዜ ሂደት መገንዘብ እንደሚችሉ ግልጽ ነው.