Ang isa sa mga pinaka-promising na lugar para sa pagbuo ng panimula ng mga bagong arkitektura ng sistema ng computing ay malapit na nauugnay sa paglikha ng isang bagong henerasyon ng mga computer batay sa mga prinsipyo ng pagproseso ng impormasyon na naka-embed sa mga artipisyal na neural network(NS). Ang unang praktikal na gawain sa mga artipisyal na neural network at neurocomputer ay nagsimula noong 40s at 50s. Ang isang neural network ay karaniwang nauunawaan bilang isang hanay ng mga elementarya na nagko-convert ng impormasyon, na tinatawag na "mga neuron," na konektado sa isang tiyak na paraan sa isa't isa sa pamamagitan ng mga channel ng pagpapalitan ng impormasyon na "mga synaptic na koneksyon."

Neuron, sa esensya, ay isang elementarya na processor na nailalarawan sa pamamagitan ng input at output states, isang transfer function (activation function) at lokal na memorya. Ang mga estado ng mga neuron ay nagbabago habang gumagana at bumubuo panandaliang memorya mga neural network. Kinakalkula ng bawat neuron ang timbang na kabuuan ng mga signal na dumarating dito sa pamamagitan ng mga synapses at nagsasagawa ng nonlinear na pagbabagong-anyo dito. Kapag ipinadala sa mga synapses, ang mga signal ay na-multiply sa isang tiyak na weighting factor. Ang distribusyon ng mga weighting coefficient ay naglalaman ng impormasyong nakaimbak sa asosasyong memorya NS. Ang pangunahing elemento ng disenyo ng network ay ang pagsasanay nito. Kapag nagsasanay at nag-retraining ng neural network, nagbabago ang mga weighting coefficient nito. Gayunpaman, nananatili silang pare-pareho sa panahon ng paggana ng neural network, na bumubuo ng pangmatagalang memorya.

N Ang C ay maaaring binubuo ng isang layer, dalawang layer, tatlo at higit pa, gayunpaman, bilang isang panuntunan, upang malutas ang mga praktikal na problema higit sa tatlong mga layer sa isang neural network ay hindi kinakailangan.

Tinutukoy ng bilang ng mga NN input ang dimensyon ng hyperspace, kung saan ang mga input signal ay maaaring katawanin ng mga punto o hyperregion ng mga malapit na pagitan ng mga punto. Tinutukoy ng bilang ng mga neuron sa isang layer ng network ang bilang ng mga hyperplane sa hyperspace. Ang pagkalkula ng mga timbang na kabuuan at pagsasagawa ng isang nonlinear na pagbabagong-anyo ay ginagawang posible upang matukoy kung aling bahagi ng isang partikular na hyperplane ang input signal point ay matatagpuan sa hyperspace.

Kunin natin ang klasikong problema ng pagkilala ng pattern: pagtukoy kung ang isang punto ay kabilang sa isa sa dalawang klase. Ang problemang ito ay natural na nalutas gamit ang isang neuron. Ito ay magbibigay-daan sa hyperspace na hatiin sa dalawang non-intersecting at non-nested hyperregion. Sa katotohanan, ang mga input signal sa mga problemang nalutas gamit ang mga neural network ay bumubuo ng mataas na nested o intersecting na mga lugar sa hyperspace, na hindi maaaring paghiwalayin gamit ang isang neuron. Magagawa lamang ito sa pamamagitan ng pagguhit ng nonlinear hypersurface sa pagitan ng mga rehiyon. Maaari itong ilarawan gamit ang isang nth order polynomial. Gayunpaman, masyadong mabagal ang pagkalkula ng power function at samakatuwid ay napaka-inconvenient para sa pag-compute. Ang isang alternatibong opsyon ay ang tantiyahin ang hypersurface na may mga linear na hyperplane. Malinaw na ang katumpakan ng approximation ay nakasalalay sa bilang ng mga hyperplane na ginamit, na, sa turn, ay nakasalalay sa bilang ng mga neuron sa network. Samakatuwid ang pangangailangan ay lumitaw para sa pagpapatupad ng hardware ng maraming mga neuron hangga't maaari sa network. Tinutukoy ng bilang ng mga neuron sa isang layer ng network ang resolution nito. Ang isang solong-layer na neural network ay hindi maaaring paghiwalayin ang mga linearly dependent na imahe. Samakatuwid, mahalaga na maipatupad ang mga multilayer neural network sa hardware.

AT mga artipisyal na neural network may mga kamangha-manghang katangian. Hindi sila nangangailangan ng detalyadong software development at buksan ang posibilidad ng paglutas ng mga problema kung saan wala teoretikal na mga modelo o mga panuntunang heuristic na tumutukoy sa algorithm ng solusyon. Ang ganitong mga network ay may kakayahang umangkop sa mga pagbabago sa mga kondisyon ng operating, kabilang ang paglitaw ng mga hindi inaasahang kadahilanan. Sa kanilang likas na katangian, ang mga NS ay mga sistemang may napaka mataas na antas paralelismo.

SA mga neurocomputer ang mga prinsipyo ng pagpoproseso ng impormasyon na isinasagawa sa mga tunay na neural network ay ginagamit. Ang mga ito ay panimula bago mga pasilidad sa pag-compute na may hindi tradisyunal na arkitektura ay nagbibigay-daan para sa mataas na pagganap ng pagproseso ng malalaking hanay ng impormasyon. Hindi tulad ng mga tradisyunal na computing system, ginagawang posible ng mga neural network computer, katulad ng mga neural network, na iproseso ang mga daloy ng impormasyon ng discrete at tuloy-tuloy na signal, naglalaman ng mga simpleng elemento ng computational at may mataas na antas ng pagiging maaasahan ay nagbibigay-daan sa iyo upang malutas mga gawain sa impormasyon pagpoproseso ng data, habang tinitiyak ang isang mode ng self-reconstruction ng computing environment depende sa mga natanggap na desisyon.

Sa pangkalahatan, ang terminong "Neurocomputer" ay kasalukuyang nangangahulugang isang medyo malawak na klase ng mga computer. Nangyayari ito sa simpleng dahilan na pormal, ang anumang pagpapatupad ng hardware ng isang neural network algorithm ay maaaring ituring na isang neurocomputer, mula sa isang simpleng modelo ng isang biological neuron hanggang sa isang character recognition system o mga gumagalaw na target. Ang mga neurocomputer ay hindi mga computer sa karaniwang kahulugan ng salita. Sa kasalukuyan, ang teknolohiya ay hindi pa umabot sa antas ng pag-unlad kung saan maaaring pag-usapan ng isang tao ang tungkol sa isang pangkalahatang layunin na neurocomputer (na magiging artificial intelligence din). Ang mga system na may mga nakapirming halaga ng mga weighting coefficient sa pangkalahatan ay ang pinaka-mataas na dalubhasa sa pamilya ng neural network. Ang mga network ng pag-aaral ay mas nababaluktot sa iba't ibang mga problema na kanilang nalulutas. Kaya, ang pagtatayo ng isang neurocomputer ay sa bawat oras na pinakamalawak na larangan para sa mga aktibidad sa pananaliksik sa larangan ng pagpapatupad ng hardware ng halos lahat ng mga elemento ng neural network.

Sa simula ng ika-21 siglo, hindi katulad ng 40-50s ng huling siglo, mayroong isang layunin na praktikal na pangangailangan upang matutunan kung paano gumawa ng mga neurocomputer, i.e. kinakailangan na ipatupad sa hardware ang napakaraming parallel operating neurons, na may milyun-milyong fixed o parallel adaptively modified connections-synapses, na may ilang ganap na konektadong mga layer ng neurons. Kasabay nito, ang pinagsamang teknolohiya ng electronics ay malapit nang maubos ang mga pisikal na kakayahan nito. Ang mga geometric na dimensyon ng mga transistor ay hindi na maaaring pisikal na bawasan: na may mga teknolohikal na maaabot na laki ng pagkakasunud-sunod na 1 micron o mas kaunti, pisikal na phenomena, hindi nakikita sa malalaking sukat aktibong elemento- Ang mga epekto ng laki ng quantum ay nagsisimulang magkaroon ng malakas na epekto. Ang mga transistor ay huminto sa paggana bilang mga transistor.

Para sa pagpapatupad ng hardware ng NN, kailangan ng bagong storage medium. Ang ganitong bagong carrier ng impormasyon ay maaaring liwanag, na kung saan ay kapansin-pansing, sa pamamagitan ng ilang mga order ng magnitude, magpapataas ng pagganap sa pagkalkula.

Ang tanging teknolohiya para sa pagpapatupad ng hardware ng mga neural network na maaaring palitan ang mga optika at optoelectronics sa hinaharap ay nanotechnology, na may kakayahang magbigay hindi lamang ng pisikal na maximum na posibleng antas ng pagsasama ng submolecular quantum elements na may pisikal na maximum na posibleng bilis, kundi pati na rin ang three-dimensional na arkitektura na kinakailangan para sa pagpapatupad ng hardware ng neural network.

Sa loob ng mahabang panahon, pinaniniwalaan na ang mga neurocomputer ay epektibo para sa paglutas ng tinatawag na di-pormal at hindi maayos na mga problema na nauugnay sa pangangailangan na isama ang proseso ng pag-aaral gamit ang totoong eksperimentong materyal sa algorithm para sa paglutas ng problema. Una sa lahat, ang mga naturang problema ay kasama ang gawain ng pagtatantya ng isang partikular na anyo ng mga pag-andar na kumukuha ng isang discrete set ng mga halaga, i.e. problema sa pagkilala ng pattern.

Sa kasalukuyan, isang klase ng mga problema ang idinaragdag sa klase ng mga problemang ito, na kung minsan ay hindi nangangailangan ng pagsasanay sa pang-eksperimentong materyal, ngunit mahusay na kinakatawan sa isang lohikal na batayan ng neural network. Kabilang dito ang mga gawain na may binibigkas na natural na paralelismo ng pagpoproseso ng signal, pagproseso ng imahe, atbp.. Pagkumpirma ng pananaw na sa hinaharap ang mga neurocomputer ay magiging mas mahusay kaysa sa iba pang mga arkitektura ay maaaring, sa partikular, ay isang matalim na pagpapalawak sa mga nakaraang taon klase ng mga pangkalahatang problema sa matematika na nalutas sa isang lohikal na batayan ng neural network. Ang mga ito, bilang karagdagan sa mga nakalista sa itaas, ay kinabibilangan ng mga problema sa paglutas ng mga linear at nonlinear na algebraic equation at mga high-dimensional na hindi pagkakapantay-pantay; mga sistema ng nonlinear differential equation; partial differential equation; mga problema sa pag-optimize at iba pang mga problema.

Ang isang neural network ay karaniwang nauunawaan bilang isang hanay ng mga elementarya na nagko-convert ng impormasyon, na tinatawag na "mga neuron," na konektado sa isang tiyak na paraan sa isa't isa sa pamamagitan ng mga channel ng pagpapalitan ng impormasyon—"mga synaptic na koneksyon."

Ang isang neuron ay mahalagang isang elementarya na processor na nailalarawan sa pamamagitan ng isang input at isang output na estado, paglipat ng function(activation function) at lokal na memorya.

kanin. 8.1.

Ang mga estado ng mga neuron ay nagbabago sa panahon ng operasyon at bumubuo ng panandaliang memorya ng neural network. Kinakalkula ng bawat neuron ang timbang na kabuuan ng mga signal na dumarating dito sa pamamagitan ng mga synapses at nagsasagawa ng nonlinear na pagbabagong-anyo dito. Kapag ipinadala sa mga synapses, ang mga signal ay pinarami ng isang tiyak na weighting factor. Ang pamamahagi ng mga koepisyent ng timbang ay naglalaman ng impormasyong nakaimbak sa nauugnay na memorya ng neural network. Ang pangunahing elemento ng disenyo ng network ay ang pagsasanay nito. Kapag nagsasanay at muling nagsasanay ng neural network, nagbabago ang mga weighting coefficient nito. Gayunpaman, nananatili silang pare-pareho sa panahon ng paggana ng neural network, na bumubuo ng pangmatagalang memorya.

Ang isang NN ay maaaring binubuo ng isang layer, dalawa, tatlo o higit pang mga layer, gayunpaman, bilang isang panuntunan, higit sa tatlong mga layer sa isang NN ay hindi kinakailangan upang malutas ang mga praktikal na problema.

Tinutukoy ng bilang ng mga input ng NS ang dimensyon hyperspace, kung saan ang mga input signal ay maaaring katawanin ng mga punto o hyperregion ng mga malapit na pagitan ng mga punto. Tinutukoy ng bilang ng mga neuron sa layer ng network ang bilang mga hyperplane V hyperspace. Ang pagkalkula ng mga timbang na kabuuan at pagsasagawa ng isang nonlinear na pagbabagong-anyo ay ginagawang posible upang matukoy kung saang bahagi ng isang partikular na hyperplane matatagpuan ang input signal point. hyperspace.

kanin. 8.2.

Kunin natin ang klasikong problema ng pagkilala ng pattern: pagtukoy kung ang isang punto ay kabilang sa isa sa dalawang klase. Ang problemang ito ay natural na nalutas gamit ang isang neuron. Papayagan ka nitong hatiin hyperspace sa dalawang magkahiwalay at hindi nested na hyperdomain. Input signal sa mga problemang nalutas gamit ang mga neural network form hyperspace highly nested o overlapping na mga rehiyon na hindi maaaring paghiwalayin gamit ang isang neuron. Magagawa lamang ito sa pamamagitan ng pagguhit ng nonlinear hypersurface sa pagitan ng mga rehiyon. Maaari itong ilarawan gamit ang isang nth order polynomial. Gayunpaman, masyadong mabagal ang pagkalkula ng power function at samakatuwid ay napaka-inconvenient para sa pag-compute. Alternatibong opsyon ay ang approximation ng hypersurface sa pamamagitan ng linear mga hyperplane. Ito ay malinaw na ang katumpakan ng approximation ay depende sa bilang ng mga ginamit mga hyperplane, na, sa turn, ay nakasalalay sa bilang ng mga neuron sa network. Kaya't ang pangangailangan ay lumitaw para sa pagpapatupad ng hardware ng maraming mga neuron hangga't maaari sa network. Tinutukoy ng bilang ng mga neuron sa isang layer ng network ang resolution nito. Ang isang solong-layer na neural network ay hindi maaaring paghiwalayin ang mga linearly dependent na imahe. Samakatuwid, mahalaga na maipatupad ang mga multilayer na neural network sa hardware.

kanin. 8.3.

Ang mga artipisyal na neural network ay may mga kamangha-manghang katangian. Hindi sila nangangailangan ng detalyadong pag-unlad software at magbukas ng mga posibilidad para sa paglutas ng mga problema kung saan walang mga teoretikal na modelo o heuristic na panuntunan na tumutukoy sa algorithm ng solusyon. Ang ganitong mga network ay may kakayahang umangkop sa mga pagbabago sa mga kondisyon ng operating, kabilang ang paglitaw ng mga hindi inaasahang kadahilanan. Ayon sa kanilang likas na katangian, ang mga NN ay mga sistema na may napakataas na antas ng paralelismo.

Ginagamit ng mga neurocomputer ang mga prinsipyo ng pagproseso ng impormasyon na isinasagawa sa mga totoong neural network. Ang pangunahing mga bagong tool sa pag-compute na ito na may hindi kinaugalian na arkitektura ay nagbibigay-daan para sa mataas na pagganap na pagproseso ng mga malalaking hanay ng impormasyon. Hindi tulad ng tradisyonal na mga sistema ng pag-compute, mga computer sa neural network, katulad ng mga neural network, ginagawang posible na iproseso ang mga daloy ng impormasyon ng mga discrete at tuloy-tuloy na signal nang mas mabilis, naglalaman ng mga simpleng elemento ng computational at may mataas na antas ang pagiging maaasahan ay nagbibigay-daan sa paglutas ng mga problema ng impormasyon ng pagpoproseso ng data, habang nagbibigay ng isang mode ng self-reconstruction ng computing environment depende sa mga solusyon na nakuha.

Sa pangkalahatan, ang terminong "neural computer" ay kasalukuyang nangangahulugang isang medyo malawak na klase ng mga computer. Nangyayari ito sa simpleng dahilan na ang anumang pagpapatupad ng hardware ay maaaring ituring na isang neurocomputer. algorithm ng neural network, mula sa isang simpleng modelo ng biological neuron hanggang sa isang karakter o gumagalaw na sistema ng pagkilala sa target. Ang mga neurocomputer ay hindi mga computer sa karaniwang kahulugan ng salita. Sa kasalukuyan, hindi pa naaabot ng teknolohiya ang antas ng pag-unlad kung saan maaaring pag-usapan ng isang tao ang tungkol sa isang pangkalahatang layunin na neurocomputer (na magiging artificial intelligence din). Ang mga system na may mga nakapirming halaga ng mga weighting coefficient sa pangkalahatan ay ang pinaka-mataas na dalubhasa sa pamilya ng neural network. Ang mga network ng pag-aaral ay mas naaangkop sa iba't ibang mga problemang nilulutas. Ang mga network ng pag-aaral ay mas nababaluktot at may kakayahang lutasin ang iba't ibang mga problema. Kaya, ang pagtatayo ng isang neurocomputer ay sa bawat oras na pinakamalawak na larangan para sa mga aktibidad sa pananaliksik sa larangan ng pagpapatupad ng hardware ng halos lahat ng mga elemento ng neural network.

Sa simula ng ika-21 siglo, hindi tulad ng 40-50s ng huling siglo, mayroong isang layunin na praktikal na pangangailangan upang matutunan kung paano lumikha ng mga neurocomputer, i.e. kinakailangan na ipatupad sa hardware ang napakaraming parallel operating neurons, na may milyun-milyong fixed o parallel adaptively modified connections-synapses, na may ilang ganap na konektadong mga layer ng neurons.

Kasabay nito pisikal na kakayahan ang mga pinagsama-samang teknolohiya ng electronics ay hindi walang limitasyon. Ang mga geometric na dimensyon ng mga transistor ay hindi na maaaring pisikal na bawasan: na may mga teknolohikal na maaabot na laki ng pagkakasunud-sunod ng 1 micron o mas kaunti, ang mga pisikal na phenomena ay lilitaw na hindi nakikita sa malalaking sukat ng mga aktibong elemento - ang mga epekto ng laki ng quantum ay nagsisimulang magkaroon ng isang malakas na epekto. Ang mga transistor ay huminto sa paggana bilang mga transistor.

Para sa pagpapatupad ng hardware ng neural network, kailangan ng bagong storage medium. Ang ganitong bagong carrier ng impormasyon ay maaaring magaan, na magpapahintulot sa isa na tumaas nang husto, sa pamamagitan ng ilang mga order ng magnitude. pagganap mga kalkulasyon.

Ang tanging teknolohiya para sa pagpapatupad ng hardware ng NS na maaaring palitan ang mga optika at optoelectronics sa hinaharap ay ang nanotechnology, na maaaring magbigay hindi lamang ng pisikal na maximum na posibleng antas ng pagsasama ng mga submolecular quantum na elemento na may pisikal na maximum na posibleng bilis, kundi pati na rin ang three-dimensional na arkitektura kaya kinakailangan para sa pagpapatupad ng hardware ng NS.

Sa loob ng mahabang panahon ay pinaniniwalaan na ang mga neurocomputer ay epektibo sa paglutas ng tinatawag na hindi pormal at hindi maayos na mga gawain nauugnay sa pangangailangang isama ang proseso ng pag-aaral gamit ang tunay na materyal na pang-eksperimento sa algorithm para sa paglutas ng problema. Una sa lahat, ang mga naturang problema ay kasama ang gawain ng pagtatantya ng isang partikular na anyo ng mga pag-andar na kumukuha ng isang discrete set ng mga halaga, ibig sabihin, ang problema ng pagkilala sa pattern.

Sa kasalukuyan, isang klase ng mga problema ang idinaragdag sa klase ng mga problemang ito, na kung minsan ay hindi nangangailangan ng pagsasanay sa pang-eksperimentong materyal, ngunit mahusay na kinakatawan sa isang lohikal na batayan ng neural network. Kabilang dito ang mga gawain na may binibigkas na natural na paralelismo sa pagpoproseso ng signal, pagproseso ng imahe, atbp. Ang punto ng view na sa hinaharap na mga neurocomputer ay magiging mas mahusay kaysa sa iba pang mga arkitektura ay maaaring makumpirma, sa partikular, sa pamamagitan ng matalim na pagpapalawak sa mga nakaraang taon ng klase ng pangkalahatang mga problema sa matematika na nalutas sa lohikal na batayan ng neural network. Ang mga ito, bilang karagdagan sa mga nakalista sa itaas, ay kinabibilangan ng mga problema sa paglutas ng mga linear at nonlinear na algebraic equation at mga high-dimensional na hindi pagkakapantay-pantay; mga sistema ng nonlinear differential equation; partial differential equation; mga problema sa pag-optimize at iba pang mga problema.

Ang pagkamit ng pandaigdigang pangingibabaw ay nakabatay sa dalawang pangunahing istratehiya: superyoridad ng impormasyon at superyoridad sa teknolohiya. Tulad ng para sa huli, ang paglipat sa isang bagong socio-economic formation ng post-industrial na lipunan ay nagdudulot sa unahan ng mga teknolohiya tulad ng genetics at bioengineering, nanotechnology at neuroinformatics.

Ang mga Neuroinformatics, na nakabatay sa mga prinsipyo at mekanismo ng paggana ng utak, ay maaaring magbigay ng parehong teknolohikal at higit na kahusayan sa impormasyon. Ito ay hindi nagkataon na ngayon ang mga neurocomputer ay sumasakop sa isa sa pinakamahalagang lugar kabilang sa mga promising development ng mga armas at kagamitang militar.

Mayroong ilang mga kilalang pagpapatupad sa neuroprocessor chips iba't ibang modelo mga neural network. Ang ilan ay gumagana nang mas mahusay, ang iba ay mas masahol pa, ngunit lahat sila ay may isang bagay na karaniwan - ang pagnanais na tumagos sa mga lihim ng utak ng tao.

Sa mga katalogo ng produkto mula sa Intel Magkahiwalay ang dalawang development na kinomisyon ng DARPA (Defense Advanced Research Projects Agency): ang analog neuroprocessor na i80170NX at ang digital - i80160NC o Ni1000.

Ang mga neuroprocessor ay ang puso ng isang bagong henerasyon ng teknolohiya sa pag-compute - mga neurocomputer. Ang batayan para sa paggana ng naturang mga makina ay ang pagmomodelo ng mga paraan kung saan ang impormasyon ay pinoproseso ng sistema ng nerbiyos at utak ng tao. Ito ay pinaniniwalaan na ang direksyon na ito ay nagsimula noong 1943, nang ang mga Amerikanong siyentipiko na sina W. McCulloch at W. Pitts ay naglathala ng isang artikulo kung saan ang mga neuron - ang mga selula ng nervous system - ay itinuturing na pinakasimpleng. mga lohikal na kagamitan.

Ang McCulloch at Pitts na artipisyal na neuron ay ginagaya, sa unang pagtataya, ang mga katangian ng isang biological neuron. Ang input ng naturang artipisyal na neuron ay tumatanggap ng maraming signal, na ang bawat isa ay ang output ng isa pang neuron. Ang bawat input signal ay pinarami ng isang tiyak na koepisyent na sumasalamin sa kontribusyon na ginawa ng signal na ito sa halaga ng output signal ng neuron. Ang mga signal na natanggap ng neuron at pinarami ng kanilang kaukulang mga coefficient ay summed up, at kung ang kabuuang signal ay mas malaki kaysa sa isang tiyak na threshold, ang neuron ay isinaaktibo at naglalabas ng isang solong salpok sa mga neuron na nauugnay dito. Sa pamamagitan ng pagbabago ng mga halaga ng mga weighting coefficient sa mga input ng neuron nang naaayon, maaari mong makuha ang kinakailangang halaga sa output ng network. Ang proseso ng pagsasaayos ng mga timbang ay tinatawag na pagsasanay neural network. Sa pamamagitan ng pagkakatulad sa pag-aaral ng tao, ang isang neural network ay maaaring sanayin kasama ng isang guro o nang nakapag-iisa, sa pamamagitan ng self-organization.

Ang pagiging simple ng iminungkahing modelo ng neuron ay nagbigay inspirasyon sa maraming mga mananaliksik na naghangad na tumagos sa mga lihim ng utak ng tao.

Sa huling bahagi ng 1950s, ang American F. Rosenblatt, sinusubukang ipaliwanag ang pagpapatakbo ng isang biological neuron, ay iminungkahi ang modelo nito - isang perceptron. Noong unang bahagi ng 60s, binuo ng mathematician na si R. Blok ang recognition theorem, at binuo at ipinatupad ng radio engineer na si B. Widrow ang unang artipisyal na neural network, na kilala sa panitikan bilang "Adaline." Gumawa rin siya ng algorithm na nagtuturo sa kanya na makilala ang mga larawan.

Gayunpaman, hanggang sa kalagitnaan ng 80s, ang mga neural network ay hindi nakatanggap ng karagdagang pag-unlad. Ang lag sa pagitan ng kasanayan at teorya at ang di-kasakdalan ng teknolohiya ay nagkaroon ng epekto. Ginamit mga modelo ng software hindi maihayag ang lahat ng mga pakinabang ng mga neural network, at ang paglikha ng kanilang pagpapatupad ng hardware ay nangangailangan ng napakalaking gastos dahil sa antas ng teknolohiya noon. Ang mga tradisyunal na malalaking computer (mainframes) ay itinuturing na mas promising, ngunit ang mabilis na paglaki sa bilang ng mga napakakomplikadong gawain ay nagpilit sa amin na bumaling muli sa mga artipisyal na neural network.

Ang Intel ay isa sa mga unang higante sa industriya ng kompyuter na naging seryosong interesado sa mga kakayahan ng mga artipisyal na neural network. Ang gawain sa paksang ito ay nagsimula noong 1988. Nang sumunod na taon, ipinakita ang unang working sample ng i80170NX neuroprocessor. Pagkalipas ng isang taon, ang Intel (kasama si Nestor at may suportang pinansyal mula sa DARPA) ay nagsimulang bumuo ng Ni1000 digital neurochip, na inihayag noong 1993 bilang i80160NC.

Ang i80170NX ETANN (Electrically Trainable Analog Neural Network) na processor ng neural network ay isang natatanging chip na idinisenyo upang malutas ang mga problema sa pagkilala ng pattern. Ginagaya ng processor ang gawain ng 64 na biological neuron. Ang bawat processor neuron ay may 128 synapses (input). Sa turn, ang bawat synapse ay konektado sa input ng processor sa pamamagitan ng ilang device na nagbibigay-daan sa iyong magtakda ng koepisyent na nagpapakilala sa lakas ng koneksyon na ito, na ganap na naaayon sa modelong iminungkahi nina W. McCulloch at W. Pitts. Ang data sa input at output ng processor ay analog, ngunit ang mga control function, setting at reading weight coefficient ay digital.

Ang neurochip ay ganap na katugma sa mga tuntunin ng operating signal level na may CMOS at TTL microcircuits. Input signal sa isang neuron ay maaaring mag-iba mula 0 hanggang 2.8 V. Ang mga timbang ng synapse ay kinakatawan din ng boltahe sa hanay mula -2.5 hanggang 2.5 V. Ang processor ay ginawa sa ilalim ng lisensyadong Mga teknolohiya ng Intel- CHMOS III EEPROM.

Ang mataas na parallel na arkitektura na katangian ng mga neural network at isang bilang ng mga tampok ng disenyo ng processor ay naging posible upang makamit ang isang bilis ng 2 bilyong operasyon bawat segundo! Ang i80170NX ay ang puso ng neural accelerator board para sa mga PC. Ang pagganap ng naturang board na may walong processor ay 16 bilyong operasyon kada segundo! Hanggang kamakailan lamang, ang gayong pagganap ay katangian lamang ng mga supercomputer!

Ang mga maikling teknikal na detalye ng processor ay ang mga sumusunod:

• produktibidad 2 bilyong op./s;
• may kakayahang makilala ang 300 libong 128-bit na mga imahe bawat segundo;
• mga modelo ng 64 neuron;
• sumusuporta sa Hopfield neural network, multilayer perceptron at Madaline III na mga modelo.

Ang kadalian ng paglikha ng mga application sa i80170NX ay sinisiguro ng presensya makapangyarihang paraan pag-unlad. Para sa disenyo ng mga neural network, ang iNNTS (Intel Neural Network Training System) at EMB (ETANN Multi-Chip Board) na pakete ay ibinibigay. Kasama rin sa package ang isa sa mga programa para sa pagmomodelo at pag-aaral ng mga artipisyal na neural network na iBrainMaker mula sa California Scientific Software o iDynaMind mula sa NeuroDynamX. Parehong matagumpay ang mga programa user interface at maaaring magamit upang ipakita ang mga katangian at kakayahan ng mga neural network. Para sa parehong kategorya ng mga gumagamit na nagpasya na independiyenteng bumuo ng mga modelo ng neural network, mayroong isang buong library ng mga function para sa pagkontrol sa neurochip - Training System Interface Lib (TSIL).

Ang isa pang pag-unlad ng Intel sa larangan ng mga artipisyal na neural network ay ang processor ng i80160NC. Ang pangunahing pagkakaiba nito mula sa i80170NX ay ganap itong digital.

Teknikal na data ng i80160NC:

• panloob na memorya: 1 libong 256-bit na mga imahe;
• uri ng memorya: Flash EPROM;
• maximum na bilang ng mga klase: 64;
• bilis ng pagkilala: 33 libong mga imahe bawat segundo sa dalas ng 33 MHz.
• Tulad ng i80170NX, ang i80160NC processor ay ibinibigay sa isang neural network accelerator board para sa isang PC. Ang mga katangian ng board ay ang mga sumusunod:
• ISA system bus;
• dalas ng pagpapatakbo 33 MHz;
• bilis ng bus 2 Mbit/s;
• kapangyarihan 8 W.

Ang sumusunod na software ay suportado:

• MS Windows 3.1;
• MS Excel 4.0;
• MS Visual C++, Borland C++.
• Ibinigay kasama ng board ang sumusunod ay nangangahulugan pagbuo ng application:
• Ni1000 Assembler;
• Ni1000 Emulator Lib.;
• Ni1000 Hardware Lib.

Ang Ni1000 Emulator program ay nagpapahintulot sa iyo na i-debug ang application code nang hindi gumagamit ng processor, at pagkatapos makumpleto ang proseso ng pag-debug, agad na magpatuloy sa paggawa sa hardware.

Ang mga pangunahing katangian ng mga processor ng i80170NX at i80160NC ay ibinibigay sa talahanayan. 1.

Ang Ni1000 processor ay binuo bilang isang coprocessor na opsyon para sa mga gawain sa pagkilala ng imahe at nilayon para sa pagsasama sa mataas na pagganap portable scanner. Ang paggamit ng teknolohiya ng neural network ay naging posible upang makamit ang mga makabuluhang resulta sa paglutas ng mga problema ng klase na ito. Kaya, kung pinapayagan ka ng mga processor ng AMD29000 at i80860 RISC na lutasin ang ilang mga problema nang 2-5 beses nang mas mabilis, kung gayon gamit ang i80160NC ang bilis ng paglutas ng mga katulad na problema ay maaaring tumaas ng 100 at kahit 1000 beses! Ang ganitong pagganap ay naging posible na gamitin ang klase ng mga processor upang malutas ang pinaka kumplikadong problema - pagkilala sa fingerprint.

Ano ang ipinangako ng hitsura ng napakalakas na pamilya ng mga processor sa merkado para sa mga developer at gumagamit ng computer? Ngayon mayroong isang bilang ng mga problema ng napakataas na kumplikado. Kabilang dito ang pagtataya ng panahon, kontrol sa trapiko ng hangin sa buong Atlantiko na isinasaalang-alang ang paggalaw ng masa ng hangin, pagmomodelo ng kompyuter mga pagsabog ng nuklear at marami pang iba. Hanggang kamakailan, sinubukan nilang lutasin ang mga naturang problema sa mga supercomputer, ngunit ang halaga ng naturang kagamitan ay napakaganda. Sa Fig. Ipinapakita ng Figure 2 ang posisyon ng iba't ibang supercomputer depende sa kanilang gastos at pagganap. Malinaw na nakikita na ang i80160NC ay ang hindi mapag-aalinlanganang pinuno. Nag-iiwan ito ng mga halimaw tulad ng Cray at Cyber ​​​​na malayo.

Ang mga bagong abot-tanaw ay nagbubukas para sa mga developer ng system artipisyal na katalinuhan. Ang hitsura ng naturang mga processor ay nangangahulugan ng isang pambihirang tagumpay sa paglutas ng mga problema ng pagkilala sa imahe, at samakatuwid ay pagkilala sulat-kamay na teksto, mga talumpati, atbp. Kaya, ipinakita ng mga dalubhasa sa Hapon na ang paggamit ng mga neural network ay posible na magsagawa ng sabay-sabay na pagsasalin mula sa wikang Hapon sa Ingles.

Ang milestone na nagawa ng mga espesyalista ng Intel sa pagmomodelo ng mga neural network ay maaaring katawanin ng isang diagram na katulad ng ipinapakita sa Fig. 3, na naghahambing ng mga neural network ng mga buhay na organismo at ang mga kunwa gamit ang mga Intel processor.

Ang mga nag-develop ng neuroprocessor ay pabirong tinatawag ang kanilang utak na walang iba kundi isang "supersonic slug."

Pangarap ng tao na lumikha kompyuter, na may kakayahang lumampas o hindi bababa sa katumbas ng mga intelektwal na kakayahan ng isang tao, ay nananatiling napakalayo. Gayunpaman, masasabing may kumpiyansa na Trabaho ng Intel sa paglikha ng mga artipisyal na neural network, pinalapit namin ang sandali kung kailan ang isang artipisyal na utak ay magiging puso ng isang desktop computer.

Mula nang ilabas ang mga processor ng Intel, maraming mga modelo ng mga neurocomputer ang lumitaw sa mundo; 2.

Sa ngayon, ang isang malaking bilang ng iba't ibang mga accelerator board at mga dalubhasang neurocomputer ay binuo. Ginagamit na ang mga neural computer sa iba't ibang larangan ng aktibidad ng tao. Sa Estados Unidos, mayroong isang sistema para sa pag-detect ng mga plastic na pampasabog sa mga bagahe ng mga pasahero sa himpapawid batay sa isang neural network. Maraming atensyon nakatutok sa paggamit ng mga neural processor sa paglipat ng mga system sa mga network ng data. May mga fingerprint identification system gamit ang mga neural network. Inilalarawan ng panitikan ang maraming iba pang mga kaso ng matagumpay na paggamit ng mga neural processor.

Ang isang tampok na katangian ng bagong yugto ng pag-unlad ng teknolohiya ng computer ay ang dala nito mga pangunahing pagbabago sa mundo ng computer science. Sa pagtatatag ng susunod na henerasyon ng teknolohiya ng computer sa lipunan, hindi na kakailanganin ang propesyon ng isang programmer, at ang kanyang lugar ay kukunin ng isang espesyalista sa pagsasanay sa neurocomputer. Ang pag-commissioning ng bawat bagong computer ay mauuna sa pagsasanay nito. Posible na magkakaroon ng pangangailangan para sa mga cyberpsychologist at neural computer educators. Kaya, tayo ay nabubuhay sa isang pagbabago sa pag-unlad ng computer science at teknolohiya ng computer, at ang mga neural processor ng Intel - ang mga unang palatandaan ng panahon ng mga neural computer - ay may malaking papel sa pagsasagawa nito.

Panitikan

1. A. Thakoor et al., Pagsusuri ng Programa ng DARPA, Dis. 1991, Washington, D.C.
2. M. Holler, S. Tam, H. Castro, R. Benson, "Isang Electrically Trainable Artificial Neural Network (ETANN) na may 10240 "Floating Grate" Synapses," International Joint Conference on Neural Networks, Hunyo 1989, Washington, D.C.
3. Intel, i80170NX Electrically Trainable Analog Neural Network, Intel Corp., Hunyo 1991.
4. Stanly, Jeanette, Introduction to Neural Networks, California Scientific Software, 1990.
5. Intel, 80170NX Neural Network Technology at Application, Intel Corp., 1992.

Sergey Grinyaev

Tinatanggap namin ang aming mga mambabasa sa mga pahina ng iCover blog! Sa kaganapang ginanap noong unang bahagi ng Pebrero sa San Francisco internasyonal na kumperensya Internasyonal Solid State Ang Circuits Conference (ISSCC-2016), isang pangkat ng mga developer mula sa MIT (Massachusetts Institute of Technology) ay nagpakita ng isang gumaganang prototype ng bagong henerasyong Eyeriss chip, na nilikha bilang isang konseptong solusyon upang muling likhain ang mga kakayahan ng neural network algorithm sa isang malawak na hanay. ng mga aparatong may mababang kapangyarihan.

Isa sa mga layuning dahilan Ang dahilan kung bakit ang mga artipisyal na neural network ay hindi nakatanggap ng wastong pag-unlad sa aming mga smartphone o tablet ay ang kakulangan ng isang compact power source ng sapat na kapangyarihan. Pagkatapos ng lahat, ang tinatawag na parang utak, "tulad ng utak" na mga artificial intelligence system, kahit man lang sa anyo kung saan ipinakita ang mga ito makabagong teknolohiya Nakasalalay sila sa kanilang trabaho sa mga makapangyarihang multi-core processor, na kumokonsumo ng hindi kapani-paniwalang dami ng enerhiya kumpara sa ating utak. Imposibleng isipin ang mga ganitong solusyon sa antas ng mga device ng user-class, kahit hanggang kamakailan lang. Kasabay nito, ang ideya ng "miniaturization" ng artipisyal na katalinuhan ay naging kapana-panabik sa mga isipan ng mga developer sa loob ng mahabang panahon at, tulad ng lumalabas, ay nagdudulot na ng mga nasasalat na bunga.

Ang mga neural network ay naging pokus ng pansin ng siyensya mula noong mga unang araw ng pagsasaliksik ng artificial intelligence, ngunit noong 1970s, medyo nakalimutan ang mga ito. Sa huling dekada, ang mga teknolohiyang nauugnay sa paggamit ng mga neural network ay pinag-aralan sa antas ng mga programang "malalim na pagkatuto".

"Ang malalim na pag-aaral ay may maraming mga aplikasyon, tulad ng pagkilala sa bagay, pagkilala sa pagsasalita, o pagkilala sa mukha," tala sina Vivienne Sze at Emanuel E. Landsman, assistant professor ng electrical engineering sa MIT. agham sa kompyuter, na ang grupo ay bumuo ng bagong chip. "Ngayon, ang mga neural network ay medyo kumplikado at gumagana pangunahin sa mga makapangyarihang chips. Isipin na magagawa mong dalhin ang pagpapaandar na ito sa iyong mobile phone o isang built-in na device at pagkatapos ay magproseso ng napakalaking halaga ng impormasyon nang hindi gumagamit ng koneksyon sa Wi-Fi. Ang pagpoproseso ng malaking halaga ng data sa iyong smartphone ay maiiwasan ang pagkaantala na nangyayari dahil sa palitan ng data sa network, na, sa turn, ay magbibigay-daan sa maraming mga application na gumana nang mas mahusay. Bilang karagdagan, ang iminungkahing solusyon ay magbibigay ng bagong kalidad ng proteksyon para sa kumpidensyal na impormasyon."

Karaniwang ipinapatupad ang mga neural network batay sa multi-core Mga GPU(GPU). Sa International Conference sa San Francisco, ipinakita ng mga mananaliksik ng MIT ang isang bagong 168-core chip na idinisenyo upang ipatupad ang mga algorithm ng artificial intelligence batay sa mga neural network. Kung ikukumpara sa isang mobile GPU (hindi tinukoy kung alin), ang processor ay nagpakita ng 10 beses na mas mataas na kahusayan, na nagbibigay-daan sa mobile device ng user na magamit upang magpatakbo ng mga mahuhusay na algorithm ng artificial intelligence nang lokal nang hindi kinakailangang magpadala ng data sa cloud para sa pagproseso. Ang mga pangunahing punto ng pag-unlad ay makikita sa MIT press release na may petsang Pebrero 3, 2016.

Ang bagong chip, na tinatawag na "Eyeriss" ng mga developer, ay makakahanap ng malawak na aplikasyon sa Internet of Things, naisusuot na electronics, self-driving mga sasakyan, kagamitan sa produksyon, at maging sa agrikultura, na tumutulong sa solusyon at koordinasyon ng mga kasalukuyang gawain. Gamit ang mga algorithm ng artificial intelligence sa board mga mobile device ay makakagawa ng mga desisyon sa lokal na antas, na nagbibigay sa user ng isang handa na resulta bilang gabay sa pagkilos, sa halip na isang set ng "raw" na data mula sa Internet. At, siyempre, isa sa mga aplikasyon ng mga lokal na neural network ay ang kanilang paggamit sa paglikha ng mga autonomous na robot para sa isang malawak na iba't ibang mga layunin.

Hatiin at lupigin

Ang mga neural network ay karaniwang may multilayer na istraktura at ang bawat layer ay naglalaman malaking bilang pagpoproseso ng mga node. Naka-on paunang yugto dumarating ang pagproseso ng data at ipinamamahagi sa mga node ng mas mababang layer. Pagkatapos iproseso ang natanggap na data ng bawat node, ang resulta ay ililipat para sa pagproseso sa mga node ng susunod na layer. Sa output ng huling layer, ang resulta ng paglutas ng problema ay nabuo. Alinsunod dito, ang paglutas ng malalaking problema gamit ang inilarawang algorithm ay mangangailangan ng makabuluhang mapagkukunan ng pag-compute.

Ang mga kinakailangan na unang ipinakita sa chip ng mga developer mismo ay naglagay sa kanila sa loob ng isang medyo mahigpit na balangkas: sa isang banda, ang solusyon ay dapat na mahusay sa enerhiya, sa kabilang banda, dapat itong gumana. mga simpleng bloke impormasyon. Sa wakas, ang chip ay dapat na magawang gayahin iba't ibang uri neural network na isinasaalang-alang ang kasalukuyang mga gawain na nakatalaga dito. Ang lahat ng mga kinakailangang ito ay matagumpay na naipatupad sa processor ng Eyeriss.

Ang chip, na binuo sa laboratoryo ng MIT, ay isang nabuo nang neural network, na naisalokal sa antas ng isang 168-core processor, na sa hinaharap ay maaaring itayo sa mga mobile device.

Ang susi sa kahusayan ng Eyeriss ay ang pagliit ng dalas ng komunikasyon sa pagitan ng mga core at mga panlabas na bangko memorya, mga operasyong nauugnay sa mataas na pagkonsumo ng enerhiya at mga gastos sa oras. Habang ang mga tradisyonal na GPU core ay nakatali sa isang karaniwang memory bank, ang bawat Eyeriss core ay mayroon sariling alaala. Bilang karagdagan, ang data ay sumasailalim sa isang compression procedure bago ipadala sa mga kalapit na core.

Ang isa pang bentahe ng ipinatupad na algorithm ay ang kakayahan ng mga core na "makipag-usap" sa isa't isa nang direkta, na lampasan ang "tagapamagitan" sa anyo ng system memory bus. Ito ay kritikal mahalagang katangian upang gayahin ang pagpapatakbo ng isang "convolutional neural network" (CNN). Ang lahat ng computational work na kinakailangan para sa pagkilala ng imahe at pagsasalita ay ginaganap nang lokal sa Eyeriss, nang hindi kinakailangang i-access ang mga mapagkukunan ng network, na nagpapahintulot sa device na gumana nang mahusay kahit na walang panlabas na network.

Sa wakas, ang isa pang bentahe ng Eyeriss ay ang prinsipyo ng "matalinong" pamamahagi ng mga indibidwal na gawain sa pag-compute sa pagitan ng mga core sa loob ng balangkas ng isang solong problema na lutasin. Sa kanyang lokal na memorya Ang kernel ay dapat mag-imbak hindi lamang ng data na naproseso ng mga node, kundi pati na rin ng data na naglalarawan sa mga node mismo. Para masiguro pinakamataas na pagganap proseso ng pagpoproseso ng data, pati na rin upang mai-load ang Eyeriss ng maximum na dami ng data mula sa pangunahing memorya, ang algorithm ng pamamahagi ng data para sa parehong mga uri ay na-optimize ng isang chip na espesyal na idinisenyo para sa layuning ito sa real time, na isinasaalang-alang ang mga tampok ng kasalukuyang neural network.

Sa International Solid State Circuits Conference sa San Francisco, ang development team, gamit ang mga kakayahan ng eyeriss chip na antas ng "user", ay nagpakita ng pagpapatupad ng algorithm ng pagkilala ng pattern sa loob ng isang lokal na neural network. Ang isang katulad na gawain, na nabanggit sa press release, ay ipinatupad nang mas maaga, ngunit sa antas ng mga proyekto ng gobyerno ng mga pinaka-modernong neural network na nilikha.

“Napakahalaga ng gawaing ito dahil ipinapakita nito kung gaano kabisang maihahatid ng mga naka-embed na deep learning processor ang kinakailangang kapangyarihan at pagganap ng pag-optimize at magdala ng kumplikado mga proseso ng pag-compute mula sa cloud hanggang sa mga mobile device," sabi ni Mike Polley, senior vice president ng laboratoryo mga mobile processor Idinagdag ng Samsung's Innovations Lab: "Bilang karagdagan sa isang makabagong hanay ng mga solusyon sa hardware, malinaw na ipinapakita ng pananaliksik ng MIT kung paano maaaring gawing kapaki-pakinabang ang naka-embed na kernel para sa mga developer ng application gamit ang standard arkitektura ng network AlexNet at Caffe".

Ang pagpopondo para sa proyekto ng Eyeriss, simula sa paglikha ng isang yunit na nakabase sa laboratoryo ng MIT, ay bahagyang ibinigay ng ahensya ng depensa ng Amerika na DARPA. Hindi nakakagulat na ang unang tumugon sa anunsyo ng processor na may kahanga-hangang materyal na pang-editoryal ay ang sikat na analyst ng militar na si Patrick Tucker. Ang mga bagong processor ng Eyeriss na naka-install sa mga mobile device ng mga sundalo ng US, sa kanyang opinyon, ay may kakayahang lutasin ang mga kumplikadong problema sa computing na nauugnay sa pagproseso ng napakalaking halaga ng impormasyon nang hindi kumokonekta sa isang karaniwang network.

Kaya, ang US Air Force ay kasalukuyang tumatanggap ng hanggang 1,500 oras ng HD na video at hanggang 1,500 litrato araw-araw mula sa mga drone na umaaligid sa Afghanistan. napakataas na resolution. Bukod dito, ang lahat ng walang katapusang daloy ng impormasyon na ito ay kailangang biswal na masuri ng mga operator sa makalumang paraan, dahil ang umiiral na software ng computer ay hindi nakikilala ang isang magsasaka na naglalakad sa isang landas ng bundok na may isang stick mula sa isang terorista na may isang launcher para sa mga guided missiles. . Ang mga pamamaraan ay unang nilikha upang malutas ang mga naturang problema. machine learning,batay sa pagkatuto ng representasyon.

Tamang-tama ang mga processor ng Eyeriss para sa pag-install sa mga unmanned military drone, dahil papayagan nila ang matalinong pagproseso ng hanay ng mga larawan at video gamit ang mga deep learning na teknolohiya nang direkta sa sasakyang panghimpapawid. Sa kasong ito, ang na-screen out na kapaki-pakinabang na data ay maaaring direktang ipadala sa mga yunit ng labanan na tumatakbo sa tinukoy na rehiyon, na lumalampas sa sentro ng pagsusuri impormasyon sa pagpapatakbo.

Maikling buod

Sa panahon ng mga eksperimento, nagpakita ang Eyeriss chip ng antas ng kahusayan sa enerhiya nang sampung beses na mas mataas kaysa sa modernong mga mobile phone. graphics chips. Kasabay nito, sa tulong nito ay lumalabas na posible sa teknolohiya upang matiyak ang pagpapatakbo ng mga algorithm ng artificial intelligence sa mga device na may compact size– mula sa mga smartphone at tablet hanggang sa naisusuot na electronics. Ang mga pagkaantala na ginawa ng mga network sa panahon ng pagpapalitan ng data para sa naturang processor ay mababawasan, dahil ang chip ay maaaring magsagawa ng karamihan sa mga kalkulasyon nang lokal. Batay sa Eyeriss, magiging posible na lumikha ng hindi lamang lahat ng uri ng " matalinong mga aparato", ngunit pati na rin ang mga robot na may partikular na antas ng kalayaan sa paggawa ng desisyon.

Ang mga developer ng MIT ay hindi pa pinangalanan ang mga partikular na agwat ng oras kung saan ang Eyeriss ay magagawang mag-transform sa isang komersyal na produkto at ganap na ibunyag ang mga kakayahan nito sa antas ng consumer. Ang isang tiyak na optimismo ay inspirasyon ng paglahok ng nangungunang mga espesyalista sa NVIDIA sa pag-unlad at ang matalas na interes ng mga responsable mga mananaliksik mula sa Samsung.