Een computer kan veel ten minste, met betrekking tot informatieverwerking. Het is echter extreem om hem natuurlijke taal te leren niet-triviale taak. Deze uitdaging vormde de basis van het IBM DeepQA-project, dat resulteerde in de geboorte van een cognitieve technologie genaamd IBM Watson, ter ere van Thomas Watson, die voorop liep bij de vorming van IBM.

Het is niet moeilijk om uit te leggen wat Watson is – dat is het cognitieve systeem, in staat om in natuurlijke taal met een persoon te communiceren. Dat wil zeggen: begrijp geschreven spraak en reageer op dezelfde manier. En als IBM zich daartoe had beperkt, was Watson niets meer dan gebleven experimentele opstelling. Maar er werd snel een baan voor hem gevonden en voor veel bedrijven werd hij een werkelijk onmisbare medewerker.

Het bleek dat deze kennis overal kan worden toegepast waar grote hoeveelheden ongestructureerde data moeten worden verwerkt. Voor hoogwaardige en snelle analyses van dergelijke gegevens moeten ze worden verwerkt met behulp van alle beschikbare moderne hulpmiddelen computertechnologie: machinaal leren, computationele taalkunde, ontologische constructies en high-performance computing. Dat is waarvoor IBM Watson is ontworpen.

De kerncompetenties van IBM Watson kunnen in vier punten worden samengevat:

• Natuurlijk taalbegrip.
• Hypotheses bouwen op basis van verwerkte gegevens.
• Leren op de werkvloer.
• Het doen van een aanbeveling, vergezeld van de feiten waarop de conclusie is gebaseerd.

Een persoon is niet in staat om binnen een redelijke tijd een echt grote hoeveelheid gegevens te analyseren, en in ieder geval zal hij de meeste informatie moeten weggooien, waarbij hij naar zijn mening het belangrijkste benadrukt. Fouten zijn hier onvermijdelijk, bovendien zijn weggegooide gegevens ook van belang en zouden ze het resultaat moeten beïnvloeden. En in dit opzicht is Watson vele malen superieur aan de mens: het houdt met alles rekening, met niets bekend feit zal niet ongewaardeerd blijven.

De eerste publieke test van het systeem was deelname aan het Amerikaanse spel Jeopardy! (Russisch equivalent - "Eigen spel"). Zonder internetverbinding kon Watson, met behulp van open informatiebronnen zoals de volledige tekst van Wikipedia, algemene encyclopedieën en woordenboeken, de twee recordhouders van dit spel verslaan.

Wij nodigen u uit in het IBM-klantencentrum voor een seminar "Watson Analytics" en geavanceerde technologieën op het gebied van analytics!

IBM Watson is een van de eerste cognitieve systemen ter wereld. Dit systeem kan veel, waardoor de mogelijkheden van Watson op veel gebieden worden gebruikt: van koken tot het voorspellen van ongelukken in bevolkte gebieden. Over het algemeen zijn de meeste capaciteiten van Watson niet iets unieks, maar bij elkaar genomen zijn al deze capaciteiten zeer uniek krachtig hulpmiddel om verschillende problemen op te lossen.

Bijvoorbeeld: natuurlijke taalherkenning, dynamisch systeemleren, constructie en evaluatie van hypothesen. Dit alles zorgde ervoor dat IBM Watson leerde directe, correcte antwoorden te geven (met hoge graad betrouwbaarheid) op de vragen van de operator. Tegelijkertijd is het cognitieve systeem in staat grote hoeveelheden mondiale ongestructureerde gegevens voor werk te gebruiken. Grote gegevens. Wat zijn de basisprincipes van de manier waarop IBM Watson met taal werkt? Hierover meer in het vervolg.

Belangrijkste uitdagingen van natuurlijke taalherkenning

Voor mensen is taal een middel om gedachten uit te drukken. We gebruiken taal om onze meningen, gegevens en informatie over te brengen. We kunnen voorspellingen doen en theorieën vormen. Het is taal die de hoeksteen van ons bewustzijn is. Tegelijkertijd is er sprake van een paradox: de menselijke taal is zeer onnauwkeurig.

Veel termen zijn onlogisch en het kan voor computersystemen erg moeilijk zijn om ons te begrijpen. Hoe kan een stem bijvoorbeeld dun zijn? Hoe kun je van schaamte opbranden? Voor een machine is dit een probleem, maar voor een persoon is het iets heel gewoons. Feit is dat om een ​​vraag correct te kunnen beantwoorden, het in veel gevallen noodzakelijk is om rekening te houden met de bestaande context. Zonder voldoende feitelijke informatie is het moeilijk een vraag correct te beantwoorden, ook al kun je letterlijk het exacte antwoord op de elementen van de vraag vinden.

Natuurlijke taalverwerking - Aan de slag

Veel computersystemen zijn in staat taal te analyseren, maar tegelijkertijd wordt een oppervlakkige analyse uitgevoerd. Dit kan bijvoorbeeld zinvol zijn om op basis van grote hoeveelheden informatie een statistisch geldige beoordeling te maken van trends in veranderingen in emoties. Hier is de nauwkeurigheid van de informatieoverdracht niet erg belangrijk, want zelfs als we aannemen dat het aantal vals-positieve resultaten ongeveer gelijk is aan het aantal vals-negatieve resultaten, heffen ze elkaar op.

Maar als alle gevallen ertoe doen, kunnen systemen die met oppervlakkige taalanalyse werken hun werk niet meer goed doen. Een treffend voorbeeld wat er is gezegd kan een taak zijn stem assistent een van mobiele apparaten. Als u zegt 'zoek een pizza voor mij', geeft de assistent een lijst met pizzeria's weer. Als u bijvoorbeeld zegt 'zoek geen pizza voor mij in Madrid', zal het systeem nog steeds zoeken. Dergelijke systemen werken door bepaalde trefwoorden te identificeren en een bepaalde reeks regels te gebruiken. Het resultaat kan accuraat zijn gegeven systeem regels, maar verkeerd.

Diepe natuurlijke taalverwerking

Om het systeem te leren complexe semantische structuren te analyseren, rekening houdend met emoties en andere factoren, gebruikten specialisten diepe natuurlijke taalverwerking. Namelijk een vraag-beantwoordend contentanalysesysteem (Deep Question*Answering, DeepQA). Als een grotere nauwkeurigheid vereist is, moet u deze gebruiken aanvullende methoden natuurlijke taalverwerking.
IBM Watson is een diep natuurlijk taalverwerkingssysteem. Bij het analyseren specifiek probleem Om het juiste antwoord te geven, probeert het systeem een ​​zo breed mogelijke context te evalueren. Hierbij wordt niet alleen gebruik gemaakt van de vraaginformatie, maar ook van kennisbankgegevens.
De creatie van een systeem dat in staat is tot diepgaande verwerking van natuurlijke taal maakte het mogelijk om een ​​ander probleem op te lossen: de analyse van de enorme hoeveelheid informatie die dagelijks wordt gegenereerd. Dit is ongestructureerde informatie, zoals tweets, berichten sociale netwerken, rapporten, artikelen en meer. IBM Watson heeft geleerd dit alles te gebruiken om menselijke problemen op te lossen.

IBM Watson cognitieve systeem

Watson is een ander niveau van computermogelijkheden. Het systeem kan bepaalde uitspraken in natuurlijke taal scheiden en verbanden leggen tussen deze uitspraken. Tegelijkertijd kan Watson de taak, in veel gevallen zelfs, aan beter dan de mens Hoewel de gegevensverwerking veel sneller gaat, wordt er met veel werk verricht grote volumes- een persoon is hier eenvoudigweg niet toe in staat.

Basiskenmerken van het cognitieve systeem

Het systeem werkt in deze volgorde:

1. Wanneer Watson een vraag ontvangt, ontleedt het deze om de belangrijkste kenmerken van de vraag te achterhalen.

2. Het systeem genereert een reeks hypothesen door het corpus te scannen op zoek naar zinsneden die, met enige mate van waarschijnlijkheid, het vereiste antwoord kunnen bevatten. Om leiding te geven efficiënt zoeken in stromen van ongestructureerde informatie zijn compleet andere computercapaciteiten nodig * ze worden cognitieve systemen genoemd. (Ik begrijp de laatste zin en de rol van het sterretje niet echt)

3. Het systeem presteert diepe vergelijking taal van de vraag en de taal van elk mogelijk antwoord, met behulp van verschillende algoritmen logische gevolgtrekking.

Dit is een moeilijke fase. Er zijn honderden inferentie-algoritmen, en dat doen ze allemaal verschillende vergelijkingen. Sommigen zoeken bijvoorbeeld naar overeenkomende termen en synoniemen, anderen kijken naar temporele en ruimtelijke kenmerken, terwijl anderen relevante bronnen van contextuele informatie analyseren.

4. Elk inferentiealgoritme levert één of meer scores op die aangeven in hoeverre een mogelijk antwoord volgt uit een vraag in het domein dat door het algoritme wordt beschouwd.

5. Aan elke behaalde score wordt vervolgens een wegingscoëfficiënt toegewezen volgens een statistisch model, dat vastlegt hoe succesvol het algoritme was bij het identificeren van logische verbindingen tussen twee vergelijkbare uitdrukkingen uit dit gebied tijdens Watsons ‘leerperiode’. Dit statistische model kan vervolgens worden gebruikt om het algehele vertrouwensniveau te bepalen Watson-systemen is dat uit de vraag een mogelijk antwoord volgt.

6. Watson herhaalt het proces voor iedereen mogelijke optie antwoord totdat hij antwoorden vindt die een grotere kans hebben om correct te zijn dan andere.

Zoals hierboven vermeld, moet het systeem contact opnemen om een ​​vraag correct te beantwoorden aanvullende bronnen gegevens. Dit kunnen studieboeken, handleidingen, veelgestelde vragen, nieuws en al het andere zijn. Watson verwerkt binnen enkele seconden enorme hoeveelheden informatie om het juiste antwoord te krijgen. Tegelijkertijd wordt ook de gevonden inhoud gecontroleerd, verouderde en nutteloze gegevens verwijderd.

Elementen van het cognitieve systeem

Watson leidt de algemene betekenis van de tekst af uit de ontvangen informatie, uit de aanvullende basis. Hierbij wordt de titel van het document, een deel van de tekst van het document of de gehele tekst gebruikt.

Cognitieve systemen en hun methoden voor het verzamelen, onthouden en ophalen van informatie zijn vergelijkbaar met de manier waarop mensen informatie analyseren. In dit geval kunnen cognitieve systemen informatie doorgeven en handelen. Hier zijn voorbeelden van gedragsconstructies die in dit geval worden gebruikt:

Vermogen om hypothesen te creëren en te testen;
- het vermogen om in componenten op te splitsen en logische conclusies over de taal te trekken;
- vermogen om te extraheren en te evalueren nuttige informatie(zoals data, locaties en kenmerken).

Zonder deze vaardigheden zal noch een computer, noch een mens de juiste relatie tussen vragen en antwoorden kunnen bepalen.
Cognitieve processen zijn meer hoge orde kan bereiken hoog niveau begrip, waarbij de nadruk ligt op fundamentele gedragswijzen. Om iets te begrijpen moeten we informatie kunnen opdelen in kleinere elementen die op het betreffende niveau redelijk goed georganiseerd zijn. Fysische processen bij de mens verlopen heel anders dan processen op kosmische schaal of op het niveau van elementaire deeltjes. Op dezelfde manier zijn cognitieve systemen ontworpen om op menselijk niveau te werken, ook al vertegenwoordigen ze een grote verscheidenheid aan mensen.

In dit opzicht begint het begrijpen van taal met meer begrijpen eenvoudige regels taal – niet alleen de formele grammatica, maar ook de informele conventies die in het dagelijks gebruik in acht worden genomen.

Waarom dit allemaal?

Nu kan het cognitieve systeem van IBM Watson, dankzij vele jaren van training en verbetering, het meeste werk verrichten verschillende gebieden. Hier hebben we medicijnen, koken, taalkunde en het oplossen van zakelijke problemen met wetenschappelijke problemen.

Aanvankelijk hadden specialisten de keuze: het systeem universeel of gespecialiseerd maken. Elke optie heeft zijn eigen voor- en nadelen, maar de keuze is gemaakt in de richting van veelzijdigheid.

Het bedrijf is er al vaker van overtuigd geweest dat zijn keuze de juiste was

Moderne supercomputers zijn verschillende servercomputers die op een netwerk zijn aangesloten. Hun rekensnelheid wordt gemeten in petaflops.

• 1 petaflops = 10 15 bewerkingen per seconde

De gemiddelde prestatie van het menselijk brein is 20 petaflops. Er zijn maar een paar supercomputers ter wereld die geweldige prestaties leveren, maar geen enkele kan het menselijk brein vervangen.

Er zijn momenteel enkele honderden supercomputers in de wereld. De krachtigste zijn opgenomen in de jaarlijkse TOP-500-ranglijst. In 2016 werd deze rating aangevoerd door het Chinese Sunway TaihuLight. Daarvoor bekleedde hij ook drie jaar de leiding Chinese computer Tianhe-2. IBM heeft twee supercomputers in deze ranglijst: Mira en Sequoia. Laatstgenoemde was in 2012 leider en staat nu op de vierde plaats.

Andrej Filatov ( algemeen directeur IBM in Rusland en GOS-landen) over cognitieve technologieën

dr. Watson is de bekendste supercomputer

Het belangrijkste voordeel van Watson is dat het vragen in natuurlijke taal begrijpt en beantwoordt door gegevens te analyseren. In 2011 versloeg Watson mensen tijdens een spelshow Gevaar!(Russisch equivalent - "Eigen spel").

Watson is een reeks applicatietechnologieën genaamd " clouddiensten" Watson wordt het meest actief gebruikt in de geneeskunde en helpt bij het diagnosticeren en behandelen van kanker. Het geheugen bevat meer dan 600.000 medische rapporten. Het wordt ook gebruikt bij financiële sector, rechten, hotelwezen en vele andere industrieën. Bovendien kan hij zelfs een gesprek voeren met beroemdheden.

Er is een fout opgetreden tijdens het laden.

Watson praat met de Amerikaanse tennisster Serena Williams

Applicaties voor IBM Watson

Onderwijs. Amerikaanse scholen testen Teacher Advisor met Watson, een cognitief hulpmiddel dat tips voor verbetering biedt curricula en personalisatie van trainingsprogramma’s.

Wetenschap. Johnson & Johnson gebruikt Watson om wetenschappelijke literatuur te analyseren. Uit een enorme hoeveelheid materialen selecteert hij de materialen die nodig zijn voor onderzoek, en onderzoek kan veel sneller en efficiënter worden uitgevoerd.

Arbeidsveiligheid. Fabrikant van gewalst staal North Star BlueScope Steel wil Watson Internet of Things gebruiken om oplossingen te creëren om werknemers in extreme situaties te beschermen. Werknemers zullen ook apparaten dragen om gegevens te verzamelen en te verwerken. Als zich gevaarlijke omstandigheden voordoen, wordt er onmiddellijk informatie naar het management van North Star gestuurd.

Cyberbeveiliging. Cybercriminelen hacken informatiesystemen bedrijven, en vervolgens de toegang daartoe verkopen op het ‘zwarte’ internet. Indien in één deel bol Als er een storing of fraude optreedt, waarschuwt het Watson-systeem andere gebruikers van het systeem.

Geneesmiddel. Universiteit van North Carolina en 12 andere studiecentra oncologische ziekten gebruiken Watson om het DNA van patiënten te analyseren om vervolgens gepersonaliseerde behandelingen te ontwikkelen.

Geen enkele arts kan zo’n enorme hoeveelheid informatie analyseren, alleen een computer

3 september 2015 om 11:34 uur

IBM Watson Cognitive System: principes van het werken met natuurlijke taal

• IBM-blog,
• Algoritmen

IBM Watson is een van de eerste cognitieve systemen ter wereld. Dit systeem kan veel, waardoor de mogelijkheden van Watson op veel gebieden worden gebruikt: van koken tot het voorspellen van ongelukken in bevolkte gebieden. Over het algemeen zijn de meeste capaciteiten van Watson niet uniek, maar samen vormen al deze capaciteiten een zeer krachtig hulpmiddel voor het oplossen van een verscheidenheid aan problemen.

Bijvoorbeeld: natuurlijke taalherkenning, dynamisch systeemleren, constructie en evaluatie van hypothesen. Dit alles stelde IBM Watson in staat om directe, correcte antwoorden (met een hoge mate van betrouwbaarheid) te leren geven op de vragen van de operator. Tegelijkertijd is het cognitieve systeem in staat grote hoeveelheden mondiale ongestructureerde gegevens, Big Data, te gebruiken. Wat zijn de basisprincipes van de manier waarop IBM Watson met taal werkt? Hierover meer in het vervolg.

Belangrijkste uitdagingen van natuurlijke taalherkenning

Voor mensen is taal een middel om gedachten uit te drukken. We gebruiken taal om onze meningen, gegevens en informatie over te brengen. We kunnen voorspellingen doen en theorieën vormen. Het is taal die de hoeksteen van ons bewustzijn is. Tegelijkertijd is er sprake van een paradox: de menselijke taal is zeer onnauwkeurig.

Veel termen zijn onlogisch en het kan voor computersystemen erg moeilijk zijn om ons te begrijpen. Hoe kan een stem bijvoorbeeld dun zijn? Hoe kun je van schaamte opbranden? Voor een machine is dit een probleem, maar voor een persoon is het iets heel gewoons. Feit is dat om een ​​vraag correct te kunnen beantwoorden, het in veel gevallen noodzakelijk is om rekening te houden met de bestaande context. Zonder voldoende feitelijke informatie is het moeilijk een vraag correct te beantwoorden, ook al kun je letterlijk het exacte antwoord op de elementen van de vraag vinden.

Natuurlijke taalverwerking - Aan de slag

Veel computersystemen zijn in staat taal te analyseren, maar de analyse is oppervlakkig. Dit kan bijvoorbeeld zinvol zijn om op basis van grote hoeveelheden informatie een statistisch geldige beoordeling te maken van trends in veranderingen in emoties. Hier is de nauwkeurigheid van de informatieoverdracht niet erg belangrijk, want zelfs als we aannemen dat het aantal vals-positieve resultaten ongeveer gelijk is aan het aantal vals-negatieve resultaten, heffen ze elkaar op.

Maar als alle gevallen ertoe doen, kunnen systemen die met oppervlakkige taalanalyse werken hun werk niet meer goed doen. Een treffend voorbeeld hiervan zou een taak kunnen zijn voor de stemassistent van elk mobiel apparaat. Als u zegt 'zoek een pizza voor mij', geeft de assistent een lijst met pizzeria's weer. Als u bijvoorbeeld zegt 'zoek geen pizza voor mij in Madrid', zal het systeem nog steeds zoeken. Dergelijke systemen werken door bepaalde trefwoorden te identificeren en een bepaalde reeks regels te gebruiken. Het resultaat kan accuraat zijn in een bepaald systeem van regels, maar onjuist.

Diepe natuurlijke taalverwerking

Om het systeem te leren complexe semantische structuren te analyseren, rekening houdend met emoties en andere factoren, gebruikten specialisten diepe natuurlijke taalverwerking. Namelijk een vraag-beantwoordend contentanalysesysteem (Deep Question*Answering, DeepQA). Als een grotere nauwkeurigheid vereist is, moeten aanvullende natuurlijke taalverwerkingsmethoden worden gebruikt.
IBM Watson is een diep natuurlijk taalverwerkingssysteem. Bij het analyseren van een specifieke vraag probeert het systeem een ​​zo breed mogelijke context te beoordelen om het juiste antwoord te geven. Hierbij wordt niet alleen gebruik gemaakt van de vraaginformatie, maar ook van kennisbankgegevens.
De creatie van een systeem dat in staat is tot diepgaande verwerking van natuurlijke taal maakte het mogelijk om een ​​ander probleem op te lossen: de analyse van de enorme hoeveelheid informatie die dagelijks wordt gegenereerd. Dit is ongestructureerde informatie, zoals tweets, posts op sociale media, rapporten, artikelen, enz. IBM Watson heeft geleerd dit alles te gebruiken om menselijke problemen op te lossen.

IBM Watson cognitieve systeem

Watson is een ander niveau van computermogelijkheden. Het systeem kan bepaalde uitspraken in natuurlijke taal scheiden en verbanden leggen tussen deze uitspraken. Tegelijkertijd kan Watson de taak in veel gevallen zelfs beter aan dan een mens, terwijl de gegevensverwerking veel sneller gaat, het werk met veel grotere volumes wordt uitgevoerd - een persoon is hier eenvoudigweg niet toe in staat.

Basiskenmerken van het cognitieve systeem

Het systeem werkt in deze volgorde:

1. Wanneer Watson een vraag ontvangt, ontleedt het deze om de belangrijkste kenmerken van de vraag te achterhalen.

2. Het systeem genereert een reeks hypothesen door het corpus te scannen op zoek naar zinsneden die, met enige mate van waarschijnlijkheid, het vereiste antwoord kunnen bevatten. Om effectief door stromen ongestructureerde informatie te kunnen zoeken, zijn compleet andere computermogelijkheden nodig: deze worden cognitieve systemen genoemd. (Ik begrijp de laatste zin en de rol van het sterretje niet echt)

3. Het systeem voert een diepgaande vergelijking uit van de taal van de vraag en de taal van elk van de mogelijke antwoordopties, met behulp van verschillende gevolgtrekkingsalgoritmen.

Dit is een moeilijke fase. Er zijn honderden inferentie-algoritmen, en ze voeren allemaal verschillende vergelijkingen uit. Sommigen zoeken bijvoorbeeld naar overeenkomende termen en synoniemen, anderen kijken naar temporele en ruimtelijke kenmerken, terwijl anderen relevante bronnen van contextuele informatie analyseren.

4. Elk inferentiealgoritme levert één of meer scores op die aangeven in hoeverre een mogelijk antwoord volgt uit een vraag in het domein dat door het algoritme wordt beschouwd.

5. Aan elke behaalde score wordt vervolgens een gewicht toegekend door een statistisch model dat vastlegt hoe goed het algoritme heeft gepresteerd bij het identificeren van logische verbanden tussen twee vergelijkbare zinnen in dat domein tijdens Watsons ‘leerperiode’. Dit statistische model kan vervolgens worden gebruikt om Watsons algemene mate van vertrouwen te bepalen dat een mogelijk antwoord uit een vraag volgt.

6. Watson herhaalt het proces voor elk mogelijk antwoord totdat het de antwoorden vindt die een grotere kans hebben om correct te zijn dan de andere.

Zoals hierboven vermeld, heeft het systeem toegang tot aanvullende gegevensbronnen nodig om een ​​vraag correct te kunnen beantwoorden. Dit kunnen studieboeken, handleidingen, veelgestelde vragen, nieuws en al het andere zijn. Watson verwerkt binnen enkele seconden enorme hoeveelheden informatie om het juiste antwoord te krijgen. Tegelijkertijd wordt ook de gevonden inhoud gecontroleerd, verouderde en nutteloze gegevens verwijderd.

Elementen van het cognitieve systeem

Watson leidt de algemene betekenis van de tekst af uit de ontvangen informatie, uit de aanvullende basis. Hierbij wordt de titel van het document, een deel van de tekst van het document of de gehele tekst gebruikt.

Cognitieve systemen en hun methoden voor het verzamelen, onthouden en ophalen van informatie zijn vergelijkbaar met de manier waarop mensen informatie analyseren. In dit geval kunnen cognitieve systemen informatie doorgeven en handelen. Hier zijn voorbeelden van gedragsconstructies die in dit geval worden gebruikt:

Vermogen om hypothesen te creëren en te testen;
- het vermogen om in componenten op te splitsen en logische conclusies over de taal te trekken;
- vermogen om nuttige informatie (zoals data, locaties en kenmerken) op te halen en te evalueren.

Zonder deze vaardigheden zal noch een computer, noch een mens de juiste relatie tussen vragen en antwoorden kunnen bepalen.
Cognitieve processen van hogere orde kunnen een hoog begripsniveau bereiken door zich te concentreren op basisgedrag. Om iets te begrijpen moeten we informatie kunnen opdelen in kleinere elementen die op het betreffende niveau redelijk goed georganiseerd zijn. Fysische processen bij de mens verlopen heel anders dan processen op kosmische schaal of op het niveau van elementaire deeltjes. Op dezelfde manier zijn cognitieve systemen ontworpen om op menselijk niveau te werken, ook al vertegenwoordigen ze een grote verscheidenheid aan mensen.

In dit opzicht begint het begrijpen van taal met het begrijpen van de eenvoudigere regels van de taal – niet alleen de formele grammatica, maar ook de informele conventies die in het dagelijks gebruik in acht worden genomen.

Waarom dit allemaal?

Dankzij jarenlange training en verbetering kan het cognitieve systeem van IBM Watson nu op verschillende gebieden werk verrichten. Hier hebben we medicijnen, koken, taalkunde en het oplossen van zakelijke problemen met wetenschappelijke problemen.

Aanvankelijk hadden specialisten de keuze: het systeem universeel of gespecialiseerd maken. Elke optie heeft zijn eigen voor- en nadelen, maar de keuze is gemaakt in de richting van veelzijdigheid.

Het bedrijf is er al vaker van overtuigd geweest dat zijn keuze de juiste was

) is een IBM-supercomputer uitgerust met een systeem voor kunstmatige intelligentie, gemaakt door een groep onderzoekers onder leiding van David Ferrucci. De creatie ervan maakt deel uit van het DeepQA-project. De belangrijkste taak van Watson is het begrijpen van vragen die in natuurlijke taal zijn geformuleerd en het vinden van antwoorden daarop in een database. Vernoemd naar IBM-oprichter Thomas Watson.

Deelname aan "Jeopardy!"

Om Watsons capaciteiten te testen, nam hij in februari 2011 deel aan de televisieshow Jeopardy! (Russisch equivalent - Eigen spel). Zijn tegenstanders waren Brad Rutter, de grootste winnaar van het programma, en Ken Jennings, de recordhouder voor de langste ongeslagen streak. Watson won en ontving $ 1 miljoen, terwijl Jennings en Rutter respectievelijk $ 300.000 en $ 200.000 ontvingen.

Platform

Watson bestaat uit 90 Power7 750-servers, elk met 4 acht-coreprocessor KRACHT7. Totaal RAM Watson heeft ruim 15 terabytes.

Het systeem had toegang tot 200 miljoen pagina’s gestructureerde en ongestructureerde informatie met een volume van 4 terabytes, inclusief volledige tekst Wikipedia. Tijdens de wedstrijd had Watson geen toegang tot internet.

Toekomst van het project

IBM is van plan om samen met Nuance Communications de komende twee jaar een product te ontwikkelen om patiënten te helpen diagnosticeren en behandelen. Ook toepassingen op andere terreinen, zoals het beoordelen van verzekeringspolissen of energie-efficiëntie, worden overwogen.

Het verhaal van Watson begon in 2006, toen David Ferrucci, senior manager van IBM, aan de slag ging semantische analyse, begon een van de meest te testen krachtige supercomputers bedrijf, dat een van de topposities van de 500 meest productieve auto's ter wereld bekleedde. Ferrucci besloot te testen hoe effectief de machine zou omgaan met taken die worden veroorzaakt door “natuurlijke taal”, en nodigde hem uit om 500 vragen te beantwoorden die werden gesteld in de reeds gehouden Jeopardy! De resultaten bleken rampzalig: vergeleken met live spelers drukte de machine niet snel genoeg "op de knop" (dat wil zeggen, hij was klaar om te antwoorden), en in het geval dat hij nog steeds met mensen kon concurreren, was het aantal juiste antwoorden bedroegen niet meer dan 15%

Ferrucci raakte geïnteresseerd in de redenen voor dit gedrag van de supercomputer en als gevolg daarvan kon hij in 2007 het management van IBM overtuigen om hem een ​​team van 15 mensen te geven en van 3 tot 5 jaar de tijd om een ​​effectief team te creëren. automatisch systeem in staat informele vragen te beantwoorden. Een dergelijk systeem zou nuttig zijn voor alle soorten callcenters, helpdesks en andere diensten die klanten bedienen. IBM had dat al gedaan succesvolle ervaring het creëren van een machine die kan concurreren met de menselijke intelligentie - we hebben het over de supercomputer Deep Blue, die wereldkampioen schaken Garry Kasparov in 1997 versloeg. Deze overwinning leverde IBM veel publiciteit op, maar er kon geen commerciële toepassing voor een dergelijke installatie worden gevonden. In het geval van een automatisch vraag-antwoordsysteem is het commerciële potentieel overduidelijk.

Fundamenteel verschil Watson van Deep Blue is dat, terwijl een schaakmachine zich bezighoudt met strikt logische spelregels, een machine die 'natuurlijke spraak' herkent, met veel meer problemen te maken heeft. complexe regels taal en talrijke verdraaiingen en afwijkingen daarvan. Maar de grootste uitdaging is dat mensen, zonder het te beseffen, communiceren binnen hun culturele en sociale context. De omgangstaal zit vol hints, toespelingen en connotaties, verwijzingen naar bepaalde feiten, concepten en verschijnselen die in een bepaalde sociale omgeving voorkomen. Deze omvatten religieuze ideeën, politieke overtuigingen en allerlei soorten kunstwerken – van boeken en schilderijen tot films en computerspellen.

Voor efficiënte verwerking Dergelijke informatie wordt gebruikt door statistische algoritmen, die het mogelijk maken, door een grote verscheidenheid aan documenten te analyseren, het verband tussen verschillende concepten met elkaar tot stand te brengen. Simpel gezegd bepaalt het welke woorden het vaakst samen worden gebruikt. ‘Kremlin’ wordt bijvoorbeeld vaker geassocieerd met de woorden ‘Rusland’, ‘Moskou’, iets minder vaak met ‘Kazan’, ‘ Nizjni Novgorod", nog minder vaak - met "kathedraal", "pictogram", enz. Hoewel deze algoritmen al lang bekend zijn, werd het pas in de laatste tien jaar mogelijk om ze volledig toe te passen – na een dramatische stijging van de productiviteit. computertechnologie en het verlagen van de kosten van schijven voor het opslaan van grote hoeveelheden gegevens.

Het team van Ferrucci laadt miljoenen allerlei soorten documenten in het geheugen van IBM Watson: studieboeken, encyclopedieën, naslagwerken, fictie en religieuze literatuur. Om vragen te analyseren worden meer dan honderd algoritmen tegelijkertijd gebruikt, waardoor er honderden beschikbaar zijn mogelijke oplossingen. Vervolgens evalueren andere algoritmen de betrouwbaarheid van mogelijke antwoorden, waardoor de antwoorden worden geëlimineerd die onmogelijk zijn objectieve redenen(bijvoorbeeld discrepanties tussen de datum van de gebeurtenis en de levensjaren van de personages) en onwaarschijnlijk. Hoe meer identieke antwoorden er worden ontvangen, hoe groter de kans dat ze juist zijn. Tijdens het spel geeft het scorebord een beoordeling weer van een aantal van de meest waarschijnlijke antwoorden, naast de meest voorkomende.

In 2008 was IBM Watson van een underdog uitgegroeid tot een underdog bovenste lijnen de zogenaamde “wolk van winnaars”, bestaande uit mensen die er in 50% van de gevallen in slagen om als eerste op de knop te drukken die aangeeft dat ze klaar zijn voor een antwoord en vervolgens in 85-95% van de gevallen het juiste antwoord geven. IBM kwam zelfs met de producenten van Jeopardy overeen om in het najaar van 2010 een speciale serie games te houden met deelname van Watson en de winnaars van voorgaande jaren. Ter voorbereiding op deze games (dat wil zeggen om de algoritmen te verbeteren), werd het geschatte interieur van de quizstudio opnieuw gemaakt en werden er tests uitgevoerd met de deelname van live spelers en de presentator. Tegelijkertijd geeft "Watson", zoals verwacht, zijn antwoorden hardop met een gesynthetiseerde computerstem, wat de aanwezigen enorm amuseert.

Tijdens de "training" kwam een ​​interessant feit naar voren: ondanks het potentieel van Watson kan hij niet alleen de meeste games winnen, maar ook meer dan de helft ervan verliezen. Er zijn verschillende redenen: van “De kans van Zijne Majesteit” (er zijn situaties mogelijk waarin een tegenstander kan winnen door simpelweg de inzet te verhogen, waardoor de auto failliet gaat) tot de specifieke kenmerken van de regels. Vreemd genoeg kan een persoon sneller op een knop drukken dan een machine, en dit komt door de spelregels die niet kunnen worden gewijzigd.

Feit is dat elke vraag op het scherm wordt weergegeven en door de presentator wordt voorgelezen, en dat u pas op de knop kunt drukken nadat u de vraag heeft gelezen. Watson ontvangt de vraagtekst binnen elektronische vorm tegelijkertijd met de uitvoer naar het scherm, maar zelfs dan heeft het geen tijd om er te komen kant-en-klare oplossing sneller dan een mens. Terwijl de presentator de vraag voorleest, wat zes tot zeven seconden duurt, kan een ervaren speler zijn kansen op het juiste antwoord al inschatten en is hij binnen enkele tientallen milliseconden klaar om op de knop te drukken. De regels staan ​​nog eens vijf seconden toe voor het volgende antwoord.

Door op een knop te drukken neemt iemand een risico: als hij voor 100 eenheden niet het juiste antwoord geeft op een vraag, virtuele rekening zal voor hetzelfde bedrag leeg zijn. De computer is niet geneigd risico's te nemen en geeft pas antwoorden nadat alle berekeningen zijn uitgevoerd en alleen als hij over voldoende informatie beschikt om de betrouwbaarheid en waarschijnlijkheid te beoordelen dat dit antwoord juist is. Hoe het er tijdens het spel uitziet, kun je in de video zien. Door risico's te nemen, kan een levende speler winnen omdat hij het gewenste antwoord onthoudt in de 11-12 seconden die hem ter beschikking staan.

In een iets meer geformaliseerde situatie dan een spelshow kunnen de algoritmen van Watson veel voorspelbaardere en nauwkeurigere antwoorden bieden. In het bijzonder is het hoofd van de onderzoeksafdeling van IBM, John Kelly, van plan een medische versie van dit apparaat te maken onder de onofficiële naam Watson M.D. Een dergelijk systeem zou artsen helpen snel de juiste beslissingen te nemen, rekening houdend met een enorme hoeveelheid gegevens over de patiënt, die fysiek onmogelijk zijn om altijd in het geheugen te bewaren. "Watson" zou live-operators in computer- en telefoondiensten V detailhandel, V banksector en op transport.

De kosten van een IBM Watson-klasse systeem kunnen tegenwoordig enkele miljoenen dollars bedragen, aangezien er minstens een IBM-supercomputer van een miljoen dollar voor nodig is om te kunnen functioneren. Kelly is van mening dat dergelijke technologie de komende tien jaar op een veel goedkopere server kan worden geïmplementeerd, en dat een dergelijk programma in de toekomst op een computer zal draaien die niet duurder is dan een moderne laptop.

Goed geïnformeerd Engelse taal kan het online opnemen tegen IBM Watson op de website van The New York Times.

Het is de bedoeling dat de IBM Watson-supercomputer wordt gebruikt voor technische ondersteuningsdiensten in plaats van voor live-operators. Al deze taken hebben echter meer te maken met het vinden van het juiste antwoord op gebruikersverzoeken op basis van bekende informatie. IBM gelooft dat de echte kunstmatige intelligentie moet in staat zijn creatieve oplossingen te vinden, nieuwe dingen te creëren en uit te vinden, en niet alleen het oude te analyseren.

Om de creatieve vaardigheden van Watson te ontwikkelen, kozen zijn makers voor culinaire kunst. Dit is een zeer handige proeftuin: koken is een zeer ‘menselijk’, intuïtief proces, dat slecht vatbaar is voor algoritmen en standaardisatie. En iedereen op straat kan de resultaten beoordelen. Amandelchocoladekoekjes op Spaanse wijze, aardbeiendessert op Ecuadoraanse wijze, gegrilde tomaten op toast met saffraan - deze en andere door Watson gecreëerde gerechten zijn tijdens de experimenten al met plezier bereid en gegeten. En een paar weken geleden verscheen er een preprint van een artikel waarin de algoritmen en wiskundige modellen werden beschreven die Watson gebruikt om originele recepten te creëren.

Elke creatieve oplossing moet tegelijkertijd aan twee criteria voldoen: nieuw zijn en van hoge kwaliteit zijn. Nieuwigheid is relatief eenvoudig te bereiken door simpelweg ingrediënten en verwerkingstechnieken te combineren. Maar als het om kwaliteit gaat, is de situatie veel ingewikkelder. Leer de computer begrijpen wat de smaak, het aroma, de textuur en de smaak zijn verschijning gerechten zijn uiterst moeilijk.

De initiële gegevens voor Watson bestonden uit enkele miljoenen recepten die op internet waren verzameld. Ze werden door beproefde algoritmen voor natuurlijke taalverwerking geleid, die werden gebruikt om de quiz te winnen en Watson-geneeskunde te onderwijzen. Er werd informatie uit Wikipedia gehaald over typische ingrediënten en verwerkingstechnieken die kenmerkend zijn voor keukens van verschillende landen van de wereld. Ten slotte verwierf Watson een grondige kennis van de chemie en fysiologie van de menselijke perceptie van smaak en geur.

Er zijn nieuwe recepten gegenereerd op basis van bestaande recepten genetisch algoritme werden de waarden nieuwigheid, plezier en compatibiliteit gebruikt als fitnessfunctie.

Wiskundig model De beoordeling van de nieuwheid van een recept is gebaseerd op de stelling van Bayes; er werd gebruik gemaakt van de zogenaamde “Bayesiaanse verrassingsbenadering”, oorspronkelijk ontwikkeld om het gedrag van kijkers bij het bekijken van een video te modelleren. In een notendop is de essentie van de methode dat het verschil wordt gemeten tussen de voorafgaande en de latere waarschijnlijkheid dat u een bepaalde combinatie van producten in de receptruimte tegenkomt wanneer er een nieuwe aan wordt toegevoegd. Combinaties van noten met chocolade of mosterd met worst zijn dus volkomen banaal en veroorzaken vrijwel geen verandering in de kansen van verschillende combinaties. Maar met chocolade omhulde worsten zullen deze kansen veel belangrijker beïnvloeden.

Chemie is voornamelijk gebruikt om plezier te beoordelen. Omdat hij de chemische samenstelling van de producten kende en de volgorde van mengen en verwerken, berekende de computer welke stoffen de smaak en geur van het gerecht zouden bepalen. Interessant genoeg bleek de geur veel belangrijker dan de smaak van het gerecht. Onze perceptie van smaak hangt nauw samen met geur en aroma. Een persoon onderscheidt slechts een paar basissmaken: zuur, zoet, zout, bitter. Verschillende culturen onderscheiden een aantal meer basale smaken, zoals taart of umami. Maar de verscheidenheid aan geuren is veel groter en ze zijn niet beperkt tot simpele basiscombinaties.

Ten slotte was de beoordeling van de productcompatibiliteit ook gebaseerd op een serieuze wetenschappelijke basis, met name op een gezamenlijk onderzoek van Amerikaanse en Britse wetenschappers “Flavor Networks and Principles of Food Combination”, waarin ongeveer 50.000 recepten werden geanalyseerd en de productcompatibiliteit specifiek in kaart werd gebracht. Er werden keukens gebouwd verschillende regio's.

Als gevolg hiervan is een applicatie gemaakt waarin u een reeks producten, nationale stijl en type gerecht kunt specificeren, waarna Watson een reeks recepten heeft gegeven die kunnen worden besteld op basis van nieuwheid, aangenaamheid en compatibiliteit. Naast individuele gerechten kan Watson volledige menu's creëren, waarbij door middel van topic modeling variatie en de juiste combinaties van gerechten worden bereikt. Dit is de manier om een ​​verzamelmodel te bouwen tekstdocumenten, waarmee de collectie in onderwerpen wordt opgedeeld en wordt bepaald tot welk onderwerp elk document behoort. Watson past dit model toe op recepten - zoals trefwoorden De afzonderlijke ingrediënten fungeren als documenten en de recepten zelf fungeren als documenten.