Datavisualisatie. Visuele analyses en feedback. Wat je niet moet doen

Geavanceerde datavisualisatietools zijn een integraal onderdeel geworden van zakelijke BI-platforms. Sommige leveranciers, zoals Tableau, hebben visualisatie tot de hoeksteen van hun analytische systemen gemaakt. De trend dringt volledig door in de markt voor analysesystemen: tegenwoordig zijn zelfs de eenvoudigste analytische tools beschikbaar eindgebruikers vaak op vertrouwen visuele representatie gegevens.

Big Data-visualisatie

Een visuele presentatie van de analyseresultaten is van fundamenteel belang voor de interpretatie ervan. Het is geen geheim dat de menselijke perceptie beperkt is, en wetenschappers blijven onderzoek doen op het gebied van verbetering moderne methoden Gegevens presenteren in de vorm van afbeeldingen, grafieken of animaties. Het lijkt erop dat het onmogelijk is om hier iets nieuws te bedenken, maar in feite is dit niet het geval. Ter illustratie volgen hier enkele geavanceerde visualisatiemethoden die relatief recentelijk wijdverspreid zijn geworden.

  • Tagwolk

Aan elk element in de tagwolk wordt een specifiek gewicht toegewezen dat correleert met de lettergrootte. Bij tekstanalyse is de waarde van de wegingscoëfficiënt direct afhankelijk van de gebruiksfrequentie (citaat) van een bepaald woord of zinsnede. Zorgt ervoor dat de lezer zo snel mogelijk een idee krijgt van de belangrijkste punten grote tekst of typen.

  • Clustergram

Visualisatiemethode gebruikt bij clusteranalyse. Laat zien hoe individuele elementen van een dataset zich verhouden tot clusters naarmate hun aantal verandert. Keuze optimale hoeveelheid clusters is een belangrijk onderdeel van clusteranalyse.

  • Historische stroom

Helpt u de evolutie te volgen van een document waaraan u tegelijkertijd werkt groot aantal auteurs. In het bijzonder dit typische situatie ook voor wikidiensten en de tadviser-website. De tijd wordt uitgezet langs de horizontale as, en de bijdrage van elke co-auteur wordt uitgezet langs de verticale as, d.w.z. volume ingevoerde tekst. Elke unieke auteur krijgt een specifieke kleur op de kaart toegewezen. Het onderstaande diagram is het resultaat van een analyse van het woord ‘Islam’ op Wikipedia. Het is duidelijk zichtbaar hoe de activiteit van de auteurs in de loop van de tijd is toegenomen.

  • Ruimtelijke stroom

Met dit diagram kunt u de ruimtelijke verdeling van informatie volgen. Het voorbeelddiagram is gemaakt met behulp van de New York Talk Exchange-service. Het visualiseert de intensiteit van de IP-verkeersuitwisseling tussen New York en andere steden over de hele wereld. Hoe helderder de lijn, hoe meer gegevens per tijdseenheid worden verzonden. Het is zo gemakkelijk en niet moeilijk om in het kader van de informatie-uitwisseling de regio’s te identificeren die het dichtst bij New York liggen.

Verwerking van operationele databases en multidimensionale opslag

  • Transactionele, zwaarbelaste databases
  • Relationele en multidimensionale opslag
  • Directe oproepen naar systeem-API's
  • Werken met connectoren
  • Verwerking van platte bestanden (CSV, Excel, XML, enz.)

Analytische modellen bouwen in het geheugen

Computers werden gemaakt om berekeningen te automatiseren, maar al snel werd ontdekt dat de zaak niet beperkt bleef tot tellen en dat ze gebruikt konden worden als rekenmachine. universeel apparaat voor het werken met gegevens. Vervolgens waren er pogingen om een ​​computer aan het denken te zetten, maar minder bekend zijn de pogingen om er een intellectuele assistent van te maken die geen aanspraak maakt op zijn eigen intelligentie, maar de menselijke mentale activiteit faciliteert. Vannevar Bush was de eerste die dit idee in de vorm van een hypothetische Memex-machine bracht, en de ideologisch vergelijkbare plannen van Doug Engelbart werden belichaamd in het On Line System (NLS). Begin jaren zestig schreef wiskundige en filosoof Richard Hamming: ‘Het doel van een computer is cognitie, niet berekening.’ Deze grote goede bedoelingen bleven echter niet gerealiseerd, omdat praktische mogelijkheid om systemen te creëren die de analytische vermogens van mens en machine naadloos combineren, is pas vandaag de dag verschenen.

Samen zorgen de creatieve geest van de mens en het vermogen van een machine om enorme hoeveelheden gegevens te verwerken voor een synergetisch effect, dat kan worden beoordeeld door de gevolgen te analyseren van het verlies van Garry Kasparov in 1997 voor de IBM Deep Blue PowerParallel SP2-supercomputer met 32 ​​knooppunten. inbegrepen speciale borden Elk 8 speciale schaakprocessors. Na deze wedstrijd besloot de grootmeester dat hij de kansen gelijk moest maken en om dit te doen, moest hij spelers de kans geven hun analytische mogelijkheden uit te breiden via schaakprogramma's die op een pc draaien. Kasparov ontmoette Deep Blue niet meer, maar voordat Deep Blue werd ontmanteld, speelden twee amateurs, 'gewapend' met gewone pc's, nog een wedstrijd met hem. Omdat ze geen grootmeesters waren en geen serieuze schaakkwalificaties hadden, bleken deze twee succesvoller dan de wereldkampioen in de confrontatie met het monster. Dit dient als een uitstekende illustratie van het feit dat systemen waarbij functies harmonieus verdeeld zijn tussen mens en machine volledig efficiënter kunnen zijn. geautomatiseerd systeem. We kunnen de eerste tekenen hiervan waarnemen in business analytics. Hier is de scheidslijn tussen het oude en het nieuwe in business analytics gebaseerd op de manier waarop een persoon met een machine communiceert, en niet op de indeling in soorten geanalyseerde gegevens. (gestructureerd of ongestructureerd).

De nieuwe mogelijkheid voor productieve mens-machine-interactie heeft geleid tot een actieve opkomst op het gebied van bedrijfsanalyses en de creatie van nieuwe technologieën. analytische platforms. Elke periode van herstel gaat doorgaans gepaard met merkbare veranderingen binnen het overeenkomstige marktsegment. IN in dit geval de focus van de aandacht verschuift van het erkende en goede bekende technologieën ondersteund grote fabrikanten, naar een subgroep die vrijwel onbekend is onder de massa Datatechnologieën Discovery (DD) - ook wel Visual Analytics (VA) of Visual Data Discovery (VDD) genoemd - is voornamelijk ontwikkeld kleine bedrijven en met geavanceerde mens-machine-interactiemogelijkheden. Er zijn andere indicatoren van verandering; parallel aan DD en VA zijn er nog twee groepen actief in ontwikkeling analytische technologieën: inhoud en voorspellend, of voorspellende analyses(Voorspellende analyses, PA).

De reikwijdte van visuele analyses is extreem groot (figuur 1), maar hier zullen we ons alleen concentreren op segmenten die verband houden met bedrijfsanalyses.

Gedurende de korte geschiedenis van bedrijfsanalyses het meest belangrijke plaats Tot de gebruikte methoden behoorden onder meer rapportagesystemen (Query en Reporting), waarvan de essentie bestaat uit het formuleren van queries gericht op bepaalde gegevensbronnen, en het vervolgens opstellen van rapporten over de resultaten ervan. Alle Query- en Reporting-oplossingen zijn onderverdeeld in twee grote stromen: de ene genereert Production Reporting - periodiek uitgegeven rapporten met informatie over de productie, en de tweede produceert Business Query and Reporting - operationele rapporten ontworpen voor de vereisten van bedrijfsbeheer. Begin jaren negentig verschenen naast hen ook operationele systemen analytische verwerking(Online analytische verwerking, OLAP). Terugverdientijd voor snelle analyse er wordt een langdurige voorbereidingsprocedure gevolgd - deze categorie technologieën wordt gebruikt om alleen die gegevens te analyseren die eerder zijn samengevoegd in gestructureerde multidimensionale OLAP-kubussen. Elke kubus bevat alle informatie die nodig kan zijn om de beoogde vragen te beantwoorden. De noodzaak om de kubus voor te bereiden elimineert elke synchronisatie met de invoergegevensstroom. Niettemin begonnen ze zich op basis van OLAP en aanverwante technologieën nog verder te ontwikkelen operationele middelen analyse - bijvoorbeeld "Management Dashboards", uitgerust met een verscheidenheid aan dashboards, die doet denken aan een kapiteinsbrug. Het concept van de ‘real-time onderneming’ heeft ook ingang gevonden ( Real-time Enterprise, RTE).

Parallel met al deze hulpmiddelen zijn er theoretische richtingen ontwikkeld in de bedrijfsanalyse, zoals de ontwikkeling of extractie van gegevens ( Datamining, DM) en voorspellende analyses. Meer recentelijk leek het erop dat DM en PA de belangrijkste hulpbron waren voor de ontwikkeling van BI, maar in de praktijk bleken de interactieve methoden van DD, VA en VDD meer in trek. Ze worden nu beoordeeld als de meest veelbelovende, hoewel de krachten die ze creëren een orde van grootte inferieur zijn aan de macht van traditionele spelers op het gebied van business intelligence-oplossingen.

Vereisten voor wijzigingen in analyses

Er zijn zoveel verklaringen en redenen voor wat er in de analyse gebeurt dat ik aan de woorden van Dan Brown uit de roman ‘Angels and Demons’ denk: ‘Sommigen bidden tot Jezus, anderen gaan naar Mekka, en weer anderen bestuderen het gedrag van elementaire deeltjes. Uiteindelijk is iedereen op zoek naar de waarheid." Daarom zullen we naar analogie de opvattingen over de evolutie van bedrijfsanalyses in drie groepen verdelen.

Het meest populaire en wijdverbreide ‘management’-standpunt, geassocieerd met reflecties hierover mode thema's, zoals Big Data, “de volgende industriële revolutie”, Industrie 4.0, enz. Meestal praten ze over de “drie V’s” van Big Data-analyse: Volume (“volume”); Verscheidenheid (“variëteit”); Snelheid (“mobiliteit”).

De tweede groep opvattingen over verandering wordt gevormd door aanhangers van de kennismanagementtheorie (Knowledge Management, KM). Ze associëren wat er gebeurt met " informatierevolutie", waarbij het wordt verdeeld in vijf stadia van opgang van data naar informatie, van informatie naar kennis, van kennis naar begrip en intelligentie: operationeel - fragmentarische gegevens worden geanalyseerd door individuele analisten; geconsolideerd - grote hoeveelheden gegevens worden geanalyseerd door werkgroepen van analisten; integratie - er wordt een bedrijfsinfrastructuur gecreëerd die CM ondersteunt; optimalisatie - geanalyseerd om de efficiëntie te verbeteren bedrijfsinformatie algemeen; innovatief - het combineren van bedrijfsinformatie en analyses creëert nieuwe waarde.

Volgens het derde gezichtspunt is het resultaat van het evolutieproces de overgang van algemene ideeën over de onderneming tot echte kennis.

Het is vermeldenswaard dat de eerste twee gezichtspunten dichter bij de sekte liggen, en het derde een alternatief is, het ligt, zoals in het citaat, dicht bij de natuurwetenschappelijke positie, in dit geval is het systemen bekijken, wat handig is bij het overwegen van een verscheidenheid aan verschijnselen, met name die welke zich voordoen in de analyse. Het is echter belangrijk om aandacht te besteden aan het volgende: alle besturingssystemen hebben gemeenschappelijke kenmerken, ongeacht hun aard. Nobert Wiener schreef hierover, die als eerste het idee van de eenheid van managementprincipes in levende organismen, machines en organisaties uitdrukte. Het werk van Wiener kreeg geen waardige theoretische voortzetting, en in de praktijk ook geen management technische objecten ging zijn eigen weg, en de zaken gingen zijn eigen weg. Jarenlang was er geen gemeenschappelijkheid tussen de twee klassen van managementsystemen – technische en bedrijfssystemen – en bovendien ontstond er een barrière die ze in twee niet-overlappende gebieden verdeelde. En dit is niet de kwade wil van iemand - de aanwezigheid van een verdeeldheid gedurende een bepaalde periode is volkomen gerechtvaardigd en natuurlijk, dit zijn de vereisten van het leven, de verdeeldheid wordt veroorzaakt door de strikte limiet op computerbronnen en de wens om de beschikbare middelen optimaal te gebruiken en zo veel mogelijk aan de vereisten van de taak te voldoen. Omdat er twee soorten problemen zijn: technisch en bedrijfsbeheer, ontstonden er dienovereenkomstig twee soorten oplossingen.

Vervolgens bleek dat het idee om het management in het bedrijfsleven te automatiseren plaats maakte voor banale gegevensverwerking en werd begraven onder de last van verschillende soorten routinematige applicaties zoals ERP, CRM, enz., waarin alles is gebaseerd op boekhouding en boekhouding. controle, dat wil zeggen: gewoon aan gezond verstand. Het beoordelen van resultaten en status, het nemen van beslissingen en al het andere dat feedback vormt, bleek buiten de reikwijdte van automatisering te vallen. Maar in het echte leven kunnen geen controlesystemen bestaan ​​zonder feedback En op het huidige niveau van automatisering wordt feedback geïmplementeerd in de hoofden van managers die externe gegevens ontvangen en beslissingen nemen.

In het tweede decennium van de 21e eeuw werden de beperkingen op de gebruikte hulpbronnen praktisch opgeheven en deed zich de mogelijkheid voor convergentie voor technische systemen en bedrijfsmanagementsystemen, en de beslissende rol in dit verenigende proces is weggelegd voor analytische systemen, die het werkknooppunt van de feedbackketen zijn geworden. Gebruiken analytische systemen, kan een persoon zowel een bedrijf beheren als technologische processen. Dit is de reden waarom het komende tijdperk de ‘feedback-economie’ wordt genoemd.

Zelfs vóór de huidige explosie van interesse in analytics ontstond het concept van de real-time enterprise (RTE), dat werkelijkheid werd met de komst van nieuwe applicatie-integratietechnologieën - service-architecturen, service banden ondernemingen en complexe gebeurtenisverwerkingssystemen. Oorspronkelijk werd aangenomen dat essentieel onderdeel Real-time analyses zullen RTE worden, maar de belangrijkste drijfveer voor de adoptie van analyses is de toename van de datavolumes geweest.

Een voorbeeld universeel gebruik Analytics dienen als een middel om de olieproductie te automatiseren, waarbij het nodig is om het beheer van boorapparatuur te combineren met een beoordeling van de markt- en economische situatie. Hier vormen technologisch en zakelijk management één geheel; De Wellsite Information Transfer Standard-taal is gemaakt om boorputgegevens via internet uit te wisselen. Opmaaktaal(WITSML), dat fungeert als schakel tussen twee soorten controlesystemen, en momenteel wordt de mogelijkheid van toepassing ervan in de energiesector, het transport en andere industrieën overwogen. De belangrijkste voorwaarde voor de toepasbaarheid van dergelijke systemen is het gebruik ervan open standaarden voor gegevensuitwisseling tussen geologische en technologische onderzoekssystemen, boorprocescontrolesystemen, geofysische onderzoekssystemen en modellerings- en data-analysepakketten.

Gegevens ontdekken

Tot voor kort werd de hele discipline van bedrijfsanalyse gebouwd op basis van gestructureerde data, maar met de komst van het Big Data-probleem is de noodzaak om te werken met ongestructureerde data, die meer dan 80% van alle opgeslagen data uitmaken, groter geworden. acuut, en hun aantal groeit een orde van grootte sneller vergeleken met gestructureerde gegevens. Maar het punt is niet alleen dat de geanalyseerde data diverser bleken te zijn - na de verschuiving van de nadruk naar ongestructureerde data voor analyses is er een heel ander perspectief dan voorheen voor het extraheren van bruikbare, maar voorlopig verborgen data in de stroom van informatie uit een grote verscheidenheid aan bronnen. Met andere woorden: het paradigma is fundamenteel aan het veranderen. Voorheen werd de functie van analytics gereduceerd tot verkrijgen beperkt aantal antwoorden op vooraf ingestelde vragen en het maken van rapporten, en nu verandert analyse in een interactief communicatieproces tussen een persoon en grote volumes gegevens door middel van het omzetten van ruwe gegevens in nuttige informatie. Het is opmerkelijk dat hiervoor geen krachtige en dure apparatuur nodig is.

Meestal wordt moderne analytics geassocieerd met twee verwante gebieden: Data Discovery en Visual Analytics, maar het gebruik van twee verschillende termen voor vrijwel hetzelfde verwart het toch al niet al te duidelijke en oververzadigde beeld dat wordt gevormd door technologieën die op één manier met analytics te maken hebben. of een ander. Om hun plaats aan te geven, is het noodzakelijk om te proberen bedrijfsanalysetechnologieën te classificeren, door ze bijvoorbeeld in drie grote, gedeeltelijk overlappende groepen te verdelen:

  • technologieën voor het extraheren van informatie en kennis (Information en Kowledge Discovery): OLAP, Data Mining, Tekstmining, Web Mining en diverse zoekmachines;
  • beslissingsondersteunende systemen en intelligente systemen(Beslissingsondersteuning en inrelligentsystemen): conventionele en groepssystemen beslissingsondersteuning, toegepaste methoden kunstmatige intelligentie, expertsystemen, voorspellende analyses;
  • visualisatietools: visuele analyses, diverse soorten “dashboards” en afstandsbedieningen.

Formeel valt Data Discovery (ontdekking van verborgen betekenis) duidelijk in de eerste groep, en Visual Analytics in de derde, maar ze hebben veel gemeen: de nadruk ligt op menselijke creatieve vermogens, ondersteund door computertechnologieën. Er kan worden aangenomen dat Data Discovery meer is algemeen concept, dit zijn veel methoden om met data te werken, en Visual Analytics is eerder een tool (tot nu toe de enige). Blijkbaar om deze reden zijn beide richtingen onlangs dichter bij elkaar gekomen, en gemeenschappelijke naam Visuele gegevensdetectie. Systemen van deze klasse maken het mogelijk om van een computer een instrument te maken dat verbetert intellectueel potentieel gebruiker. VDD wordt ook wel verkennende of onderzoekende analyses genoemd. De eerste naam werd in 2007 voorgesteld door datavisualisatiespecialist Stephen Few, die geavanceerde analytics opvat als de zoektocht naar betekenis verborgen in data. De tweede werd in 2011 bedacht door de bekende analist Kurt Monash om te verwijzen naar analyses die werden uitgevoerd om iets voorheen onbekends in bestaande gegevens te vinden: verborgen afbeeldingen, patronen en andere inhoud die kan worden gebruikt om beslissingen te nemen.

DD-tools zijn democratischer, ze zijn ontworpen om de efficiëntie van het werken met data te verbeteren regelmatige gebruiker informatie consumeren, en geen datawetenschapper die toegang heeft tot complexe analytische systemen en wiskundige methoden. Ooit waren mainframes beschikbaar voor geselecteerde professionals, en de komst van de pc maakte computers voor iedereen toegankelijk. De komst van DD kan de consumentisering van business intelligence worden genoemd.

Net als aan het begin van de pc waren de leiders van de nieuwe trend niet de leidende spelers op de business analytics-markt, maar relatief onbekende bedrijven: QlikTech, Salient Management Company, SiSence, Tableau, Tibco, gevolgd door proberen bij te houden erkende grootvaders: MicroStrategy heeft Visual verbeterd Inzicht; SAP, SAS en IBM lanceerden nieuwe producten Visual Intelligence, Visual Analytics en Cognos Insight respectievelijk; en Microsoft heeft PowerPivot aangevuld met een product met Power View.

Arthur Conan Doyle heeft Sherlock Holmes het vermogen gegeven om conclusies te trekken op basis van een klein aantal observaties, maar desgewenst kunnen dezelfde feiten anders worden geïnterpreteerd en zullen de conclusies anders zijn - de zwakte van de deductieve methode die door de grote detective wordt gebruikt, is in zijn beperkingen. Maar als er voldoende gegevens zijn en er adequate hulpmiddelen beschikbaar zijn, kunnen objectieve en goed geïnformeerde beslissingen worden genomen; de nauwkeurigheid van de toepassing ervan hangt af van de hoeveelheid gegevens en de kwaliteit van het hulpmiddel. Het geheim van het succes van DD is simpel: met deze technologieën kunt u beslissingen nemen op basis van een grotere hoeveelheid gegevens.

Het doel van DD-systemen is om hulpmiddelen te creëren die mensgericht zijn, hen ondersteunen bij hun werk en mensen in staat stellen hun intuïtie te gebruiken om nuttige en betekenisvolle informatie uit beschikbare gegevens te halen. In dit geval ontwikkelt zich de volgende cyclus: eerst wordt een verzoek geformuleerd, het antwoord daarop wordt meestal in grafische vorm gepresenteerd. Daarom zijn visualisatietechnologieën van bijzonder belang bij DD, vervolgens worden de resultaten geëvalueerd en, indien nodig, de cyclus wordt herhaald. Het verschil met traditionele bedrijfsanalyses is de helderheid van de presentatie en de snelheid: iemand wil graag dat de bedrijfsmodus bijna realtime is.

Visuele analyse

Laten we beginnen met een terminologische verduidelijking, aangezien er drie vergelijkbare termen zijn: visuele analyse, visuele datamining en visuele analyse, maar elk heeft zijn eigen betekenis.

Visual Data Mining was de eerste die verscheen - ongeveer in 2000 werd in Europa de integratie van Data Mining-methoden met visualisatietechnologieën genoemd. Een van de eerste wetenschappelijke scholen op dit gebied werd opgericht aan de Universiteit van Koblenz (Duitsland).

De komst van Visual Analytics (Figuur 2) dateert uit 2004 - het werd voorgesteld door Jim Thomas, een van de auteurs van het boek "Lighting the Way, a Visual Analytics Research and Development Agenda", uitgebracht als beleidsdocument van de Pacific. Northwest National Laboratory, een van de zestien laboratoria van het Amerikaanse ministerie van Energie. Het boek definieert VA als het vermogen om analytisch te denken, ondersteund door grafische interface. Het laboratorium werd in opdracht van het Amerikaanse ministerie van Binnenlandse Veiligheid geheroriënteerd naar de VA als onderdeel van het programma om terroristische dreigingen tegen te gaan en om Vandaag is het grootste wetenschappelijke centrum geworden, bijna volledig gespecialiseerd in verschillende aspecten van VA, met vestigingen in een aantal landen; enkele jaren geleden werd het laboratorium van de universiteit in Koblenz er onderdeel van.


Visuele analyse heeft minstens twee interpretaties. Volgens de eerste is dit de naam voor een breed scala aan interdisciplinair onderzoek, dat op een of andere manier verband houdt met het gebruik van interactieve visuele hulpmiddelen voor data-analyse. De tweede waarde geldt voor de eigenlijke analytische component van Visual Analytics, die bestaat uit automatische en interactieve delen.

Analytische taken maken deel uit van de snelst groeiende van alle gebieden van IT-toepassing. Automatische analysehulpmiddelen kunnen een aantal van deze problemen oplossen. Ze zijn toepasbaar in gevallen waarin de gegevens strikt geformaliseerd zijn en er redelijke criteria zijn om ze te vergelijken. Maar in het echte leven en in echte zaken Zelden wordt aan dergelijke beperkingen voldaan, dus datavisualisatietechnieken komen te hulp. Dit kunnen de meest onverwachte gegevens zijn - het gebied van de visualisatie van tekstgegevens is bijvoorbeeld nu actief in ontwikkeling (het vermogen om een ​​betrouwbaar oordeel te vellen over de inhoud van documenten zonder toevlucht te nemen tot gedetailleerd lezen). Visuele analyse bevindt zich op het kruispunt van deze twee gebieden.

Hoewel er de afgelopen 15 tot 20 jaar veel methoden voor automatische data-analyse zijn ontwikkeld, is het onwaarschijnlijk dat alle analyses naar een machine kunnen worden overgebracht. 3. Ten eerste worden automatische analysehulpmiddelen gebruikt, aangepast aan een bepaald toepassingsgebied. Deze genereren kleinere hoeveelheden gegevens vergeleken met de oorspronkelijke, er worden dataminingmethoden op toegepast en er wordt een model gecreëerd dat geschikt is voor verder onderzoek. Visualisatie en interactieve technologieën stellen een persoon in staat dit model te analyseren en te verbeteren. De meeste acties worden uitgevoerd in een iteratieve modus, waarbij achtereenvolgens het gewenste resultaat wordt bereikt. IN praktische implementaties Het kan zijn dat niet alle componenten aanwezig zijn (figuur 3), maar er zal in ieder geval sprake zijn van een iteratieve gesloten feedbacklus.

Het belangrijkste voordeel van Data Discovery en visuele analyseoplossingen is dat ze een persoon in staat stellen om uit de data te halen wat erin verborgen zit, of om over de data te ‘praten’, zoals vermeld in het boek Probability van Frederick Mosteller: “It is vaak gehoord dat de data voor zichzelf spreken, maar hun stem is te zacht en bescheiden.”

4.1. Audio-uitbreiding van visuele analyses

Een van de moderne effectieve methoden analyse van verschillende wetenschappelijke gegevens is een methode voor computervisualisatie hiervan - een methode voor wetenschappelijke visualisatie.

Het oplossen van de problemen bij het analyseren van wetenschappelijke gegevens met behulp van de methode van wetenschappelijke visualisatie bestaat uit:

  1. Bij het verkrijgen van een weergave van de geanalyseerde gegevens in de vorm van een grafisch beeld (de taak van het visualiseren van de brongegevens). Om een ​​dergelijk grafisch beeld te verkrijgen, is het noodzakelijk om de gegevens te associëren met een ruimtelijke scène (een reeks ruimtelijke objecten), of preciezer gezegd, de geometrische en optische (textuur) beschrijvingen (modellen) ervan, en vervolgens te verkrijgen grafisch beeld deze ruimtelijke scène (rendering), die kan worden weergegeven op een monitor, printer en andere uitvoerapparaten voor latere analyse.
  2. Bij de visuele analyse van het resulterende grafische beeld van de geanalyseerde gegevens. In dit geval worden de resultaten van de analyse geïnterpreteerd in relatie tot de originele gegevens. Deze taak wordt rechtstreeks door de gebruiker zelf opgelost. Met visuele analyse van een grafisch beeld bedoelen we een visuele analyse van het genoemde ruimtelijke tafereel. Een persoon kan oordelen vellen over de relatieve positie van ruimtelijke objecten, hun vorm en textuur.

Rijst. 4.1. Geluidsverbeterde wetenschappelijke visualisatiemethode.

Overweeg de mogelijkheid om tijdens het proces verbinding te maken visuele analyse een ander zintuig: het gehoororgaan. Om brongegevens met behulp van geluid te analyseren, is het daarom noodzakelijk:

  1. Ontvang representaties van de geanalyseerde gegevens in de vorm van een soort audiodisplay. Om een ​​dergelijke weergave te verkrijgen, is het noodzakelijk om de geometrische en optische beschrijving van de ruimtelijke scène aan te vullen met de geluidsbeschrijving ervan, en een dergelijke geluidsruimtelijke scène in overeenstemming te brengen met de originele gegevens, en vervolgens een goede weergave van deze ruimtelijke scène te verkrijgen ( geluidsweergave), die kan worden uitgevoerd naar luidsprekers en andere uitvoerapparaten voor latere analyse.
  2. Analyseer de geluidsweergave en interpreteer de resultaten van de analyse in relatie tot de originele gegevens.
    Het is belangrijk op te merken dat het analyseproces vaak efficiënter wordt als zowel een audiodisplay als een grafisch beeld zijn afgestemd op de originele gegevens voor daaropvolgende analyse.

Figuur 4.1 toont een blokdiagram van het geavanceerde visualisatie-algoritme, d.w.z. het gezamenlijk verkrijgen van een grafische beeld- en geluidsweergave van de brongegevens.

Rijst. 4.2. Blokdiagram algoritme voor geavanceerde wetenschappelijke visualisatie.

Een dergelijk algoritme wordt geïmplementeerd met behulp van een computer door een te schrijven in een gebruikte invoerprogrammeertaal hulpmiddel(totaal van de fondsen) in de vorm van enkele softwareproduct of een set softwareproducten.

Laten we eens kijken naar de belangrijkste kenmerken van de methode van uitgebreide wetenschappelijke visualisatie in relatie tot een bepaalde klasse van wetenschappelijke data-analyseproblemen, wanneer beschrijvingen van bepaalde scalaire velden als dergelijke data worden gebruikt.

4.2. Audio-verbeterde visuele analyses van scalaire velden.

Initiële gegevens

Deze gegevens zijn een beschrijving van een scalair veld op een rechthoekig compartiment van de driedimensionale fysieke ruimte, gepresenteerd in een bestand. Als beschrijving wordt een wiskundig model van een scalair veld gebruikt in de vorm van waarden van een functie van 3 variabelen van de vorm F(x,y,z) op de knooppunten van een gegeven driedimensionaal rechthoekig netwerk.

Gefilterde gegevens

De interpolatiefunctie f(x,y,z) wordt gebruikt als gefilterde gegevens, waarbij gebruik wordt gemaakt van de waarden originele functie op netwerkknooppunten. Om de functie f(x,y,z) te verkrijgen die is gespecificeerd op het beschouwde definitiedomein (parallellepipedum), hebben we trilineaire interpolatie gebruikt.

Beschrijving van het ruimtelijke tafereel

Deze beschrijving omvat 3 componenten:

  1. Beschrijving van het isosurface van de functie f(x,y,z) in de vorm: f(x,y,z)=с, terwijl het gezamenlijk wordt aanvaard x,y,z-waarden behoren tot het bovenstaande definitiedomein van de functie f(x,y,z), en c is een door de gebruiker gespecificeerd reëel getal dat overeenkomt met een bepaalde waarde van het geanalyseerde scalaire veld.
    Dit iso-oppervlak is het eerste onderdeel van het ruimtelijke tafereel dat in beschouwing wordt genomen.
  2. Optische beschrijving, d.w.z. beschrijving van de textuurcoating van het genoemde isosurface, gespecificeerd door de gebruiker.
  3. Geluidsbeschrijving, d.w.z. beschrijving van de puntgeluidsbron die in aanmerking wordt genomen. De locatie (coördinaatwaarden x0,y0,z0) wordt door de gebruiker gespecificeerd en de frequentie van het uitgaande geluid w is als volgt gerelateerd aan de waarde van de functie f(x,y,z): w = k* f(x0,y0,z0), waarbij de waarde van de coëfficiënt k door de gebruiker wordt gespecificeerd.
    Gegeven punt bron geluid is de tweede component van het ruimtelijke tafereel dat in beschouwing wordt genomen.

Grafische beeld- en geluidsweergave van een ruimtelijk tafereel

Het resultaat van het renderen is respectievelijk:

  • grafische projectie van het iso-oppervlak op de gebruikte grafische terminal,
  • de geluidsgolf die wordt gegenereerd door de gebruikte audioterminal.

Er moet worden verduidelijkt dat de frequentie van de geluidsgolf door de gebruiker wordt waargenomen als de toon van het geluid.

Data zijn de nieuwe mondiale munteenheid, en internet is dat ook wisselkantoor. Het is gemakkelijk om te verdwalen in informatiestromen. Hoe presenteer je data om de aandacht te trekken? De gebruiker begrijpt een tabel met tien rijen en drie kolommen. Wat als dit duizenden, honderdduizenden regels zijn?

Benadrukken belangrijkste punten en patronen die niet in droge cijfers te vinden zijn, met behulp van infographics, interactieve widgets op de website en dashboards. Visualisatietools helpen hierbij.

Bekijk en gebruik de 21 visualisatietools in dit artikel.

Diensten voor het maken van diagrammen en grafieken

Infogr.am

Dienst voor het creëren van interactieve, ingebedde visualisatie. Meer dan 30 diagramtypen en zes ontwerpthema's.

Gegevens invoeren in de editor, uploaden in een tabel of tekstformaat(bijvoorbeeld csv) of importeer vanuit de cloud. Kies vervolgens wat u wilt krijgen (een diagram, grafiek, kaart) en het uiteindelijke formaat.

U kunt interactieve visualisatie op uw website insluiten met behulp van een iframe, maar u kunt ook uw diagrammen downloaden in pdf of gif en deze in een presentatie invoegen.

Het starttarief is gratis. Beperkingen in de grootte van de bibliotheek, het aantal sjablonen en de mogelijkheid om diagrammen als afbeeldingen te downloaden. Maar dit tarief is ruim voldoende om één kleine website of online presentatie te ontwerpen. Betaalde tarieven beginnen bij $ 19 per maand.

Creëer

Gereedschap voor samenwerking waarmee je kunt creëren interactieve diagrammen, Gantt-diagrammen en eenvoudige infographics. Het arsenaal omvat meer dan 50 soorten diagrammen met duizenden voorbeelden en beschikbare vormbibliotheken.

De interface doet denken aan Microsoft Visio, en geen wonder: Creately voert vergelijkbare taken uit.

Resultaten kunnen worden geïmporteerd naar websites en mobiele applicaties en worden opgeslagen in PDF- en SVG-formaten.

Het grootste nadeel: alle versies zijn betaald. Online service - vanaf $ 5 per maand. De desktopversie kost $ 75.

Fusiontafels

Google-tool voor het maken van gedetailleerde grafieken, grafieken en kaarten.

Helpt bij het verzamelen en visualiseren van gegevens en deze op de website weer te geven.

U importeert gegevens uit een bestand op uw computer (vrijwel elk tabelformaat), Google Documenten-spreadsheets, of maakt een nieuwe spreadsheet. U kunt zoeken naar informatie uit externe bronnen.

Nadelen: complexe interface, geen ontwerpkenmerken.

Voordelen: Samenwerking omdat alle gegevens op Google Drive staan.

De tool wordt gebruikt door The Guardian, wat alvast een goede aanbeveling is.

VisualiseerGratis

De visualisatie kan worden geëxporteerd in Excel-, PowerPoint- en PDF-formaat.

De dienst is gratis. Een interessante feature: hoewel je Flash kunt gebruiken bij het ontwikkelen, kan het resultaat in HTML5-formaat worden opgeslagen.

Tableaupubliek

Gratis interactief datavisualisatiesysteem.

U importeert de gegevens (bijna alle gebruikelijke formaten en veel diensten worden ondersteund) en krijgt een visualisatie voor plaatsing op de website of sociale netwerken.

De service biedt 10 GB voor het opslaan van projecten op zijn servers.

JavaScript-bibliotheken

Dygrafen

Een open source bibliotheek voor het maken van diagrammen. Helpt bij het verkennen, verwerken en interpreteren van grote datasets. Flexibele instellingen.

Nadeel: dit is meer een tool voor ontwikkelaars dan een tool voor marketeers. De functies ervan zijn alleen om grafieken en diagrammen te maken. Vereist vaardigheden in het werken met javascript en een handleiding. Er is hier echter niets ingewikkelds, zelfs voor een beginner.

D3.JS

De bibliotheek werkt met datagestuurde documenten met behulp van html, svg en css. Importeert gegevens uit csv-bestanden.

Het is ook geschikt voor eenvoudige zakelijke visualisaties, maar het hoofddoel is wetenschappelijke informatie.

Folder

Gratis javascript-bibliotheek voor het maken van mobiele interactieve kaarten. Gebruik het als u Google Maps en Yandex-kaarten niet op uw website of mobiele applicatie wilt insluiten.

Belangrijkste voordelen: de bibliotheek is extreem licht en werkt bovendien zonder internetverbinding.

Hoge hitlijsten

Een groot aantal opties en grafiektypen. Het uitvoerformaat is SVG of VML voor oudere versies van Internet Explorer.

Ondersteunt animatie en realtime datastromen.

Gratis voor niet-commerciële projecten.

Grafiek.js

Open source-bibliotheek. 6 soorten diagrammen, die ruimschoots de behoeften van een klein project zullen dekken, maar niet genoeg voor een professional in de statistiek.

Ondersteunt HTML5 Canvas en creëert responsieve geanimeerde diagrammen en grafieken in een platte ontwerpstijl.

jqPlot

Plug-in voor het maken van eenvoudige grafieken, lijn- en cirkeldiagrammen.

Gemakkelijk te integreren in de site. Eenvoudige installatie, aantrekkelijk kaartontwerp. Ondersteunt animatie, geen interactiviteit.

Een goede gratis oplossing voor eenvoudige taken.

ZingChart

Maakt gebruik van HTML5 Canvas, terwijl Flash wordt ondersteund. U beschikt over honderden diagramtypen om uw gegevens te visualiseren.

De gratis versie is voldoende om de meeste problemen op te lossen. De visualisaties zijn ondertekend met “PoweredbyZingChart”. Het meest populaire, volgens ontwikkelaars, “SaaS”-tarief kost $ 1999 per jaar.

JavaScriptInfoVisToolkit

Modulaire structuur. Aanpassing voor mobiele apparaten. De gebruiker downloadt alleen wat in een bepaald geval nodig is.

Er is een reeks unieke ontwerpstijlen en animatie-effecten.

Diensten voor het maken van infographics

Pictodiagram

Biedt veel gratis en premium sjablonen voor infographics, presentaties, rapporten en rapporten. Ze zien er allemaal indrukwekkend uit en zijn gemakkelijk te gebruiken.

U kunt alles gebruiken wat u nodig heeft voor een aantrekkelijke presentatie: diagrammen, grafieken, foto's, video's, pictogrammen, enz. Een eenvoudige ingebouwde editor: kies een van de zeshonderd kant-en-klare sjablonen, upload uw eigen bestanden, sleep objecten naar de werkruimte en zet ze daar neer.

Importeer gegevens uit Excel, Google Documenten en de online enquêteservice SurveyMonkey.

Gemakkelijk.ly

Eenvoudig te gebruiken tool met honderden sjablonen. Als je wilt, begin dan helemaal opnieuw.

Selecteer in het bovenste paneel het gewenste object (pictogrammen, clipart, diagrammen, enz.) en sleep het naar de gewenste locatie. Je kunt video insluiten.

Het starttarief is gratis; voor extra “cookies” vraagt ​​de dienst $3 per maand.

Business intelligence- en dashboardplatforms

Sisense

Hiermee kunt u gegevens uit meerdere bronnen combineren en via visualisatie naar nieuwe ideeën zoeken. Alleen voor het maken van presentaties is Sisense niet de beste keuze. Maar als u snel uw eigen dashboard met veel widgets wilt maken, dan is dit het.

De ontwikkelaars verzekeren dat zelfs een ongetraind persoon de taak binnen anderhalf uur aankan.

Korte gratis proefperiode. Tarieven zijn op aanvraag beschikbaar.

Nuvi

De dienst wordt betaald, de tarieven worden bepaald door specifieke taken. De eigenaren beweren dat ze openstaan ​​voor non-profitprojecten en startups, dus je kunt onderhandelen.

Biem

Cloudplatform voor visualisatie van BI-analyses. Er zijn brongegevens nodig van contextuele advertentiesystemen, CRM, webanalysesystemen, sociale netwerken en andere bronnen. Helaas worden Russische services niet standaard ondersteund. We hebben specialisten nodig op het gebied van IT-integratie.

Transformeert gegevens in krachtige visualisaties die er goed uitzien op elk scherm, ongeacht platform of grootte.

Gratis proefperiode van 2 weken. Het basistarief bedraagt ​​€ 490,- per maand.

iCharts

Cloud BI-platform voor visuele analyse voor bedrijven. Gedeelde toegang tot een controlepaneel met widgets in realtime. De resultaten zijn eenvoudig te implementeren, te delen en te bekijken.

Integratie met Google Analytics, Salesforce, Zendesk, Azure, AmazonAurora, GoogleCloudSQL, GitHub en tientallen andere diensten.

Het platform wordt betaald, het starttarief bedraagt ​​$460 per maand.

Plotseling

Een platform dat zowel individuele diagrammen en grafieken maakt, als presentaties en volwaardige dashboards.

Werkt met JavaScript, Python, R, Matlab, Excel. Importeer gegevens uit meerdere bronnen (MySQL, Microsoft SQL Server, Redshift, Excel, enz.).

Er is een gratis versie. Betaald abonnement - $ 33 per maand.

DataHero

Dit cloudplatform maakt volwaardig werk mogelijk zonder toevlucht te nemen tot IT-specialisten. Importeren uit cloudservices.

U kunt afzonderlijke widgets en dashboards maken.

Drukknop- en slepen-en-neerzetten-principes: u hoeft geen tijd te verspillen aan het beheersen van de interface.

Er is een gratis abonnement. De dienst biedt elke nieuwe gebruiker een gratis proefperiode van 2 weken met de mogelijkheden van het premiumtarief. Betaalde abonnementen beginnen bij $ 59.

Conclusie

Natuurlijk kunnen de meeste routinetaken van gegevensverwerking en visualisatie op de ouderwetse manier worden opgelost: in Excel, Adobe Illustrator en Power Point. De kracht van moderne technologieën stelt ons echter in staat verder te gaan, zelfs zonder specifieke kennis en vaardigheden.

Alle diensten werken op elk platform en in elke browser (behalve oudere versies). U hoeft geen IT-specialist of ontwerper te zijn, of Java, Silverlight of Flash te installeren.

We hopen dat u niet alleen visualisatietools voor uw taken selecteert, maar ook iets nieuws leert over uw gegevens.