คอมพิวเตอร์ถูกสร้างขึ้นเพื่อทำให้การคำนวณอัตโนมัติ แต่ในไม่ช้าก็พบว่าสสารนี้ไม่ได้จำกัดอยู่แค่การนับและสามารถใช้เป็นอุปกรณ์สากลสำหรับการทำงานกับข้อมูลได้ จากนั้นมีความพยายามที่จะทำให้คอมพิวเตอร์คิด แต่ไม่ค่อยมีใครรู้จักคือความพยายามที่จะเปลี่ยนคอมพิวเตอร์ให้เป็นผู้ช่วยทางปัญญาที่ไม่อ้างสิทธิ์ในสติปัญญาของตัวเอง แต่เอื้อต่อกิจกรรมทางจิตของมนุษย์ Vannevar Bush เป็นคนแรกที่นำแนวคิดนี้มาในรูปแบบของเครื่อง Memex สมมุติ และแผนการที่คล้ายกันในอุดมคติของ Doug Engelbart ได้รวมอยู่ในระบบออนไลน์ (NLS) ในช่วงต้นทศวรรษ 1960 นักคณิตศาสตร์และนักปรัชญา Richard Hamming เขียนว่า "จุดประสงค์ของคอมพิวเตอร์คือการรับรู้ ไม่ใช่การคำนวณ" อย่างไรก็ตาม ความตั้งใจที่ดีอันยิ่งใหญ่เหล่านี้ยังคงไม่เกิดขึ้นจริง เนื่องจากความเป็นไปได้ในทางปฏิบัติในการสร้างระบบที่ผสมผสานความสามารถในการวิเคราะห์ของมนุษย์และเครื่องจักรได้อย่างลงตัวนั้นเพิ่งปรากฏให้เห็นในปัจจุบันเท่านั้น

เมื่อรวมกันแล้ว ความคิดสร้างสรรค์ของบุคคลและความสามารถของเครื่องจักรในการรวบรวมข้อมูลจำนวนมหาศาลให้ผลการทำงานร่วมกันซึ่งสามารถประเมินได้โดยการวิเคราะห์ผลที่ตามมาของการสูญเสียของ Garry Kasparov ในปี 1997 ต่อซูเปอร์คอมพิวเตอร์ IBM Deep Blue PowerParallel SP2 ที่มี 32 โหนด รวมถึงบอร์ดพิเศษของโปรเซสเซอร์พิเศษหมากรุก 8 ตัว หลังจากแมตช์นี้ ปรมาจารย์ตัดสินใจว่าเขาจำเป็นต้องเพิ่มอัตราต่อรอง และเพื่อที่จะทำเช่นนี้ เขาควรอนุญาตให้ผู้เล่นขยายความสามารถในการวิเคราะห์ผ่านโปรแกรมหมากรุกที่ทำงานบนพีซี คาสปารอฟไม่ได้พบกับ Deep Blue อีกต่อไป แต่ก่อนที่ Deep Blue จะถูกรื้อออก มือสมัครเล่นสองคนที่ "ติดอาวุธ" ด้วยพีซีธรรมดาๆ ได้เล่นแมตช์กับเขาอีกครั้งหนึ่ง ไม่ได้เป็นปรมาจารย์และไม่มีคุณสมบัติด้านหมากรุกอย่างจริงจัง ทั้งสองกลับกลายเป็นว่าประสบความสำเร็จมากกว่าแชมป์โลกในการเผชิญหน้ากับสัตว์ประหลาด นี่เป็นตัวอย่างที่ดีเยี่ยมว่าระบบที่มีการแบ่งปันฟังก์ชันระหว่างคนกับเครื่องจักรอย่างกลมกลืนจะมีประสิทธิภาพมากกว่าระบบอัตโนมัติเต็มรูปแบบได้อย่างไร เราสามารถสังเกตเห็นสัญญาณแรกของสิ่งนี้ในการวิเคราะห์ธุรกิจ โดยในที่นี้เส้นแบ่งระหว่างการวิเคราะห์ธุรกิจเก่าและใหม่ในการวิเคราะห์ธุรกิจนั้นขึ้นอยู่กับวิธีที่บุคคลโต้ตอบกับเครื่องจักร และไม่ขึ้นอยู่กับการแบ่งประเภทของข้อมูลที่วิเคราะห์ (มีโครงสร้างหรือไม่มีโครงสร้าง)

โอกาสใหม่สำหรับการปฏิสัมพันธ์ที่มีประสิทธิผลระหว่างมนุษย์กับเครื่องจักรได้นำไปสู่การเพิ่มขึ้นอย่างแข็งขันในด้านการวิเคราะห์ธุรกิจและการสร้างสรรค์เทคโนโลยีใหม่ แพลตฟอร์มการวิเคราะห์- ช่วงเวลาของการฟื้นตัวมักจะมาพร้อมกับการเปลี่ยนแปลงที่เห็นได้ชัดเจนภายในกลุ่มตลาดที่เกี่ยวข้อง ในกรณีนี้ การมุ่งเน้นจะเปลี่ยนจากเทคโนโลยีที่เป็นที่ยอมรับและเป็นที่รู้จักซึ่งได้รับการสนับสนุนโดยผู้ผลิตรายใหญ่ ไปเป็นเทคโนโลยีย่อยของเทคโนโลยี Data Discovery (DD) ที่แทบไม่รู้จัก หรือที่เรียกว่า Visual Analytics (VA) หรือ Visual Data Discovery (VDD) ซึ่งพัฒนาขึ้นโดยส่วนใหญ่เป็นบริษัทขนาดเล็ก และโดดเด่นด้วยความสามารถในการโต้ตอบระหว่างมนุษย์กับเครื่องจักรขั้นสูง มีตัวบ่งชี้การเปลี่ยนแปลงอื่น ๆ ควบคู่ไปกับ DD และ VA เทคโนโลยีการวิเคราะห์อีกสองกลุ่มกำลังพัฒนาอย่างแข็งขัน: เนื้อหาและการทำนายหรือ การวิเคราะห์เชิงคาดการณ์(การวิเคราะห์เชิงคาดการณ์, PA)

ขอบเขตของการวิเคราะห์ด้วยภาพนั้นใหญ่มาก (รูปที่ 1) แต่ในที่นี้ เราจะเน้นเฉพาะส่วนที่เกี่ยวข้องกับการวิเคราะห์ธุรกิจเท่านั้น

ตลอดประวัติศาสตร์โดยย่อของการวิเคราะห์ธุรกิจ จุดที่สำคัญที่สุดในบรรดาวิธีการที่ใช้นั้นถูกครอบครองโดยระบบสืบค้นและการรายงาน สาระสำคัญคือการกำหนดคำสั่งที่ส่งถึงแหล่งข้อมูลบางแห่งแล้วรวบรวมรายงานเกี่ยวกับผลลัพธ์ โซลูชันการสืบค้นและการรายงานทั้งหมดแบ่งออกเป็นสองสตรีมใหญ่: สตรีมแรกสร้างรายงานการผลิต - รายงานที่ออกเป็นระยะซึ่งมีข้อมูลเกี่ยวกับการผลิต และสตรีมที่สองสร้างแบบสอบถามและการรายงานทางธุรกิจ - รายงานการปฏิบัติงานที่ออกแบบมาสำหรับข้อกำหนดของการจัดการองค์กร ในช่วงต้นยุค 90 นอกเหนือจากนั้น ระบบประมวลผลการวิเคราะห์ออนไลน์ (OnLine Analytical Processing, OLAP) ก็ปรากฏขึ้นอีกด้วย ราคาสำหรับการวิเคราะห์อย่างรวดเร็วเป็นขั้นตอนการเตรียมการที่มีความยาว - เทคโนโลยีประเภทนี้ใช้เพื่อวิเคราะห์เฉพาะข้อมูลที่รวบรวมไว้ก่อนหน้านี้เป็นคิวบ์ OLAP หลายมิติที่มีโครงสร้าง แต่ละคิวบ์ดังกล่าวมีข้อมูลทั้งหมดที่อาจจำเป็นในการตอบคำถามที่ต้องการ ความจำเป็นในการเตรียมคิวบ์ช่วยลดการซิงโครไนซ์กับสตรีมข้อมูลอินพุต อย่างไรก็ตาม ขึ้นอยู่กับ OLAP และเทคโนโลยีที่เกี่ยวข้อง วิธีการวิเคราะห์เชิงการดำเนินงานมากยิ่งขึ้นเริ่มพัฒนา - ตัวอย่างเช่น "แดชบอร์ดการจัดการ" ซึ่งติดตั้งแดชบอร์ดที่หลากหลายซึ่งชวนให้นึกถึงสะพานของกัปตัน แนวคิดของ "Real Time Enterprise" (RTE) ก็เข้ามายึดถือเช่นกัน

ควบคู่ไปกับเครื่องมือเหล่านี้ พื้นที่ทางทฤษฎี เช่น การทำเหมืองข้อมูล (DM) และการวิเคราะห์เชิงคาดการณ์ก็ได้รับการพัฒนาในการวิเคราะห์ธุรกิจ เมื่อไม่นานมานี้ ดูเหมือนว่า DM และ PA จะมีทรัพยากรหลักสำหรับการพัฒนา BI แต่ในทางปฏิบัติแล้ว วิธีการโต้ตอบของ DD, VA และ VDD กลับกลายเป็นที่ต้องการมากขึ้น ขณะนี้พวกเขาได้รับการจัดอันดับว่ามีแนวโน้มมากที่สุด แม้ว่ากองกำลังที่สร้างสิ่งเหล่านี้จะมีขนาดที่ด้อยกว่าเมื่อเทียบกับผู้เล่นแบบดั้งเดิมในโซลูชันระบบธุรกิจอัจฉริยะ

ข้อกำหนดเบื้องต้นสำหรับการเปลี่ยนแปลงในการวิเคราะห์

มีคำอธิบายและเหตุผลมากมายสำหรับสิ่งที่เกิดขึ้นในการวิเคราะห์ ซึ่งคำพูดของ Dan Brown จากนวนิยายเรื่อง "Angels and Demons" เข้ามาในใจ: "บางคนอธิษฐานถึงพระเยซู คนอื่น ๆ ไปที่เมกกะ และยังมีคนอื่น ๆ ศึกษาพฤติกรรมของอนุภาคมูลฐาน . ท้ายที่สุดแล้ว ทุกคนต่างก็ค้นหาความจริง" ดังนั้นโดยการเปรียบเทียบเราจะแบ่งมุมมองเกี่ยวกับวิวัฒนาการของการวิเคราะห์ธุรกิจออกเป็นสามกลุ่ม

มุมมองที่ได้รับความนิยมและแพร่หลายมากที่สุดคือมุมมอง "การจัดการ" ซึ่งเกี่ยวข้องกับการสะท้อนในหัวข้อที่ทันสมัยเช่น Big Data, "การปฏิวัติอุตสาหกรรมครั้งต่อไป", อุตสาหกรรม 4.0 ฯลฯ ส่วนใหญ่มักพูดถึง "สาม Vs" ของ Big นักวิเคราะห์ข้อมูล: ปริมาณ "); ความหลากหลาย (“ความหลากหลาย”); ความเร็ว (“ความคล่องตัว”)

มุมมองกลุ่มที่สองเกี่ยวกับการเปลี่ยนแปลงเกิดขึ้นจากผู้ที่นับถือทฤษฎีการจัดการความรู้ (Knowledge Management, KM) พวกเขาเชื่อมโยงสิ่งที่เกิดขึ้นกับ "การปฏิวัติข้อมูล" โดยแบ่งออกเป็นห้าขั้นตอนของการขึ้นจากข้อมูลสู่ข้อมูลจากข้อมูลสู่ความรู้จากความรู้สู่ความเข้าใจและสติปัญญา: การปฏิบัติงาน - ข้อมูลที่ไม่เป็นชิ้นเป็นอันได้รับการวิเคราะห์โดยนักวิเคราะห์แต่ละราย รวม - ข้อมูลจำนวนมากได้รับการวิเคราะห์โดยคณะทำงานของนักวิเคราะห์ บูรณาการ - สร้างโครงสร้างพื้นฐานขององค์กรที่รองรับ CM การเพิ่มประสิทธิภาพ - เพื่อปรับปรุงประสิทธิภาพ มีการวิเคราะห์ข้อมูลองค์กรโดยรวม นวัตกรรม - การผสมผสานความฉลาดขององค์กรและการวิเคราะห์สร้างมูลค่าใหม่

ตามมุมมองที่สาม ผลลัพธ์ของกระบวนการวิวัฒนาการคือการเปลี่ยนจากแนวคิดทั่วไปเกี่ยวกับองค์กรไปสู่ความรู้ที่แท้จริง

เป็นที่น่าสังเกตว่าสองมุมมองแรกนั้นใกล้กับลัทธิมากขึ้นและมุมมองที่สามเป็นทางเลือกอื่น เช่นเดียวกับในคำพูดนั้นอยู่ใกล้กับตำแหน่งทางวิทยาศาสตร์ตามธรรมชาติ ในกรณีนี้ มันเป็นมุมมองที่เป็นระบบซึ่งก็คือ มีประโยชน์เมื่อพิจารณาปรากฏการณ์ต่างๆ โดยเฉพาะที่เกิดขึ้นในการวิเคราะห์ อย่างไรก็ตาม สิ่งสำคัญคือต้องคำนึงถึงสิ่งต่อไปนี้ - ระบบควบคุมทั้งหมดมีความเหมือนกัน โดยไม่คำนึงถึงลักษณะของระบบ Nobert Wiener เขียนเกี่ยวกับเรื่องนี้ซึ่งเป็นคนแรกที่แสดงความคิดเกี่ยวกับความสามัคคีของหลักการจัดการในสิ่งมีชีวิตเครื่องจักรและองค์กร งานของ Wiener ไม่ได้รับความต่อเนื่องทางทฤษฎีที่คุ้มค่า และในทางปฏิบัติจริง การจัดการสิ่งอำนวยความสะดวกด้านเทคนิคดำเนินไปในแนวทางของตัวเอง และธุรกิจก็เป็นของตัวเอง หลายปีที่ผ่านมาไม่มีความเหมือนกันระหว่างระบบการจัดการทั้งสองประเภท - ด้านเทคนิคและองค์กร - และยิ่งไปกว่านั้น อุปสรรคที่เกิดขึ้นในการแบ่งพวกมันออกเป็นสองส่วนที่ไม่ทับซ้อนกัน และนี่ไม่ใช่ความประสงค์ร้ายของใครบางคน - การมีอยู่ของการแบ่งในช่วงเวลาหนึ่งนั้นเป็นสิ่งที่สมเหตุสมผลและเป็นธรรมชาติอย่างสมบูรณ์นี่คือข้อกำหนดของชีวิตการแบ่งแยกเกิดจากการจำกัดทรัพยากรคอมพิวเตอร์อย่างเข้มงวดที่มีอยู่ในอดีตและความปรารถนา เพื่อใช้เครื่องมือที่มีอยู่อย่างเหมาะสมตามขอบเขตความต้องการของงานมากที่สุด เนื่องจากมีงานสองประเภท - การจัดการด้านเทคนิคและองค์กร ดังนั้นโซลูชันสองประเภทจึงเกิดขึ้น

ต่อจากนั้นปรากฎว่าแนวคิดในการจัดการอัตโนมัติในธุรกิจทำให้เกิดการประมวลผลข้อมูลซ้ำซากและถูกฝังอยู่ภายใต้โหลดของแอปพลิเคชันประจำประเภทต่างๆ เช่น ERP, CRM เป็นต้น ซึ่งทุกอย่างถูกสร้างขึ้นจากการบัญชีและ การควบคุม กล่าวคือ เป็นเพียงสามัญสำนึกเท่านั้น การประเมินผลลัพธ์และสถานะ การตัดสินใจ และทุกสิ่งทุกอย่างที่ก่อให้เกิดผลตอบรับกลับกลายเป็นว่าอยู่นอกเหนือขอบเขตของระบบอัตโนมัติ แต่ในชีวิตจริง ไม่มีระบบควบคุมใดที่จะดำรงอยู่ได้หากไม่มีผลตอบรับ และในระดับของระบบอัตโนมัติในปัจจุบัน ผลตอบรับจะถูกนำไปใช้ในจิตใจของผู้จัดการที่ได้รับข้อมูลจากภายนอกและทำการตัดสินใจ

ในทศวรรษที่สองของศตวรรษที่ 21 ข้อจำกัดเกี่ยวกับทรัพยากรที่ใช้ในทางปฏิบัติได้ถูกยกเลิก และเปิดโอกาสสำหรับการบรรจบกันของระบบทางเทคนิคและระบบการจัดการธุรกิจ โดยที่ระบบการวิเคราะห์มีบทบาทชี้ขาดในกระบวนการรวมกลุ่มนี้ ซึ่งกลายเป็นโหนดปฏิบัติการ ของวงจรป้อนกลับ การใช้ระบบการวิเคราะห์ บุคคลสามารถจัดการทั้งกระบวนการทางธุรกิจและเทคโนโลยีได้อย่างประสบความสำเร็จเท่าเทียมกัน นี่คือเหตุผลว่าทำไมยุคที่กำลังจะมาถึงจึงถูกเรียกว่า “เศรษฐกิจแบบตอบรับ”

แม้กระทั่งก่อนที่ความสนใจในการวิเคราะห์จะพุ่งสูงขึ้นในปัจจุบัน แนวคิดขององค์กรแบบเรียลไทม์ (RTE) ก็ได้เกิดขึ้นและกลายเป็นความจริงด้วยการถือกำเนิดของเทคโนโลยีการรวมแอปพลิเคชันใหม่ๆ เช่น สถาปัตยกรรมบริการ บัสบริการระดับองค์กร และระบบประมวลผลเหตุการณ์ที่ซับซ้อน แม้ว่าการวิเคราะห์แบบเรียลไทม์จะถูกคาดหวังว่าจะเป็นองค์ประกอบสำคัญของ RTE แต่แรงผลักดันหลักสำหรับการนำการวิเคราะห์ไปใช้ก็คือปริมาณข้อมูลที่เพิ่มขึ้น

ตัวอย่างที่แสดงให้เห็นการใช้การวิเคราะห์แบบสากลคือเครื่องมืออัตโนมัติในการผลิตน้ำมัน ซึ่งจำเป็นต้องรวมการจัดการอุปกรณ์ขุดเจาะเข้ากับการประเมินตลาดและสถานการณ์ทางเศรษฐกิจ ที่นี่ การจัดการด้านเทคโนโลยีและธุรกิจเป็นหนึ่งเดียว เพื่อแลกเปลี่ยนข้อมูลบนหลุมผ่านเครือข่าย ภาษามาร์กอัปมาตรฐานการถ่ายโอนข้อมูลหลุมเจาะ (WITSML) ถูกสร้างขึ้น โดยทำหน้าที่เป็นตัวเชื่อมโยงระหว่างระบบควบคุมสองประเภท และในปัจจุบันความเป็นไปได้ของการใช้งานในภาคพลังงาน การขนส่ง และอุตสาหกรรมอื่น ๆ คือ กำลังพิจารณาอยู่ เงื่อนไขหลักสำหรับการบังคับใช้ระบบดังกล่าวคือการใช้มาตรฐานเปิดสำหรับการแลกเปลี่ยนข้อมูลระหว่างระบบการวิจัยทางธรณีวิทยาและเทคโนโลยี ระบบควบคุมกระบวนการขุดเจาะ ระบบการวิจัยธรณีฟิสิกส์ และแพ็คเกจการสร้างแบบจำลองและการวิเคราะห์ข้อมูล

การค้นพบข้อมูล

จนกระทั่งเมื่อไม่นานมานี้ สาขาวิชาการวิเคราะห์ธุรกิจทั้งหมดถูกสร้างขึ้นบนพื้นฐานของข้อมูลที่มีโครงสร้าง แต่ด้วยการมาถึงของปัญหา Big Data ความจำเป็นในการทำงานกับข้อมูลที่ไม่มีโครงสร้างซึ่งคิดเป็นมากกว่า 80% ของข้อมูลที่จัดเก็บทั้งหมด จึงมีมากขึ้น อย่างรวดเร็ว และจำนวนของมันก็เพิ่มขึ้นอย่างรวดเร็วเมื่อเทียบกับข้อมูลที่มีโครงสร้าง แต่ประเด็นไม่ใช่แค่ว่าข้อมูลที่วิเคราะห์มีความหลากหลายมากขึ้น - หลังจากการเปลี่ยนแปลงโดยเน้นไปที่ข้อมูลที่ไม่มีโครงสร้างสำหรับการวิเคราะห์ มีโอกาสที่แตกต่างไปจากเดิมอย่างสิ้นเชิงในการแยกข้อมูลที่เป็นประโยชน์ แต่สำหรับเวลาที่ถูกซ่อนข้อมูลในโฟลว์ ข้อมูลจากแหล่งต่างๆ มากมาย กล่าวอีกนัยหนึ่ง กระบวนทัศน์กำลังเปลี่ยนแปลงไปโดยพื้นฐาน ก่อนหน้านี้ ฟังก์ชันการวิเคราะห์ถูกจำกัดอยู่ที่การได้รับคำตอบในจำนวนที่จำกัดสำหรับคำถามที่กำหนดไว้ล่วงหน้าและสร้างรายงาน แต่ตอนนี้การวิเคราะห์กำลังกลายเป็นกระบวนการโต้ตอบของการโต้ตอบของมนุษย์กับข้อมูลปริมาณมากผ่านวิธีการเปลี่ยนข้อมูลดิบให้มีประโยชน์ ข้อมูล. เป็นที่น่าสังเกตว่าอุปกรณ์ที่ทรงพลังและมีราคาแพงไม่จำเป็นสำหรับจุดประสงค์นี้

บ่อยครั้งที่การวิเคราะห์สมัยใหม่เกี่ยวข้องกับสองส่วนที่เกี่ยวข้องกัน - การค้นพบข้อมูลและการวิเคราะห์ด้วยภาพ แต่การใช้คำที่แตกต่างกันสองคำสำหรับสิ่งเดียวกันเกือบจะสร้างความสับสนให้กับภาพชื่อที่ไม่ชัดเจนเกินไปและมากเกินไปซึ่งเกิดจากเทคโนโลยีที่เกี่ยวข้องกับการวิเคราะห์ในลักษณะเดียว หรืออย่างอื่น เพื่อระบุสถานที่ของตน จำเป็นต้องพยายามจัดประเภทเทคโนโลยีการวิเคราะห์ธุรกิจ โดยแบ่งออกเป็นกลุ่มใหญ่สามกลุ่มที่ทับซ้อนกันบางส่วน:

• เทคโนโลยีในการดึงข้อมูลและความรู้ (Information and Kowledge Discovery): OLAP, Data Mining, Text Mining, Web Mining และโปรแกรมค้นหาต่างๆ
• ระบบสนับสนุนการตัดสินใจและระบบอัจฉริยะ (ระบบสนับสนุนการตัดสินใจและระบบไม่ฉลาด): ระบบสนับสนุนการตัดสินใจแบบเดิมและแบบกลุ่ม วิธีการประยุกต์ของปัญญาประดิษฐ์ ระบบผู้เชี่ยวชาญ การวิเคราะห์เชิงคาดการณ์
• เครื่องมือสร้างภาพข้อมูล: การวิเคราะห์ด้วยภาพ "แดชบอร์ด" ประเภทต่างๆ และรีโมทคอนโทรล

อย่างเป็นทางการ Data Discovery (การค้นพบความหมายที่ซ่อนอยู่) จัดอยู่ในกลุ่มแรกอย่างชัดเจน และ Visual Analytics อยู่ในกลุ่มที่สาม แต่มีหลายอย่างที่เหมือนกัน - เน้นที่ความคิดสร้างสรรค์ของมนุษย์ ซึ่งสนับสนุนโดยเทคโนโลยีคอมพิวเตอร์ สันนิษฐานได้ว่า Data Discovery เป็นแนวคิดทั่วไป เป็นชุดวิธีการทำงานกับข้อมูล และ Visual Analytics เป็นเพียงเครื่องมือมากกว่า (จนถึงขณะนี้มีเพียงเครื่องมือเดียวเท่านั้น) เห็นได้ชัดว่าด้วยเหตุผลนี้เมื่อเร็ว ๆ นี้ทั้งสองทิศทางเริ่มมาบรรจบกันและชื่อสามัญ Visual Data Discovery ก็ปรากฏขึ้น ระบบของคลาสนี้ทำให้สามารถเปลี่ยนคอมพิวเตอร์เป็นเครื่องมือที่ช่วยเพิ่มศักยภาพทางปัญญาของผู้ใช้ได้ VDD เรียกอีกอย่างว่าการวิเคราะห์เชิงสำรวจหรือเชิงสืบสวน ชื่อแรกถูกเสนอในปี 2550 โดยผู้เชี่ยวชาญด้านการสร้างภาพข้อมูล Stephen Few ผู้ซึ่งเข้าใจโดยการวิเคราะห์ขั้นสูงในการค้นหาความหมายที่ซ่อนอยู่ในข้อมูล ครั้งที่สองประกาศเกียรติคุณในปี 2554 โดยนักวิเคราะห์ชื่อดัง Kurt Monash เพื่ออ้างถึงการวิเคราะห์ที่ดำเนินการเพื่อค้นหาสิ่งที่ไม่เคยรู้มาก่อนในข้อมูลที่มีอยู่: รูปแบบที่ซ่อนอยู่ รูปแบบ และเนื้อหาอื่น ๆ ที่สามารถนำมาใช้ในการตัดสินใจ

เครื่องมือ DD มีความเป็นประชาธิปไตยมากกว่า โดยได้รับการออกแบบมาเพื่อปรับปรุงประสิทธิภาพการทำงานกับข้อมูลสำหรับผู้ใช้โดยเฉลี่ยที่ใช้ข้อมูล ไม่ใช่สำหรับนักวิทยาศาสตร์ข้อมูลที่สามารถเข้าถึงระบบการวิเคราะห์ที่ซับซ้อนและวิธีการทางคณิตศาสตร์ ครั้งหนึ่ง เมนเฟรมมีไว้สำหรับผู้เชี่ยวชาญที่ได้รับเลือก และการถือกำเนิดของพีซีทำให้ทุกคนสามารถเข้าถึงคอมพิวเตอร์ได้ การถือกำเนิดของ DD เรียกได้ว่าเป็นการบริโภคระบบธุรกิจอัจฉริยะ

ในช่วงเริ่มต้นของพีซี ผู้นำของเทรนด์ใหม่ไม่ใช่ผู้เล่นชั้นนำในตลาดการวิเคราะห์ธุรกิจ แต่เป็นบริษัทที่ไม่ค่อยมีใครรู้จัก: QlikTech, Salient Management Company, SiSence, Tableau, Tibco ตามมาด้วย พยายามที่จะตามทันผู้ยิ่งใหญ่ที่ได้รับการยอมรับ: MicroStrategy ได้ปรับปรุงการมองเห็นแล้วความเข้าใจ; SAP, SAS และ IBM เปิดตัวผลิตภัณฑ์ใหม่ Visual Intelligence, Visual Analytics และ Cognos Insightตามลำดับ; และ Microsoft เสริม PowerPivot ด้วยผลิตภัณฑ์ที่มี Power View

Arthur Conan Doyle มอบ Sherlock Holmes ด้วยความสามารถในการสรุปผลจากการสังเกตจำนวนเล็กน้อย แต่หากต้องการข้อเท็จจริงเดียวกันสามารถตีความได้แตกต่างออกไปและข้อสรุปจะแตกต่างกัน - จุดอ่อนของวิธีการนิรนัยที่ใช้โดยนักสืบผู้ยิ่งใหญ่คือ ในข้อจำกัดของมัน แต่หากมีข้อมูลเพียงพอและมีเครื่องมือเพียงพอ ก็สามารถตัดสินใจได้อย่างเป็นกลางและมีข้อมูลครบถ้วน - ความถูกต้องแม่นยำของการนำไปใช้จะขึ้นอยู่กับปริมาณข้อมูลและคุณภาพของเครื่องมือ เคล็ดลับสู่ความสำเร็จของ DD นั้นเรียบง่าย - เทคโนโลยีเหล่านี้ช่วยให้คุณสามารถตัดสินใจโดยพิจารณาจากข้อมูลปริมาณมากขึ้น

เป้าหมายของระบบ DD คือการสร้างเครื่องมือที่มุ่งเน้นผู้คน สนับสนุนพวกเขาในการทำงาน และเปิดโอกาสให้ผู้คนใช้สัญชาตญาณของตนเพื่อดึงข้อมูลที่เป็นประโยชน์และมีความหมายจากข้อมูลที่มีอยู่ ในกรณีนี้ วงจรต่อไปนี้จะเกิดขึ้น: ขั้นแรก มีการกำหนดคำขอ คำตอบนั้นมักนำเสนอในรูปแบบกราฟิก ซึ่งเป็นเหตุผลว่าทำไมเทคโนโลยีการสร้างภาพจึงมีความสำคัญเป็นพิเศษใน DD จากนั้นผลลัพธ์จะได้รับการประเมินและหากจำเป็น วงจรซ้ำแล้วซ้ำอีก ความแตกต่างจากการวิเคราะห์ธุรกิจแบบเดิมๆ คือความชัดเจนในการนำเสนอและความรวดเร็ว ผู้ใช้ต้องการให้โหมดการทำงานใกล้เคียงกับเรียลไทม์

การวิเคราะห์ภาพ

เรามาเริ่มด้วยการอธิบายคำศัพท์กันดีกว่า เนื่องจากมีคำศัพท์ที่คล้ายกันสามคำ: การวิเคราะห์ด้วยภาพ การทำเหมืองข้อมูลด้วยภาพ และการวิเคราะห์ด้วยภาพ แต่แต่ละคำก็มีความหมายในตัวเอง

การทำเหมืองข้อมูลด้วยภาพเป็นครั้งแรกที่ปรากฏขึ้น - ประมาณปี 2000 การบูรณาการวิธีการทำเหมืองข้อมูลกับเทคโนโลยีการสร้างภาพเริ่มถูกเรียกว่าในยุโรป โรงเรียนวิทยาศาสตร์แห่งแรกๆ ในสาขานี้ก่อตั้งขึ้นที่มหาวิทยาลัยโคเบลนซ์ (ประเทศเยอรมนี)

การถือกำเนิดของ Visual Analytics (รูปที่ 2) ย้อนกลับไปในปี 2004 - เสนอโดย Jim Thomas หนึ่งในผู้เขียนหนังสือ "Lighting the Way, a Visual Analytics Research and Development Agenda" ซึ่งเผยแพร่เป็นเอกสารนโยบายของมหาสมุทรแปซิฟิก ห้องปฏิบัติการแห่งชาติตะวันตกเฉียงเหนือ หนึ่งในสิบหกห้องปฏิบัติการของกระทรวงพลังงานของสหรัฐอเมริกา หนังสือเล่มนี้ให้คำจำกัดความของ VA ว่าเป็นความสามารถในการคิดเชิงวิเคราะห์ ซึ่งสนับสนุนโดยอินเทอร์เฟซแบบกราฟิก ห้องปฏิบัติการได้รับการปรับทิศทางใหม่ไปที่ VA ตามคำสั่งของกระทรวงความมั่นคงแห่งมาตุภูมิของสหรัฐอเมริกา ซึ่งเป็นส่วนหนึ่งของโครงการต่อต้านภัยคุกคามจากการก่อการร้าย และปัจจุบันกลายเป็นศูนย์วิจัยที่ใหญ่ที่สุด โดยเกือบทั้งหมดเชี่ยวชาญด้านต่างๆ ของ VA โดยมีสาขาอยู่หลายแห่ง ประเทศ; เมื่อหลายปีก่อน ห้องทดลองของมหาวิทยาลัยในโคเบลนซ์ก็กลายเป็นส่วนหนึ่งของมัน

การวิเคราะห์ด้วยภาพมีการตีความอย่างน้อยสองครั้ง ตามข้อแรกนี่คือชื่อของการวิจัยสหวิทยาการที่หลากหลายไม่ทางใดก็ทางหนึ่งที่เกี่ยวข้องกับการใช้เครื่องมือภาพเชิงโต้ตอบสำหรับการวิเคราะห์ข้อมูล ค่าที่สองใช้กับองค์ประกอบการวิเคราะห์จริงของ Visual Analytics ซึ่งประกอบด้วยส่วนอัตโนมัติและส่วนโต้ตอบ

งานวิเคราะห์เป็นส่วนหนึ่งของการเติบโตอย่างรวดเร็วในทุกด้านของแอปพลิเคชันไอที - เครื่องมือวิเคราะห์อัตโนมัติสามารถแก้ไขปัญหาเหล่านี้บางส่วนได้ โดยจะนำไปใช้ในกรณีที่ข้อมูลมีการจัดรูปแบบอย่างเป็นทางการอย่างเคร่งครัดและมีเกณฑ์ที่สมเหตุสมผลในการเปรียบเทียบ แต่ในชีวิตจริงและในธุรกิจจริงนั้นไม่ค่อยมีการสังเกตข้อจำกัดดังกล่าว ดังนั้นวิธีแสดงภาพข้อมูลจึงเข้ามาช่วยเหลือได้ นี่อาจเป็นข้อมูลที่ไม่คาดคิดที่สุด - ตัวอย่างเช่นขณะนี้สาขาการแสดงข้อมูลข้อความกำลังพัฒนาอย่างแข็งขัน (ความสามารถในการตัดสินที่เชื่อถือได้เกี่ยวกับเนื้อหาของเอกสารโดยไม่ต้องอาศัยการอ่านรายละเอียด) การวิเคราะห์ด้วยภาพอยู่ที่จุดตัดของทั้งสองส่วนนี้

แม้ว่าจะมีการพัฒนาวิธีการวิเคราะห์ข้อมูลอัตโนมัติหลายวิธีในช่วง 15-20 ปีที่ผ่านมา แต่ก็ไม่น่าเป็นไปได้ที่การวิเคราะห์ทั้งหมดจะสามารถถ่ายโอนไปยังเครื่องจักรได้ โดยส่วนใหญ่แล้วการวิเคราะห์จะถูกสร้างขึ้นตามรูปแบบที่แสดงในรูปที่ 1 3. ขั้นแรก ใช้เครื่องมือวิเคราะห์อัตโนมัติ ปรับให้เข้ากับการใช้งานเฉพาะด้าน สร้างปริมาณข้อมูลลดลงเมื่อเทียบกับเครื่องมือดั้งเดิม ใช้วิธีการขุดข้อมูล และสร้างแบบจำลองที่เหมาะสมสำหรับการวิจัยเพิ่มเติม เทคโนโลยีการแสดงภาพและการโต้ตอบช่วยให้บุคคลสามารถวิเคราะห์และปรับปรุงโมเดลนี้ได้ การกระทำส่วนใหญ่จะดำเนินการในโหมดวนซ้ำเพื่อให้ได้ผลลัพธ์ที่ต้องการอย่างต่อเนื่อง ในการใช้งานจริง อาจไม่มีส่วนประกอบทั้งหมดอยู่ (รูปที่ 3) แต่จะมีลูปป้อนกลับแบบปิดแบบวนซ้ำไม่ว่าในกรณีใดก็ตาม

ข้อได้เปรียบหลักของ Data Discovery และโซลูชันการวิเคราะห์ด้วยภาพคือ ช่วยให้บุคคลดึงข้อมูลที่ซ่อนอยู่ในนั้นออกมา หรือ "พูดคุย" ข้อมูลดังที่ระบุไว้ในหนังสือ Probability โดย Frederick Mosteller: "มักได้ยินกัน ว่าข้อมูลพูดเพื่อตัวเอง แต่เสียงของพวกเขาเบาเกินไปและสุภาพเรียบร้อย”

4.1. ส่วนขยายเสียงของการวิเคราะห์ภาพ

หนึ่งในวิธีที่มีประสิทธิภาพสมัยใหม่ในการวิเคราะห์ข้อมูลทางวิทยาศาสตร์ต่างๆ คือวิธีการสร้างภาพข้อมูลด้วยคอมพิวเตอร์ - วิธีสร้างภาพข้อมูลทางวิทยาศาสตร์

การแก้ปัญหาการวิเคราะห์ข้อมูลทางวิทยาศาสตร์โดยใช้วิธีแสดงภาพทางวิทยาศาสตร์ประกอบด้วย

1. ในการได้มาซึ่งการแสดงข้อมูลที่วิเคราะห์ในรูปแบบของภาพกราฟิกบางส่วน (งานแสดงภาพข้อมูลต้นฉบับ) เพื่อให้ได้ภาพกราฟิกดังกล่าว จำเป็นต้องเชื่อมโยงข้อมูลกับฉากเชิงพื้นที่ (ชุดของวัตถุเชิงพื้นที่) หรือให้ละเอียดกว่านั้นคือคำอธิบาย (แบบจำลอง) ทางเรขาคณิตและออปติคัล (พื้นผิว)) จากนั้นจึงได้ภาพกราฟิกของสิ่งนี้ ฉากเชิงพื้นที่ (การเรนเดอร์) ซึ่งสามารถแสดงบนจอภาพ เครื่องพิมพ์ และอุปกรณ์เอาท์พุตอื่น ๆ เพื่อการวิเคราะห์ในภายหลัง
2. ในการวิเคราะห์ด้วยภาพของผลลัพธ์ภาพกราฟิกของข้อมูลที่วิเคราะห์ ในกรณีนี้ ผลลัพธ์ของการวิเคราะห์จะถูกตีความโดยสัมพันธ์กับข้อมูลต้นฉบับ งานนี้แก้ไขได้โดยตรงจากผู้ใช้เอง โดยการวิเคราะห์ภาพของภาพกราฟิก เราหมายถึงการวิเคราะห์ภาพของฉากอวกาศดังกล่าว บุคคลสามารถตัดสินเกี่ยวกับตำแหน่งสัมพัทธ์ของวัตถุอวกาศ รูปร่าง และพื้นผิวได้

ข้าว. 4.1. วิธีการแสดงภาพทางวิทยาศาสตร์ที่ปรับปรุงเสียง

พิจารณาความเป็นไปได้ในการเชื่อมต่ออวัยวะรับความรู้สึกอื่น - อวัยวะของการได้ยิน - ในกระบวนการวิเคราะห์ด้วยภาพ ในการวิเคราะห์แหล่งข้อมูลโดยใช้เสียง จำเป็นดังนี้:

1. รับการแสดงข้อมูลที่วิเคราะห์ในรูปแบบของการแสดงเสียงบางประเภท เพื่อให้ได้จอแสดงผลดังกล่าว จำเป็นต้องเสริมคำอธิบายทางเรขาคณิตและแสงของฉากเชิงพื้นที่ด้วยคำอธิบายเสียง และวางฉากเชิงพื้นที่เสียงดังกล่าวให้สอดคล้องกับข้อมูลต้นฉบับ จากนั้นจึงขอรับการแสดงเสียงของฉากเชิงพื้นที่นี้ ( การแสดงเสียง) ซึ่งสามารถส่งออกไปยังลำโพงและอุปกรณ์ส่งออกอื่น ๆ เพื่อการวิเคราะห์ในภายหลัง
2. วิเคราะห์การแสดงเสียงและตีความผลการวิเคราะห์โดยสัมพันธ์กับข้อมูลต้นฉบับ
   สิ่งสำคัญคือต้องทราบว่าการมีทั้งการแสดงเสียงและภาพกราฟิกที่ตรงกับข้อมูลต้นฉบับสำหรับการวิเคราะห์ในภายหลังมักจะทำให้กระบวนการวิเคราะห์มีประสิทธิภาพมากขึ้น

รูปที่ 4.1 แสดงบล็อกไดอะแกรมของอัลกอริธึมการแสดงภาพขั้นสูง เช่น ร่วมกันรับภาพกราฟิกและเสียงของแหล่งข้อมูล

ข้าว. 4.2. แผนภาพบล็อกของอัลกอริธึมการแสดงภาพทางวิทยาศาสตร์ขั้นสูง

อัลกอริธึมดังกล่าวถูกนำไปใช้โดยใช้คอมพิวเตอร์โดยการเขียนโปรแกรมแอปพลิเคชันการแสดงภาพในภาษาการเขียนโปรแกรมอินพุตบางภาษาของเครื่องมือที่ใช้ (ชุดเครื่องมือ) ในรูปแบบของผลิตภัณฑ์ซอฟต์แวร์บางอย่างหรือชุดผลิตภัณฑ์ซอฟต์แวร์

ให้เราพิจารณาลักษณะสำคัญของวิธีการแสดงภาพทางวิทยาศาสตร์แบบขยายโดยสัมพันธ์กับปัญหาการวิเคราะห์ข้อมูลทางวิทยาศาสตร์บางประเภท เมื่อใช้คำอธิบายของเขตข้อมูลสเกลาร์บางช่องเป็นข้อมูลดังกล่าว

4.2. การวิเคราะห์ด้วยภาพที่ได้รับการปรับปรุงด้านเสียงของช่องสเกลาร์

ข้อมูลเบื้องต้น

ข้อมูลนี้เป็นคำอธิบายของสนามสเกลาร์ในช่องสี่เหลี่ยมบางส่วนของพื้นที่ทางกายภาพสามมิติ ซึ่งนำเสนอในไฟล์ ตามคำอธิบาย แบบจำลองทางคณิตศาสตร์ของสนามสเกลาร์ถูกใช้ในรูปแบบของค่าของฟังก์ชันของตัวแปร 3 ตัวในรูปแบบ F(x,y,z) ที่โหนดของตารางสี่เหลี่ยมสามมิติที่กำหนด

ข้อมูลที่กรองแล้ว

ฟังก์ชันการประมาณค่า f(x,y,z) ถูกใช้เป็นข้อมูลที่กรอง โดยใช้ค่าของฟังก์ชันดั้งเดิมที่โหนดกริด เพื่อให้ได้ฟังก์ชัน f(x,y,z) ที่ระบุในโดเมนของคำจำกัดความที่พิจารณา (ขนานกัน) เราใช้การประมาณค่าแบบไตรลิเนียร์

คำอธิบายของฉากอวกาศ

คำอธิบายนี้ประกอบด้วย 3 องค์ประกอบ:

1. คำอธิบายของ isosurface ของฟังก์ชัน f(x,y,z) ในรูปแบบ: f(x,y,z)=с ในขณะที่ค่าที่ยอมรับร่วมกัน x,y,z อยู่ในโดเมนข้างต้นของคำจำกัดความของ ฟังก์ชัน f(x,y,z) และ c คือจำนวนจริงที่ผู้ใช้ระบุ ซึ่งสอดคล้องกับค่าหนึ่งของฟิลด์สเกลาร์ที่วิเคราะห์
   isosurface นี้เป็นองค์ประกอบแรกของฉากเชิงพื้นที่ที่ถูกนำมาพิจารณา
2. คำอธิบายเชิงแสง เช่น คำอธิบายการเคลือบพื้นผิวของไอโซพื้นผิวดังกล่าวที่ผู้ใช้ระบุ
3. คำอธิบายเสียง เช่น คำอธิบายแหล่งกำเนิดเสียงที่นำมาใช้ในการพิจารณา ผู้ใช้ระบุตำแหน่งของมัน (ค่าพิกัด x0,y0,z0) และความถี่ของเสียงขาออก w เกี่ยวข้องกับค่าของฟังก์ชัน f(x,y,z) ดังนี้: w = k* f(x0,y0,z0) โดยที่ผู้ใช้ระบุค่าสัมประสิทธิ์ k
   แหล่งกำเนิดเสียงจุดนี้เป็นองค์ประกอบที่ 2 ของฉากเชิงพื้นที่ที่ถูกนำมาพิจารณา

การแสดงภาพและเสียงของฉากเชิงพื้นที่

ผลลัพธ์ของการเรนเดอร์เป็นตามลำดับ:

• ภาพกราฟิกฉายของ isosurface บนเทอร์มินัลกราฟิกที่ใช้
• คลื่นเสียงที่สร้างโดยขั้วต่อเสียงที่ใช้งานอยู่

ควรชี้แจงว่าความถี่ของคลื่นเสียงที่ผู้ใช้รับรู้เป็นโทนเสียง

เครื่องมือการแสดงภาพข้อมูลขั้นสูงได้กลายเป็นส่วนสำคัญของแพลตฟอร์ม BI ขององค์กร ผู้จำหน่ายบางราย เช่น Tableau ได้สร้างการแสดงภาพเป็นรากฐานสำคัญของระบบการวิเคราะห์ของตน แนวโน้มดังกล่าวแทรกซึมเข้าไปในตลาดระบบการวิเคราะห์อย่างสมบูรณ์ ในปัจจุบัน แม้แต่เครื่องมือวิเคราะห์ที่ง่ายที่สุดสำหรับผู้ใช้ปลายทางก็ยังต้องอาศัยการแสดงข้อมูลด้วยภาพ

การสร้างภาพข้อมูลขนาดใหญ่

การนำเสนอผลการวิเคราะห์ด้วยภาพมีความสำคัญขั้นพื้นฐานสำหรับการตีความ ไม่ใช่ความลับที่การรับรู้ของมนุษย์มีจำกัด และนักวิทยาศาสตร์ยังคงดำเนินการวิจัยเพื่อปรับปรุงวิธีการนำเสนอข้อมูลที่ทันสมัยในรูปแบบของรูปภาพ ไดอะแกรม หรือภาพเคลื่อนไหว ดูเหมือนว่าจะเป็นไปไม่ได้ที่จะทำอะไรใหม่ ๆ ที่นี่ แต่จริงๆ แล้วไม่เป็นเช่นนั้น เพื่อเป็นตัวอย่าง ต่อไปนี้เป็นวิธีการแสดงภาพขั้นสูงหลายวิธีที่แพร่หลายเมื่อไม่นานมานี้

• แท็กคลาวด์

แต่ละองค์ประกอบในแท็กคลาวด์ได้รับการกำหนดน้ำหนักเฉพาะซึ่งสัมพันธ์กับขนาดแบบอักษร ในกรณีของการวิเคราะห์ข้อความ ค่าของสัมประสิทธิ์การถ่วงน้ำหนักโดยตรงจะขึ้นอยู่กับความถี่ในการใช้ (เครื่องหมายคำพูด) ของคำหรือวลีบางคำ ช่วยให้ผู้อ่านเข้าใจประเด็นสำคัญของข้อความขนาดใหญ่หรือชุดข้อความได้อย่างรวดเร็ว

• คลัสเตอร์แกรม

วิธีการแสดงภาพที่ใช้ในการวิเคราะห์คลัสเตอร์ แสดงให้เห็นว่าองค์ประกอบแต่ละส่วนของชุดข้อมูลเกี่ยวข้องกับคลัสเตอร์อย่างไรเมื่อตัวเลขมีการเปลี่ยนแปลง การเลือกจำนวนคลัสเตอร์ที่เหมาะสมที่สุดถือเป็นองค์ประกอบสำคัญของการวิเคราะห์คลัสเตอร์

• กระแสประวัติศาสตร์

ช่วยติดตามวิวัฒนาการของเอกสารที่ผู้เขียนจำนวนมากทำงานพร้อมกัน นี่เป็นสถานการณ์ทั่วไปสำหรับบริการวิกิและเว็บไซต์ tadviser เช่นกัน เวลาถูกพล็อตตามแกนนอน และการมีส่วนร่วมของผู้เขียนร่วมแต่ละคนจะถูกพล็อตตามแกนตั้ง เช่น ปริมาณข้อความที่ป้อน ผู้เขียนแต่ละคนที่ไม่ซ้ำกันจะถูกกำหนดสีเฉพาะบนแผนภูมิ แผนภูมิด้านล่างนี้เป็นผลจากการวิเคราะห์คำว่า “อิสลาม” ในวิกิพีเดีย เห็นได้ชัดว่ากิจกรรมของผู้เขียนเพิ่มขึ้นอย่างไรเมื่อเวลาผ่านไป

• การไหลเชิงพื้นที่

แผนภาพนี้ช่วยให้คุณติดตามการกระจายข้อมูลเชิงพื้นที่ แผนภูมิตัวอย่างถูกสร้างขึ้นโดยใช้บริการ New York Talk Exchange โดยแสดงให้เห็นภาพความเข้มข้นของการแลกเปลี่ยนการรับส่งข้อมูล IP ระหว่างนิวยอร์กและเมืองอื่นๆ ทั่วโลก ยิ่งเส้นสว่าง ข้อมูลจะถูกส่งต่อหน่วยเวลาก็จะมากขึ้น เป็นเรื่องง่ายและไม่ยากที่จะระบุภูมิภาคที่ใกล้กับนิวยอร์กมากที่สุดในบริบทของการแลกเปลี่ยนข้อมูล

การประมวลผลฐานข้อมูลการปฏิบัติงานและพื้นที่เก็บข้อมูลหลายมิติ

• ฐานข้อมูลภาระหนักของธุรกรรม
• พื้นที่เก็บข้อมูลเชิงสัมพันธ์และหลายมิติ
• การเรียกโดยตรงไปยัง API ของระบบ
• การทำงานกับตัวเชื่อมต่อ
• การประมวลผลไฟล์แบบเรียบ (CSV, Excel, XML ฯลฯ)

การสร้างแบบจำลองการวิเคราะห์ในหน่วยความจำ