Структурно-методологические основы информационно-поисковых систем

В задачах информационного поиска качественно различают две составляющие: концептуальную и технологическую.

К концептуальным составляющим относятся, прежде всего, системы представления собственно информации (знаний), а также средства представления информации об обрабатываемой информации, используемые в качестве основы как механизма информационного поиска, так и организации процессов взаимодействия пользователя с АИПС. К технологическим составляющим можно отнести средства пользовательского интерфейса, алгоритмы обработки информации, индексирования и поиска, интеграцию информации из различных источников, языки запросов и др.

С точки зрения «интеллектуальности» средств поиска и в зависимости от характера информации (и возможностей разработчика) в основу конкретной более или менее сложной АИПС может быть положена одна из следующих технологий поиска: литеральный поиск – поиск подстроки, происходящий без привлечения знаний о лексической, грамматической и семантической структуре обрабатываемого материала; поиск, в ходе которого используется лексико-грамматическая информация, то есть привлекаются лингвистические словари, программы морфологического анализа текста; семантический поиск, осуществляющийся на основании знания об отношениях между понятиями предметной области, выраженными посредством слов естественного языка.

В последнем случае носителями такого рода информации, в частности, являются тезаурусы, уже более трех десятилетий использующиеся для информационного поиска. Кроме того, огромную роль в организации диалога между пользователем и информационно-поисковой системой играют хотя и менее сложные, но разнообразные словарные структуры. Используя их, пользователь может развивать поиск, модифицируя запрос (выражение его информационной потребности) согласно особенностям представления объекта поиска средствами конкретной ИПС и БД.

ИПС отличаются друг от друга по логике работы и техническим параметрам. К логике относится выделение единицы хранения, язык запросов, представление исходных и выходных документов, а также – адресная информация. К параметрам – время индексации и поиска, объем индекса, поддержка существующих платформ, совместимость с другими системами.

Информационный поиск подразумевает использование определённых стратегий, методов, механизмов и средств. Рассмотрим эти понятия.

Стратегия поиска – общий план (концепция, предпочтение, установка) поведения системы или пользователя для выражения и удовлетворения информационной потребности пользователя, обусловленный как характером цели и видом поиска, так и системными «стратегическими» решениями – архитектурой БД, методами и средствами поиска в конкретной АИПС. Выбор стратегии в общем случае является оптимизационной задачей. На практике в значительной степени он определяется искусством достижения компромисса между практическими потребностями и возможностями имеющихся средств.

Метод поиска – совокупность моделей и алгоритмов реализации отдельных технологических этапов: построения поискового образа запроса (ПОЗ), отбора документов (сопоставление поисковых образов запросов и документов), расширения и реформулирования запроса, локализации и оценки выдачи.

Механизмы поиска – совокупность реализованных в системе моделей и алгоритмов процесса формирования выдачи документов в ответ на поисковый запрос.

Средства поиска , с одной стороны, – взаимозависимый комплекс информационно-поисковых языков (ИПЯ) и языков определения/управления данными, обеспечивающий структурные и семантические преобразования объектов обработки (документов, словарей, совокупностей результатов поиска), а с другой, – объекты пользовательского интерфейса, обеспечивающие управление последовательностью выбора операционных объектов конкретной АИПС.

С точки зрения взаимодействия пользователя с системой средства поиска воплощаются в поисковых технологиях – унифицированных (оптимизированных в рамках конкретной АИПС) последовательностях использования отдельных средств системы для устойчивого получения конечного и, возможно, промежуточных результатов.

По используемым поисковым технологиям ПС можно разбить на 4 категории:

1. Тематические каталоги.

2. Специализированные каталоги (онлайновые справочники).

3. Поисковые машины (полнотекстовый поиск).

4. Средства метапоиска.

В Интернете ИПС размещаются на серверах. В ИПС собирается, индексируется и регистрируется информация о документах, имеющихся в обслуживаемой системой группе веб-серверов. В документах индексируются все значащие слова или только слова из заголовков. ИПС может размещаться на нескольких серверах. Так, популярная поисковая машина AltaVista с этой целью использует шесть компьютеров.

Тематические каталоги предусматривают обработку документов и отнесение их к одной из нескольких категорий, перечень которых заранее задан. Фактически это индексирование на основе классификации. Индексирование может проводиться автоматически либо вручную с помощью специалистов, просматривающих популярные веб-узлы и составляющих краткое описание документов-резюме (ключевые слова, аннотация, реферат).

Например, в ИПС «Yahoo» каталог построен на основе фасетно-иерархической классификации. Иерархически организованный тематический каталог веб генерируется полуавтоматически. Ссылки на различные ресурсы собираются двумя способами: присылаются пользователями и извлекаются программами-роботами, считывающими новые ссылки из известных источников. Тематика каталога разделена на большие классы, например, Компьютеры, Правительство, которые далее детализируются по иерархическому принципу.

Специализированные каталоги или справочники создаются по отдельным отраслям и темам, по новостям, по городам, по адресам электронной почты и т. п.

Поисковые машины (самое развитое средство поиска) реализуют технологию полнотекстового поиска. Индексируются тексты, расположенные на опрашиваемых серверах. Индекс может содержать информацию о нескольких миллионах документов. Например, в индексе популярной ИПС «AltaVista» более 56 млн. URL-адресов (данные 1999 г.)

При использовании средств метапоиска запрос осуществляется одновременно несколькими поисковыми системами, результат поиска объединяется в общий, упорядоченный по степени релевантности список. Каждая система обрабатывает только часть узлов сети, это позволяет значительно расширить базу поиска. К подобному классу можно также отнести «персональные программы поиска», позволяющие формировать свои собственные инструменты метапоиска (например, автоматически опрашивать часто посещаемые узлы).

Реализуется процесс поиска информации и управления им в БД с помощью «навигационных» приёмов. Навигация – целенаправленная, определяемая стратегией, последовательность использования методов, средств и технологий конкретной АИПС для получения и оценки результата.

Средства навигации представляют интерфейс , позволяющий организовать достаточно эффективный процесс взаимодействия пользователя с БД. Средства интерфейса помогают пользователю ориентироваться в системе при реализации процесса поиска.

Базы информационных данных могут содержать различные (практически любые) виды информации, в том числе в любой комбинации. Информационный поиск осуществляется как по существующим в полнотекстовых ЭИР терминам, так и по специальным элементам, входящим в состав ИПЯ. Для формирования запросов используются специальные информационно-поисковые языки. Определение данному понятию представлено в теме 13.

ИПС внутри найденной выборки обычно пытаются расположить документы в порядке их «релевантности », то есть близости к введенному пользователем запросу. Критериев такой близости много и выявление близких «по смыслу» к запросу документов не решает проблемы получения информации при отсутствии релевантного документа. Подобная ситуация достаточно тривиальна, в том числе и потому, что пользователь зачастую ищет документ, который сам собирается написать. Следует отметить, что в результате проведенного поиска пользователь может получить как релевантные, пертинентные, так и нерелевантные и непертинентные подмассивы данных.

ИПС фактически являются системами информационного обеспечения и представляют собой базы и банки данных. В качестве объекта в них выступает индивид, организация, отрасль, регион и т.п. Субъектом информационного обеспечения является специалист-информатик, любой потребитель информации.

«База данных » – поименованная совокупность взаимосвязанных данных, находящихся под руководством систем управления базами данных (СУБД).

«Банк данных » – логическая, тематическая или иная совокупностьбаз данных.

«СУБД » позиционируется как совокупность языковых и программных средств, обеспечивающих выполнение процедур, связанных с организацией ввода, корректировки, хранения, удаления и поиска данных, а также доступа к ним. СУБД образуют ИПС. Реально большинство нынешних ИПС позволяют искать информацию в виде документов. Такие ИПС можно назвать документо-поисковыми или документно-поисковыми системами (ДПС).

Тема 2. Информационно-поисковые и информационно-справочные системы

Содержание

2.4. Упражнение

2.5. Контрольные вопросы.

Ключевые слова

Классификационный индекс. Поисковое предписание. Поисковый образ документа. Поисковый образ запроса. Система метаданных. Сетевой доступ. Произвольный запрос. Работа по сценарию. Электронная библиотека. Машиночитаемый каталог.

2.1. Информационно-поисковые системы

Принципы формирования типовой информационной структуры:

Однократный ввод и многократное использование информации;

Полнота удовлетворения информационных потребностей основных групп пользователей;

Оперативное пополнение ресурсов обязательными документами;

Комфортный доступ к ресурсам в off - и on - line режимах;

Выполнение как конкретных узко тематических, так и широких по тематике запросов.

Запросы, которые формируют пользователи информационных систем, реализуются следующими способами:

Сообщения, являющиеся ответом на запрос, хранятся в явном виде в базе данных, и процесс получения ответа представляет собой выделение подмножества знаний из файлов базы данных, удовлетворяющих запросу;

Ответ не существует в явном виде в базе данных и формируется в процессе логического вывода на основании имеющихся данных.

Теория информационного поиска начиналась с исследования особенностей документальных информационно-поисковых систем (ИПС). Под информационным поиском в таких системах понимается некоторая последовательность операций, выполняемых с целью отыскания документов (статей, научно-технических отчетов, описаний к авторским свидетельствам и патентам, книг и т.д.), содержащих определенную информацию (с последующей выдачей самих документов или их копий), или с целью выдачи фактических данных, представляющих собой ответы на заданные вопросы.

Массив элементов информации, в котором производится информационный поиск, называется поисковым массивом. Существующие виды информационного обслуживания представлены в таблице:

Признак классификации	Вид обслуживания
По источнику инициативы	Принудительное; По запросам потребителей
По типам документов
По направленности или адресности	Информационные издания (много адресов); Избирательное распределение информации (один адрес)
По периодичности или срочности	Текущее оповещение; Ретроспективный поиск
По способу доведения документов до потребителя	Непосредственная передача документов или их копий потребителям; Двухступенчатое обслуживание (вначале информационное издание, а затем – копии заинтересовавших потребителя документов
По назначению, цели	Ознакомление; Для практического использования

Способы реализации видов и форм обслуживания зависят от вида, назначения и способа реализации конкретной ИПС. Очевидно, что прочитать каждый документ библиотеки, чтобы найти необходимый, практически невозможно. Поэтому на протяжении истории развития информационного поиска разрабатывались и совершенствовались методы поиска.

Каждому документу, вводимому в поисковый массив, ставится в соответствии поисковый образ документа (ПОД), который представляет собой характеристику, отражающую основное смысловое содержание документа (этим ПОД отличается от кода, присваиваемого информационному элементу в фактографических ИС). В виде такой же краткой характеристики – поискового предписания или поискового образа запроса (ПОЗ) должны быть сформулирован и информационный запрос. Благодаря этому процедура поиска может быть сведена к простому сопоставлению поисковых образов документов с поисковым предписанием.

Для сопоставления ПОД и ПОЗ разрабатывают и применяют различные критерии поиска или критерии смыслового соответствия. Точность поиска определяется точностью отображения документов и запросов с помощью их поисковых образов и степенью совпадения ПОД и ПОЗ. Поэтому возможна неполнота выдачи документов, либо, напротив, «поисковый шум», которые представляют собой своеобразную плату за облегчение процедуры информационного поиска.

Процедура выражения основного смыслового содержания документа и информационных запросов на информационно-поисковом языке получила название индексирования и составляет существенную часть аналитико-синтетической обработки документов. Информационный поиск, таким образом, заключается в замене содержательного прочтения полного текста документов формальным «сличением» (сравнением на соответствие) их поисковых образов с запросами на языке индексов.

Информационный поиск реализуется при помощи информационно-поисковой системы , которая в абстрактном виде должна состоять из информационно-поискового языка, правил перехода на этот язык и критерия смыслового соответствия, определяющего объем выдачи документов или информации.

Модель организации данных в гипертекстовых справочных системах основана на сочетании ассоциативных гиперссылок и иерархического принципа организации фрагментов и документов. Концептуальная схема информационно-поисковой системы представлена на рисунке:

Модель организации данных в гипертекстовых справочных системах основана на сочетании ассоциативных гиперссылок и иерархического принципа организации фрагментов и документов.

Поисковые системы подразделяются на каталоги и указатели; они различаются технологией подготовки справочного материала: каталоги составляют люди, а указатели формируются автоматически. Самый крупный каталог Интернет – Yahoo ! (www . yahoo . com ); он содержит более миллион ресурсов и поддерживается 150 редакторами. Ведущий каталог России – List . Ru (www . list . ru ): 100 тысяч ссылок, классифицированных по 18 каталогам.

Язык поисковых слов служит для координатного индексирования документов и запросов посредством дескрипторов и ключевых слов. В его основе лежит алфавитный перечень лексических единиц, или словарь ключевых слов. Именно язык ключевых слов открыл возможность для автоматизации информационного поиска. Он позволяет достаточно детально и многоаспектно раскрывать содержание документов. Дескрипторы и ключевые слова легко дополняются и обновляются, поскольку в алфавитный перечень можно включать любую лексическую единицу, необходимую для индексирования.

Информационно-поисковые каталоги является традиционными технологиями организации информационного поиска в документальных фондах библиотек, архивов и представляют собой классификационную систему знаний по определенной предметной области. Смысловое содержание документа в информационно-поисковых каталогах отображается тем или иным классом каталога, а индексирование документов заключается в присвоении каждому документу специально кода (индекса), соответствующего по содержанию классу (классам) каталога, и создании на этой основе специального индексного указателя.

Система метаданных является центральным логическим компонентом любой электронной библиотеки (ЭБ). Подобно тому, как библиотечный каталог организует все множество единиц хранения в систему библиотечных фондов, вокруг которой строятся все библиотечные технологии, система метаданных организует совокупность электронных информационных ресурсов (или цифровых объектов) библиотеки.

На основе системы метаданных строятся основные технологические процессы ЭБ:

Навигация в информационном пространстве;

Поиск отдельных цифровых объектов (информационных ресурсов) или их совокупностей;

Ввод, обработка и организация хранения цифровых объектов, а также их исключение (изъятие);

Управление правами доступа к цифровым объектам, включая защиту авторских прав, организации платы за доступ и т.п.

Типы метаданных:

Описательные – библиографическая информация или другие сведения о содержании (семантике) цифровых объектов.

Структурные – сведения о форматах, структуре, объеме и других формальных свойствах цифровых объектов;

Административные – права, разрешения на доступ, на коррекцию данных, данные о пользователе, данные для систем оплаты, технологические данные.

Общим типом метаданных является идентификатор , задача которого – однозначное представление цифрового объекта для внешнего лица и различных приложений.

Системы метаданных определяют класс задач, которые реализуются в ЭБ и решающим образом влияют на интероперабельность (совместимость) коллекций, имеющихся в библиотеке. Тем самым принятие тех или иных принципов в отношении метаданных фактически определяет стоимость проектов по созданию ЭБ и эффективность затрат на эти проекты.

Известны следующие системы метаданных:

MARC – машиночитаемый каталог. CSDGM – стандарт цифровых геопространственных данных. GILS – глобальная (правительственная) служба поиска информации. EAD – кодировка архивных описаний, используемая для стандартизации и классификации уникальных архивов материалов, прежде всего рукописей. TEI – инициатива по кодированию текстов. Формат Государственного регистра баз и банков данных – содержит систему метаданных для баз данных и других электронных наборов данных.

Международная группа под руководством Stuart Weber & OCLC (штаб-квартира в Дублине, штат Огайо, США) разработала систему метаданных «Дублинское ядро».

Набор метаданных Дублинского ядра составляют 15 элементов:

Заголовок ( Title ) – название, присвоенное ресурсу создателем или издателем.

Автор ( Creator ) – человек или организация, изначально ответственная за интеллектуальное содержание ресурса (в случае рукописного документа это авторы; в случае визуальных ресурсов – исполнители, фотографы, иллюстраторы).

Предмет ( Subject ) – тема ресурса. Обычно предмет выражается в ключевых словах или фразе, описывающей предмет или содержание ресурса. приветствуется использование контролируемых словарей и формальных схем классификации.

Описание ( Description ) – текстовое описание содержания ресурса, включая реферат в случае документов или описания содержания в случае визуального ресурса.

Издатель ( Publisher ) – организация, ответственная за состояние ресурса в его представленной форме: издательский дом, университетский департамент, корпорация.

Участник создания материала ( Contributor ) – человек или организация, которые не являются авторами (не обозначены в элементе «автор»), но внесли значительный интеллектуальный вклад в ресурс; чей вклад вторичен по отношению к любому человеку или организации, указанной в числе авторов: редактор, переводчик, иллюстратор.

Дата ( Date ) – дата, указывающая на создание или появление ресурса (в доступном виде).

Тип ( Type ) – категория ресурса: домашняя страничка, роман, поэма, статья, препринт, технический отчет, эссе, словарь.

Формат ( Format ) – формат представления данных ресурса (обычно указывается тип программного обеспечении и, возможно, тип компьютера, которые могут быть необходимы для отображения ресурса и работы с ним).

Идентификатор ( Identifier ) – набор букв или цифр, который обычно используется для уникальной идентификации ресурса.

Источник ( Source ) – информация об источнике, из которого получен представленный ресурс.

Язык ( Language ) – язык, на котором изложено интеллектуальное содержание ресурса.

Связь ( Relation ) – идентификатор первичного ресурса и его связь с представленным ресурсом. Этот элемент позволяет связывать между собой близкие ресурсы, а также описание ресурса, которые необходимо показать. Например, издание книги и глава книги.

Охват ( Coverage ) – характеристика местонахождения и временной продолжительности ресурса.

Права ( Rights ) – утверждение об авторских правах и управление ими (идентификатор, связанный с такими утверждением; идентификатор, связанный с сервисом, представляющим информацию об управлении правами на данный ресурс).

2.2. Информационно-справочные системы. Библиотеки. Архивы

Доступ к данным осуществляется в соответствии с их структу­рой, заданной описанием данных, и представляет собой процедуру обхода вершин дерева данных. В процессе обхода в текущей вершине можно производить определенные действия с данными: читать и изме­нять данные, создавать новые вершины, удалять текущие вершины вместе с их поддеревьями и т.д. При этом все выполняемые в про­цессе обхода дерева данных движения представляют собой либо переходы, согласованные с иерархией дерева, либо прямые переходы по ссылкам. Совокупность таких переходов называется траекторией в де­реве данных или в базе данных.

В соответствии с траекторией дерева данных выполнение запро­са логически разбивается на части, относящиеся к обработке групп данных раз­личными процедурами. Последовательность доступа к данным по траектории дерева данных определяет последовательность выполнения процедур обработки, а наличие данных – сам факт выпол­нения процедур (фактически доступ к данным управляет выполнением процедур). Таким образом, запрос представляет собой сложную смесь считывания данных из базы и выполнения процедур.

Диалоговый интерфейс обеспечивает и различные формы взаимодействия:

Работа по сценарию;

Работа с произвольными запросами;

Работа по созданию сценария.

Работа по сценарию . Это – основной режим работы прикладных конеч­ных пользователей. Взаимодействие происходит на языке, состоящем из меню, команд и бланков, подлежащих заполнению и выдаваемых по заданному сценарию. Сценарий отражает профессиональные интересы пользователей и создается в понятных ему терминах. В состав сце­нария включаются средства подсказки и обучения. Пользователю не нужно знать структуру данных и изучать специальный язык манипули­рования данными. Сценарий создается администратором и оперативно­му изменению не подлежит.

Работа с произвольными запросами . Это – режим работы пользовате­лей-профессионалов в сфере обработки данных. Такая форма взаимо­действия доступна подготовленным пользователям, знающим структуру информационной базы и язык манипулирования данными. Пользователь может работать со схемой базы данных (определять, удалять, изме­нять отношения) в пределах предоставленных ему полномочий. Для манипулирования данными используется язык реляционного интерфей­са. Диалог состоит из запросов на языке реляционного интерфейса, команд управления и редактирования и ответов на них, передаваемых через диалоговый интерфейс.

Работа по созданию сценария . Это – режим работы администратора. Сценарий работы прикладных конечных пользователей создается адми­нистратором совместно с прикладными пользователями. Формирование сценария ведется в диалоговом режиме. В процессе работы админист­ратор имеет возможность проверить созданный им сценарий и опера­тивно откорректировать его. Администратор создает систему меню и связанных с меню запросов, а также описывает экранные формы в со­ответствии с требованиями конечных пользователей.

Диалог прикладного конечного пользователя задается иерархи­ческой системой меню, содержащих описание последовательности ра­боты в терминах определенной предметной области. Для формули­рования запросов пользователям предоставляется специализированный полноэкранный редактор. Стратегия диалога основана на концепции контекстной помощи, чередующейся с запросами. Фрагмент, состоящий из ключевого слова и свя­занного с ним текстового поля, становится самостоятельным объек­том. Укрупнение объектов редактирования позволяет ускорить обра­ботку запросов, а диалоговые средства работы с шаблонами снижают возможность случайного внесения ошибок в текст запросов.

Электронные библиотеки

Основными базовыми определениями являются:

Библиографическая БД – документальная база данных, запись в которой содержится только библиографическое описание.

Библиотечная система – совокупность взаимодействующих библиотек, объединенных на определенных договорных условиях в целях более полного удовлетворения запросов пользователей и эффективного использования библиотечных ресурсов.

Библиографирование – процесс подготовки библиографической информацию.

Библиографическая запись – совокупность библиографических сведений о документе, приведенных по определенным правилам, устанавливающим порядок следования областей и элементов, и предназначенных для идентификации общей характеристике документа.

Библиотечный каталог – совокупность расположенных по определенным правилам библиографических записей на документы, раскрывающая состав и содержание фонда библиотеки или информационного центра.

Индексирование – выражение содержания документа или смысла информационного запроса на ИПЯ.

Классификационный индекс – поисковый образ, построенный средствами классификационного ИПЯ.

Поисковое предписание – текст, включающий поисковый образ запроса и указания о логических операциях, подлежащих выполнению в процессе информационного поиска.

Осознание необходимости и преимуществ стандартизации в библиотечной среде пришло с началом использования машиночитаемых библиографических записей и обмена ими.

С этим периодом связано начало разработки отечественной системы стандартов по информатике, библиотечному издательскому делу – СИБИД (конец 70-х – начало 80-х годов). ГОСТы на библиографическое описание устанавливали общие принципы и правила составления описания для различных видов документов: набор элементов библиографического описания, последовательность их расположения, наполнение и способ представления каждого элемента, применение условных разделительных знаков.

Стандарты на библиографические описания появились как результат пересмотра национальных правил каталогизации в связи с созданием в 1977 году «Международного стандарта библиографического описания» ( ISBD ). Как известно, ISBD превратилось в международный стандарт ISO , который требовал пересмотра национальных правил в странах-членах ISO и создания соответствующих национальных стандартов.

Свойс­тва автоматизированной библиотечной системы:

Устранение значительной части примитивной или чисто канце­лярской работы;

Устранение ошибок, попадающих в систему;

Постоянство информации внутри системы;

Быстрота ответов на запросы.

Одной из важных функций библиотечных автоматизированных сис­тем является выдача ответов на запросы пользователей. В процессе формирования запроса пользователем должна быть идентифицирована та часть информационной базы, которая имеет отношение к выдаче справки, а также установлено предписание, задающее критерии отбора данных, и процедура извлечения нужных сведений из базы данных. Процедура поиска включает информацию, идентифицирующую часть базы данных, предикат, определяющий критерий отбора данных, и оператор извлечения.

Электронная библиотека – распределенная информационная система, позволяющая надежно сохранять и эффективно использовать разнородные коллекции электронных документов (текст, графика, аудио, видео) через глобальные сети передачи данных в удобном для конечного пользователя виде. Базовой единицей электронной библиотеки является электронный архив модульной структуры.

Электронная библиотека предназначена для выполнения следующих функций:

Автоматизированная регистрация поступающих материалов;

Перенос твердых копий на магнитные носители;

Индексирование поступающих материалов;

Библиографическое описание поступающих материалов;

Реферирование и аннотирование поступающих материалов;

Формирование ссылочных каталогов на внешние (сетевые) источники;

Автоматизированный поиск информации (индексирование информационных запросов);

Оборудование АРМ абонентов и их эксплуатация;

Связь с внешними источниками информации (сетевой сервис);

Вспомогательные работы: копирование документов на бумагу, магнитные носители, микроленту, фотобумагу, микрофиши;

Издание реферативных журналов и бюллетеней информации;

Организация справочной службы и служб сопровождения.

Средства, разрабатываемые для автоматизированных библиотечных систем по охвату поддерживаемых библиотечных процессов и услуг, классифицируют следующим образом:

Автоматизированные информационно-библиотечные системы (АИБС);

Автоматизированные рабочие места (АРМ), которые разрабатываются либо как программные модули библиотечной системы, либо как самостоятельные информационные системы;

Электронные справочные системы (включая полнотекстовые);

Автономные автоматизированные системы поддержки и эксплуатации информационных баз данных различного назначения.

Работа пользователя в электронной библиотеке осуществляется в режиме диалога с использованием иерархической системы меню. Предусмотрена возможность модификации имеющихся и создание новых меню в соответствии с конкретными потребностями пользователя.

Электронные архивы

При разработке управленческих документов часто возникает необходимость обращения к архивным документам, а при последующем хранении – процедура сдачи документов в Государственный архив и формирования собственных архивов.

Под архивным фондом понимается совокупность документов, отражающих материальную и духовную жизнь ее народов, имеющих историческое, научное, социальное, экономическое, политическое или культурное значение и являющихся неотъемлемой частью историко-культурного наследия народов РФ.

Под архивным документом понимается документ, сохраняемый или подлежащий сохранению в силу его значимости для общества, а равно имеющий ценность для собственника.

Под архивом понимается совокупность архивных документов, а также архивное учреждение или структурное подразделение учреждения, организации или предприятия, осуществляющее прием и хранение архивных документов в интересах пользователей.

Под тайным архивом понимается архив, о котором не заявлено публично.

Под архивным делом понимается деятельность по организации хранения, учета и использования архивных документов.

Электронный архив – универсальная система управления документами, основным назначением которой является централизованное хранение документов и их версий, обеспечение доступа сотрудников к документам для просмотра или редактирования, и быстрый поиск информации. Компоненты электронного архива представлены на рисунке:

Использование архива позволяет упорядочить хранение документов и организовать работу с ними, сократив при этом накладные расходы, связанные с доступом к документам.

В электронном архиве можно хранить документы любых типов – офисные документы, тексты, изображения, аудио и видео файлы, документы систем проектирования, архивы, приложения и т.д. Как показывает опыт, архивы чаще всего используют для управления внутренней, организационно-распорядительной документацией и договорами. В электронном архиве документы хранятся в папках-рубрикаторах, структуру которых можно организовать, например, в соответствии с иерархией отделов предприятия, назначая каждому разделу ответственного администратора. Основным преимуществом подобного архива является наличие достаточных возможностей при доступной цене. В сочетании с широкими возможностями масштабирования это позволяет эффективно использовать его как на малых, так и на крупных предприятиях.

Функции электронного архива:

Хранение документов. С помощью архива можно сформировать централизованное хранилище документов и обеспечить управляемый доступ сотрудников к документам, как по локальной сети, так и через Интернет. Документы хранятся в гибко настраиваемой структуре папок-рубрикаторов.

Создание документов. Документы в архиве можно создавать на основе заранее сформированных шаблонов, или путем переноса каталогов и файлов с локального или сетевого диска в нужные папки. Поддерживается ввод документов со сканера, в том числе и потоковый, с возможностью автоматического распознавания ( OCR версия). Служба распознавания работает на сервере архива в фоновом режиме.

Учет документов На каждый документ в архиве ведется учетно-регистрационная карточка, набор реквизитов которой соответствует ГОСТ Р 6.30-2003 и требованиям ГСДОУ. Состав и расположение реквизитов карточки являются жестко настроенными и не могут быть изменены.

Взаимодействие пользователей. В архиве пользователи могут обмениваться сообщениями, присоединяя к ним ссылки на документы системы. Предусмотрена отправка документов по электронной почте. С целью упорядочивания работ с документами предусмотрена возможность выдачи поручений и контроля их исполнения.

Работа с документами. Для просмотра и редактирования документов архив использует соответствующие приложения. Ряд распространенных форматов документов, например, тексты, изображения, RTF -документы, HTML -документы и документы Microsoft Office , можно просматривать непосредственно, не переключаясь в другое приложение.

Регистрация корреспонденции. В архив можно вести учет и регистрацию входящей и исходящей корреспонденции. При этом осуществляется автоматическая генерация сквозных регистрационных номеров.

Коллективный доступ. Архив обеспечивает коллективный доступ сотрудников к документам, как для просмотра, так и для редактирования. Конфликты при одновременном редактировании документов исключаются благодаря механизму блокировки документов.

Сетевой доступ. Входящие в комплект поставки компоненты позволяют организовать доступ к документов с помощью обычных web -браузеров. Это позволяет, например, подключить к системе клиентов или сотрудников, работающих вне офиса.

Поиск. Архив позволяет искать документы не только по реквизитам учетной карточки, но и по тексту, с учетом морфологии русского языка, т.е. находить любые формы слов, указанных в поисковом выражении.

Права доступа. Каждому объекту архива (документу или папке) можно назначить набор прав доступа. Поддерживаются группы пользователей и наследование прав. Права ранжируются на девять критериев: просмотр, открытие, редактирование, управление версиями, перемещение, право подписи, право изменения, создание и удаление. Все действия пользователей, связанные с изменениями объектов архива или доступом к ним, протоколируются и могут просматриваться администратором системы.

Интеграция с внешними приложениями. В состав архива входят механизмы интеграции системы с внешними приложениями, позволяющие:

Включать в существующий архив дополнительные функции;

Разрабатывать автоматизированные системы пакетной обработки;

Создавать узкоспециализированные приложения для работы с документами;

Разрабатывать Интернет-решения для доступа к документным базам данных.

2.3. Организационно-административная система вуза

Система предназначена для решения следующих функций:

1. Рациональное использование вычислительной техники.

2. Усиление интеллектуальных возможностей субъектов педагогичес­кого управления и научно-исследовательской деятельности.

3. Совершенствование контроля над качеством учебно-воспитательного процесса.

4. Дозировка загрузки преподавателей и учащихся.

5. Оптимизация расписания занятий при наилучшем использовании по­мещений и оборудования с учетом педагогических и медицинских требова­ний.

6. Создание сетевых графиков прохождения предметов и дисциплин.

7. Накопление, систематизация и оперативное представление необхо­димых сведений о результатах учебно-воспитательной деятельности.

8. Распределение затрат с учетом повышения эффективности учебного процесса.

9. Принятие оптимальных научно-обоснованных решений.

Компоненты системы:

1. Компьютерные классы общего профиля (информатика, программирование, самостоятельная работа).

2. Компьютерные классы специализированного профиля/лаборатория (начальная школа, мультимедиа, моделирование).

3. Административный комплекс (архивы, финансы, справочная служба).

4. Демонстрационный комплекс (учебное телевидение, аудио- и видеосредства, слайды).

5. Издательский комплекс (набор, сканирование, редактирование, тиражирование).

6. Библиотечный комплекс.

7. Коммуникационный комплекс.

Структура автоматизированной системы «Высшее учебное заведение» представлена на рисунке:

В качестве примера приведем функции базовой подсистемы Учебная часть, предназначенной для организа­ции учебного процесса:

Организация работы с учебными планами по всем специальностям;

Организация работы с тематическим планом;

Планирование объемов учебной работы кафедрам;

Распределение фонда почасовой оплаты по кафедрам;

Организация работы приемной комиссии;

Контроль выполнения учебных поручений кафедрами.

При работе с учебным планом выделены следующие функциональные операции: Просмотр плана, Формирование выписки, Просмотр выписки (вы­писку можно формировать по факультету, по предмету, по курсу).

Доступная информация хранится в базах:

Учебный план, Темати­ческий план, Объемы учебной работы, Карты заданий.

По каждой базе возможна реализация следующих информационных операций:

Просмотр запи­сей, Редактирование базы в целом, Добавление записей, Удаление записей, Модификация записей.

2.4. Упражнение

Ознакомиться с возможностями информационно-поисковых систем.

1. Использование тематических поисковых каталогов

Поисковые каталоги осуществляют поиск нужной информации путем использования многоуровневых списков, в которых возможная тематика поиска разбита на различные рубрики. Выбрав интересующую его рубрику, пользователь переходит на следующий, более подробный уровень, который представляет собой список подчиненных рубрик, и так далее. Конечным результатом поиска является один или список нескольких серверов, содержащих искомую информацию.

Использование англоязычного поискового каталога Yahoo!

Запустите Internet Explorer, если он еще не запущен. В поле Адрес введите http://www.yahoo.com и нажмите клавишу Enter . В появившейся странице поискового каталога выберите рубрику-ссылку Recreation&Sport и перейдите на следующий уровень. Аналогично, последовательно выбирая рубрики-ссылки Magazines, Bodybuilding, Master Trainer, войдите на сервер, содержащий выбранную информацию, и просмотрите ее.

Использование русскоязычного поискового каталога «Желтые страницы Интернет»

В поле Адрес введите http://www.piter-press.ru и нажмите клавишу Enter . Последовательно выбирая рубрики-ссылки Регионы и города, Санкт-Петербург, Живая камера на Мойке Вы увидите на выбранном сервере живые кадры одного из уголков нашего города.

Использование русскоязычного поискового каталога «АУ!»

В поле Адрес введите http://www.au.ru и нажмите клавишу Enter . Последовательно выберите рубрики-ссылки Семья-дом-досуг, Развлекательные серверы, Городской кот. Вы увидите страницу с указанной тематикой.

Использование русскоязычного поискового каталога «Созвездие Интернета»

В поле Адрес введите http://www.stars.ru и нажмите клавишу Enter . Выберите, например, рубрику-ссылку Отдых и развлечения и далее найдите ту развлекательную информацию, которая Вам по душе.

Использование поисковых систем

Поисковые системы (машины поиска) осуществляют автоматический поиск информации по ключевым словам или по группе ключевых слов, образующих с помощью специальных средств некоторый сложный запрос. Результатом такого поиска является список всех найденных в Интернете страниц, содержащих указанные ключевые слова в сочетании, определяемом условиями запроса. Далее можно просмотреть любую из найденных страниц в этом списке. В данном разделе рассматриваются возможности простого поиска: по одному или нескольким ключевым словам без использования специальных средств построения запросов.

Наиболее известны следующие поисковые системы:

AltaVista – http://www.altavista.digital.com

Я ndex – http://www.yandex.ru

Рэмблер – http://www.rambler.ru

Поиск по одному слову, заданному маленькими буквами

Результат поиска – все найденные страницы, содержащие заданное слово, записанное любыми буквами).

Введите в поле Адрес http://www.altavista.digital.com и нажмите клавишу Enter. После открытия начальной страницы этой поисковой системы введите в поле поискового запроса ключевое слово для поиска, например, Москва и нажмите кнопку начала поиска. Отметьте количество найденных страниц и просмотрите несколько из них.

Введите в поле Адрес окна Internet Explorer адрес системы http://www.yandex.ru и нажмите клавишу Enter . После открытия начальной страницы этой поисковой системы введите в поле поискового запроса ключевое слово для поиска Москва и нажмите кнопку начала поиска. Отметьте количество найденных страниц и просмотрите несколько из них. Повторите эти же операции для системы http://www.rambler.ru

Поиск по одному слову, заданному с большой буквы

Результат поиска – все страницы, содержащие заданное слово, записанное с большой буквы (для некоторых поисковых систем могут быть и другие результаты).

Повторите поиск во всех трех системах, задав ключевое слово для поиска Москва Адрес . Сравните результаты поиска с предыдущим пунктом.

Поиск по нескольким словам

Результат поиска – все найденные страницы, содержащие хотя бы одно из заданных слов (для некоторых поисковых систем могут быть и другие результаты).

Продажа автомобилей . При выборе поисковой системы используйте раскрывающийся список для поля Адрес

Поиск по нескольким словам, заключенным в кавычки

Результат поиска – все страницы, содержащие заданное словосочетание как единое целое.

Осуществите поиск во всех трех системах, задав сочетание слов для поиска – Продажа автомобилей . При выборе поисковой системы используйте раскрывающийся список для поля Адрес . Проанализируйте результаты поиска.

Использование поисковых систем: расширенные возможности

В поисковых системах существуют средства, позволяющие формировать сложные поисковые запросы. Полный набор этих средств может существенно отличаться от системы к системе. Однако можно выделить несколько операций для построения запросов, которые можно использовать в большинстве поисковых систем. Эти операции применяются к ключевым словам для задания сложных условий отбора при поиске.
Операция AND или & означает, что в искомых страницах должны присутствовать оба ключевых слова, например, выражение процессор AND сканер требует найти страницы, в которых присутствуют оба слова: процессор и сканер.

Операция OR или | означает, что в искомых страницах должно присутствовать хотя бы одно из ключевых слов, например, выражение процессор OR сканер требует найти страницы, в которых присутствуют или слово процессор, или слово сканер, или оба этих слова.

Операция NOT , или!, или ~ означает, что в искомых страницах должно отсутствовать ключевое слово, к которому она применена. Например, выражение NOT сканер требует найти страницы, в которых отсутствует слово сканер.

Группировка, обозначаемая скобками, означает, что операция применяется не к одному слову, а ко всему выражению, стоящему в скобках. Например, выражение (процессор AND сканер) OR (дисковод AND разъем) требует найти страницы, в которых вместе присутствуют слова процессор и сканер , или вместе присутствуют слова дисковод и разъем, или все эти четыре слова.

Применение рассмотренных операций часто требует предварительной установки режима (или перехода в режим) расширенного поиска (Advanced Search).

2.5. Контрольные вопросы

1. На каких принципах формируются типовые информационные структуры?

2. Что понимается под информационным поиском ?

3. Дайте определение информационно-поисковому языку.

4. Назовите типы метаданных, используемых в системе «Дублинское ядро».

5. Какие формы взаимодействия обеспечивает диалоговый интерфейс?

6. Охарактеризуйте свойс­тва автоматизированной библиотечной системы.

7. Какие функции выполняет электронная библиотека?

Приложение

Использованы материалы Академии управления, С.-Петербург (автор – Тишкин А.И.).

Санкт-Петербургский государственный университет

Филологический факультет

Кафедра математической лингвистики

В.П. Захаров

ИнформационнО-ПОИСКОВЫЕ
системы

Учебно-методическое пособие

Санкт-Петербург

Рецензенты:

докт. техн. наук В.Ш. Рубашкин (С.-Петерб. гос. ун-т)

канд. пед. наук О.А. Арбатская (С.-Петерб. гос. ун-т культ. и иск-в)

Печатается по постановлению
Редакционно-издательского совета
С.-Петербургского государственного университета

Захаров В.П.

З-38Информационно-поисковые системы: Учебно-метод. пособие. - СПб., 2005. - 48 с.

Предлагаемое пособие содержит описание основ документального информационного поиска, программу учебной дисциплины «Теория информационного поиска», которая изучается студентами 3-го курса отделения структурной и прикладной лингвистики Санкт-Петербургского государственного университета, и набор лабораторных (практических) работ по этой дисциплине. Отдельные лабораторные работы используются для обучения студентов других курсов и по другим дисциплинам. Пособие базируется на исследовательской и преподавательской деятельности автора.

Для студентов и аспирантов, специализирующихся в области прикладной лингвистики, информационных систем и автоматизированных систем обработки текста.

ã В.П. Захаров, 2005

ã Санкт-Петербургский
государственный
университет, 2005

1. Введение в теорию и практику
информационного поиска

1.1. Основные понятия информационного поиска

Информационно-поисковая система (ИПС) - это упорядоченная совокупность документов (массивов документов) и информационных технологий, предназначенных для хранения и поиска информации - текстов (документов) или данных (фактов). Информационно-поиско-выми системами являются любые определенным образом организованные хранилища информации. Причем информационно-поисковые системы могут быть и неавтоматизированными. Главное - это целевая функция: хранение и поиск информации.

В зависимости от объекта хранения и типа запроса различают два вида информационного поиска: документальный и фактографический - и, соответственно, два типа ИПС - документальные и фактографические. Последние также называют информационно-справочными ИПС.

Документальными называются ИПС, в которых реализуется поиск по тематическим запросам в массиве документов или текстов с последующим предоставлением пользователю подмножества этих документов или их копий. Понятие документа может меняться от системы к системе. В общем случае это некий информационный объект, зафиксированный (обычно посредством некоторой знаковой системы) на каком-то материальном носителе (бумага, фото- и кинопленка, магнитная память и т.п.) и предназначенный для передачи в пространстве и времени в системе социальных коммуникаций.

Фактографические ИПС реализуют хранение, поиск и выдачу непосредственно фактических данных (научных, технических, экономических характеристик и свойств объектов, процессов, явлений, адресов, наименований, количественных данных и т.п.).

Главное, сущностное, различие между документальным и фактографическим поиском заключается в подходе к семантике документов. В документальных системах описывается смысл документов в целом с точки зрения их тематического, предметного содержания. В этом случае важно выявить и назвать (перечислить) основные темы и объекты, которым посвящен документ. В фактографических системах описываются объекты, фиксируются их признаки и значения этих признаков. Отсюда различия в языках описания и способах хранения описаний в системе. Соответственно, для каждого вида поиска существуют свои поисковые средства.

Фактографические системы предполагают накопление и поиск в массиве документов со строго регламентированной структурой. Такая структура является или результатом предварительной интеллектуальной обработки документов при вводе информации в систему, или наличием таких документов в готовом виде в конкретных сферах человеческой деятельности, например, учетные формы, бланки, справочники, расписания и т.п. Существуют фактографические ИПС, которые обеспечивают накопление информации и поиск только по одному типу объектов и только по одному типу запросов. Существуют и более развитые фактографические системы, обеспечивающие хранение и поиск данных, разнообразных по содержанию и структуре, но это разнообразие всегда конечно.

В то же время между документальными и фактографическими системами нет непреодолимой разницы. Нередко реальные ИПС представляют собой пример смешанных систем, в которых фактографическая информация используется как дополнительное средство документального поиска, и наоборот. В документальных системах тексты (документы) также могут быть структурированы, разбиты на фрагменты или поля, и обработка и выдача документальной информации может вестись на уровне отдельных полей.

Выделяют еще и третий тип систем, которые называют информационно-логическими. Это системы, отвечающие на запросы, на которые в информационной базе в явном виде ответа нет. Получить ответ помогает экстралингвистическая база знаний и информация, порождаемая алгоритмически из уже имеющейся (документальной или фактографической). Эта новая информация или выдается как ответ на запрос, или дополнительно используется для поиска.

Информационно-поисковая система документального типа представляет собой упорядоченную совокупность документов, а также совокупность средств и методов, предназначенных для хранения, поиска и выдачи по запросам документальной информации. Документальная ИПС выдает документы, соответствующие запросу по теме, по предмету. Документ, центральный предмет или тема которого в целом соответ-ствует смысловому содержанию информационного запроса, называется релевантным , а свойство смысловой близости между двумя и более текстами (в данном случае - между документом и информационным запросом) - релевантностью . Релевантность - это фундаментальное понятие теории информационного поиска. Говорят о двух видах релевантности: смысловой и формальной. Соответствие документа содержа-нию информационного запроса называют смысловой релевантностью, а соответствие поискового образа этого документа формализованному поисковому предписанию, выражающему данный информационный запрос, - формальной релевантностью. Также формальную релевантность называют релевантностью документа, а смысловую релевантность - релевантностью информации (имеется в виду «информации, содержащейся в документе»).

Составные части ИПС называют подсистемами. Разделение на подсистемы необходимо и полезно как в целях разработки, так и для описания технологии функционирования систем. Оно может иметь разную основу. Обычно рассматривают два типа разбиения ИПС на подсистемы: по функциональному принципу (функциональные подсистемы) и по типу средств (обеспечивающие подсистемы).

Различные средства, реализующие функции ИПС, получили название обеспечивающих подсистем , или «обеспечений». Выделяют следующие подсистемы: лингвистическое обеспечение, информационное обеспечение, техническое обеспечение, программное обеспечение, технологическое обеспечение, кадровое обеспечение и др.

Информационное обеспечение - это информационные массивы (документы, запросы, метаданные), а также средства и способы их описания, построения и классификации.

Лингвистическое обеспечение - это логико-семантический аппарат, состоящий из информационно-поискового языка, правил применения (методик индексирования), критерия выдачи и других языковых средств.

Программное обеспечение - это алгоритмы и программные средства, реализующие все функции ИПС, выполняемые с помощью компьютера.

Техническое обеспечение - это технические средства (компьютеры, средства телекоммуникаций), обеспечивающие хранение, поиск и передачу информации.

Технологическое обеспечение - это набор и порядок выполнения автоматизированных и неавтоматизированных процессов и процедур обработки информации в ИПС, включая их описание, информационно-технологические схемы и инструктивно-методические материалы.

Кадровое (или штатное) обеспечение - это люди, взаимодействующие с системой и обеспечивающие ее эксплуатацию (обслуживающий персонал).

ИПС также делят на составные части (подсистемы) по функциональному признаку, когда каждая подсистема выполняет определенную функцию в технологическом процессе: ввод документов, индексирование документов, ввод и корректировка запросов, индексирование запросов, поиск, ведение словарей, ведение статистики, обработка результатов поиска, выдача документов и др. Такие части получили название функциональных подсистем .

Важные понятия в информационном поиске - документ и запрос. Документ определяется как средство закрепления любым способом на специальном материале любой информации о фактах, событиях, явлениях объективной действительности и мыслительной деятельности человека. Документы имеют различную форму представления. В автоматизированных документальных ИПС это прежде всего текстовая информация на естественных языках в машиночитаемой форме.

Запрос представляет собой информационную потребность, сформулированную на естественном языке. Результат «перевода» информационного запроса на информационно-поисковый язык называют поисковым образом запроса (ПОЗ) или поисковым предписанием (ПП). Под этим понимают выражение на языке запросов , который включает в себя как собственно ИПЯ, так и средства управления поиском. Синтаксис и семантика языков запросов определяется структурой и наполнением документов и общими задачами системы.

Третья часть информационного обеспечения - так называемая «выдача», результаты поиска. Выдача существует в двух видах: краткие описания документов и собственно документы.

Важнейшей компонентой информационно-поисковых систем является информационно-поисковый язык. Человек, чтобы отобрать из массива документов нужные, должен прочитать или просмотреть их содержимое. Для ускорения и упрощения этой процедуры появились различные формы сокращенной записи содержания документов - аннотации, рефераты, каталоги. Но во всех этих случаях при отборе документов по их сокращенным описаниям используется естественный язык. Хорошо известны такие «недостатки» языковых знаков, как омонимия, синонимия, многозначность. Точное значение многих слов можно понять только в контексте. Это препятствует использованию естественного языка для фиксации и отождествления понятийной информации. Поэтому формальные системы, предназначенные для хранения документальной информации с целью последующего поиска, потребовали создания специальных информационных языков. Информационно-поисковые языки представляют собой знаковые системы со своим алфавитом, лексикой, грамматикой и правилами пользования. Заметим лишь, что все искусственные языки так или иначе создавались и создаются на основе естественных языков.

При сопоставлении документов и запросов требуется определить релевантность документа по отношению к запросу и принять решение о выдаче или невыдаче документа на данный запрос. Правила, на основе которых формально определяется степень релевантности документа и запроса, т.е. соответствие ПОД и ПОЗ, называются критерием смыслового соответствия (КСС), или критерием выдачи .

Математические модели и формулы вычисления коэффициента релевантности могут быть самые разные. На практике повсеместное распространение получили ИПС с логическим критерием выдачи , когда ПП строятся с использованием логических (булевых) операторов конъюнкции (&), дизъюнкции (\/), отрицания (~). В этом случае логическое выражение запроса представляет собой набор поисковых элементов (обычно ключевых слов), объединенных логическими операторами и скобками, необходимыми для указания порядка выполнения операторов. Ключевые слова ПП играют роль булевых переменных, принимающих значение 1 («истина»), если данное слово содержится в документе, и 0 («ложь»), когда оно там отсутствует. Документ признается релевантным запросу, если логическая формула запроса в целом получает для данного документа значение «истина», и нерелевантным, если результат вычисления логической формулы дает «ложь».

Принятые в логике для обозначения конъюнкции, дизъюнкции и отрицания значки (&, \/, ~) в информационном поиске обычно заменяют на операторы AND, OR и NOT соответственно. В России чаще используются обозначения И, ИЛИ, НЕ. Однако в общем случае в каждой конкретной ИПС обозначения для булевых операторов выбираются свои, причем иногда для удобства пользователя вводится несколько значков для одного и того же оператора (например, в ИПС «Апорт» оператор конъюнкции может быть задан следующими знаками: &, пробел, AND, И, +).

Использование булевых операторов обеспечивает логику сравнения документов и запросов, понятную пользователю. Поиск (вычисление истинности для элементов ПП), как правило, проводится по специальным индексным (инвертированным) файлам, построенным на основе словника документального массива, и характеризуется высокой скоростью. Эти простота и понятность логического КСС и явились причиной его широкой распространенности.

Проблема оценки эффективности поиска является комплексной проблемой, включающей как теоретическую, так и практическую сторону. Главные из функциональных (технических) показателей ИПС, базирующихся на релевантности, - это полнота и точность, которые основываются на разделении документов на релевантные и нерелевантные, а также на выданные и невыданные.

Полнотой поиска (П) (англ. Recall - R) называется мера, вычисляемая как отношение количества выданных релевантных документов к общему числу релевантных документов, содержащихся в информационном массиве.

Точность поиска (Т) (англ. Precision - P) - это отношение количества выданных релевантных документов к общему числу документов в выдаче .

1.2. Информационный поиск в сети Интернет

Переход к информационному обществу XXI века породил беспрецедентный рост объемов и концентрации информации в глобальных компьютерных сетях. Это резко обострило проблему создания информационно-поисковых систем (ИПС) и их эффективного использования.

История автоматизированных информационно-поисковых систем исчисляется полувеком. Типичная ИПС первых лет - это человеко-машинная система, где анализ и описание содержания документов (индексирование) выполняется вручную, а поиски проводятся машиной. Первоначально основу ИПС составляли информационно-поисковые языки (ИПЯ), основным элементом которых являются дескрипторные словари и тезаурусы. Сегодня, однако, большинство работающих ИПС относится к классу вербальных систем бестезаурусного типа, когда индексационные термины выбираются непосредственно из текстов документов. Лавинообразный рост объемов электронной документальной информации, ее видовое, тематическое и языковое разнообразие являются как причиной кризиса современного информационного поиска, так и стимулом его совершенствования.

Проблема поиска ресурсов в сети Интернет была осознана достаточно скоро, и в ответ появились различные системы и програм-мные инструменты для поиска, среди которых следует назвать системы Gopher, Archie, Veronica, WAIS, WHOIS и др. В последнее время на смену этим инструментам пришли «клиенты» и «серверы» всемирной паутины WWW.

Если попытаться дать классификацию ИПС сети Интернет, то можно выделить следующие основные типы:

1. ИПС вербального типа (поисковые системы – search engines)

2. Классификационные ИПС (каталоги – directories)

3. Электронные справочники («желтые» страницы и т.п.)

4. Специализированные ИПС по отдельным видам ресурсов

5. Интеллектуальные агенты.

Глобальный учет всех ресурсов Интернета обеспечивается вербальными и отчасти классификационными системами.

Классификационные ИПС реализуют навигацию в веб-пространстве на основе специальных указателей, представляющих собой тематические «деревья», строящиеся на основе классификаций. Схемы классификации ресурсов в Интернете - это, как правило, древесные структуры, узлы которых названы словами естественного языка. Различные классификационные схемы отличаются друг от друга по объему и методологии их составления. Одним из недостатков универсальных иерархических классификаций является то, что они консервативны и отстают от развития науки, техники и жизни вообще. Главная проблема классификационных поисковых служб - это автоматизация классификации. До сих пор задача автоматической классификации удовлетворительного решения не нашла. Регистрация веб-сайтов и веб-страниц в каталогах, как правило, осуществляется людьми - индексаторами и модераторами данной системы. И поэтому объем базы данных систем классификационного типа сравнительно невелик по сравнению с информационной емкостью всего Интернета.

Для решения проблемы максимального охвата ресурсов Интернета создаются системы, называемые метапоисковыми (metasearch engines). Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы других поисковых систем. За счет этого вероятность нахождения нужной информации возрастает. Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает за процесс ретрансляции запроса в другие системы. После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу. При всей привлекательности метапоисковых систем следует помнить и об их минусах и недостатках. Прежде всего, отсутствие единого стандарта языка запросов не позволяет метасистемам добиваться от поисковых систем, выполняющих запросы метапоисковых систем, такого же результата, какого может добиться опытный пользователь при работе с каждой машиной в отдельности.

Основным средством поиска информации в сети сегодня следует считать глобальные ИПС вербального типа (search engines), индексирующие (по крайней мере, претендующие на это) все Интернет-пространство. К числу главных поисковых систем этого типа (в первую очередь, по объему базы данных) можно отнести Google, Fast (AlltheWeb), AltaVista, HotBot, Inktomi, Teoma, WiseNut, MSN Search. Среди российских систем главными являются три: Яндекс (Yandex), Рамблер (Rambler) и Апорт! (Aport). Полнота поисковой базы и оперативность индексирования веб-сайтов является главной проблемой всех ИПС в Интернете. Как правило, системы с бóльшим объемом базы дают в результате поиска и большее количество документов. Большая, как лингвистическая, так и программная проблема - многоязычие информационного пространства Интернета и многообразие форматов представления данных. Тем не менее, основные глобальные системы с этими проблемами справляются.

Именно вербальным ИПС и уделено основное внимание в практической части пособия. Прежде всего, моделируется уровень пользователя, выражающийся в языках запросов и в запросно-ответных интерфейсах. Производится сравнительный анализ языков запросов различных ИПС сети Интернет.

Особенность современных систем - полнотекстовый поиск. Многие вербальные ИПС сети Интернет вычисляют релевантность документов запросам путем сопоставления элементов запроса с полными текстами документов, размещенных в сети. Что касается информационно-поискового языка, то, как правило, в качестве поисковых элементов выступают обычные слова естественных языков. Запросы формулируются через специальный интерфейс, реализуемый в виде экранных форм в программах-броузерах.

Полезно представлять, как эти системы устроены. В составе любой поисковой системы можно выделить три основные части.

Робот - подсистема, обеспечивающая просмотр (сканирование) Интернета и поддержание инвертированного файла (индексной базы данных) в актуальном состоянии. Этот программный комплекс является основным средством сбора информации о наличии и состоянии информационных ресурсов сети.

Поисковая база данных - так называемый индекс - специальным образом организованная база (англ. index database), включающая, прежде всего, инвертированный файл, который состоит из лексических единиц, взятых из проиндексированных веб-документов, и содержит разнообразную информацию о них (в частности, их позиции в документах), а также о самих документах и сайтах в целом.

Поисковая система - подсистема поиска, обеспечивающая обработку запроса (поискового предписания) пользователя, поиск в базе данных и выдачу результатов поиска пользователю. Поисковая система общается с пользователем через пользовательские интерфейсы - экранные формы программ-броузеров: интерфейс формирования запросов и интерфейс просмотра результатов поиска.

Индексный файл (или просто индекс) представляет собой набор связанных между собой файлов, ориентированных на быстрый поиск данных по запросу. В основе индекса всегда лежит инвертированный файл. Инвертированная (инверсная) схема организации поискового массива основана на принципе обеспечения доступа к документам через их идентификаторы содержания (поисковые признаки: дескрипторы, ключевые слова, термины, другие признаки). Такую схему получают путем обработки последовательного массива документов с целью создания специальных вспомогательных инвертированных файлов - точек доступа.

Каждая запись такого вспомогательного массива идентифицирована соответствующим идентификатором содержания (дескриптор, ключевое слово, просто термин, имя автора, название организации и т.п.) и содержит имена (адреса хранения) всех документов, в поисковых образах которых он содержится. Для каждого идентификатора содержания (поискового элемента данных) в инвертированном массиве вместе с адресом (номером, именем) документа может храниться (и обычно хранится) дополнительная информация, как-то: имя поля, номер предложения, в составе которых данный элемент встретился в данном документе, номер слова в предложении и т.д. Фиксация положения слова в тексте с точностью до номера предложения и номера этого слова в предложении позволяет построить гибкий язык запросов, позволяющий задавать расстояние между словами и предложениями в документе. Позиционные характеристики также используются при вычислении коэффициента релевантности и ранжировании документов в выдаче.

Нахождение необходимых документов через инвертированный файл осуществляется не сплошным просмотром всего массива, а просмотром лишь тех идентификаторов содержания в инвертированном файле, которые заданы в поисковом предписании, т.е. число операций сравнения слов при поиске пропорционально числу терминов поискового предписания. Такой способ работы систем снижает время на поиск и позволяет обслуживать потребителей информации в реальном масштабе времени.

Поиск в индексе - это операции над списками идентификаторов поисковых элементов в соответствии с моделью поиска и критерием соответствия. Результирующий список релевантных документов (в современной терминологии «отклик»), который преобразуется в ранжированный список кратких описаний документов, снабженных гипертекстовыми ссылками и другими характеристиками, возвращается пользователю в его клиентскую программу-броузер. Щелчок мышью по названию документа в его кратком описании (по гиперссылке) запрашивает этот документ либо непосредственно с того сервера, на котором он находится, либо через базу данных поисковой системы.

Важным компонентом современных ИПС являются так называемые интерфейсные веб-страницы, т.е. экранные формы, через которые пользователь общается с поисковой системой. Различают два основных типа интерфейсных страниц: страницы запросов и страницы результатов поиска.

индексирование полных текстов возможно большего числа сайтов;

«грамотная» работа со словоформами - способность ИПС отождествлять разные словоформы одной и той же лексемы, по-другому, порождать каноническую форму - лемму, и возможность выделять среди множества словоформ конкретную форму;

Автореферат диссертации

Примеры употребления и другие сведения Документальная информационно -поисковая система – информационно -поисковая система , предназначенная для отыскания документов, содержащих...

• Автоматизированные информационно-поисковые системы

  Учебное пособие

  Типа автоматизированных информационно -поисковых систем: документальные, фактографические и информационно -логические. Документальная автоматизированная информационно -поисковая система – система , предназначенная для...

• Дипломный проект тема « разработка информационного агента (робота) информационно-поисковой системы для сбора информации в сети интернет»

  Диплом

  ДИПЛОМНЫЙ ПРОЕКТ Тема: «Разработка информационного агента (робота) информационно -поисковой системы для сбора информации в...) В.К. Иванов, К.В. Иванов, Введение в информационно -поисковые системы . (/window_catalog/pdf2txt?p_id=28415) И. Некрестьянинов...

Тема: Информационно - поисковые системы.

1. Общие сведение о информационно-поисковых системах (ИПС). Основные определения.

2. Функционирование ИПС. Схема функционирования поисковой системы.

3. ИПС, базирующиеся на классификации.

4. Организация ИПС на поиски по ключевым словам.

5. Метасистемы.

6. Развитие информационно – поисковых систем.

Ключевые слова

Поиск информации, электронные каталоги, информационно – поисковая система, классификация, ключевые слова, метаданные, объём информации, анализ документа, поисковый образ, запрос, релевантность, атрибут, метасистема, рубрикация, информационные ресурс, эффективность, библиотечные каталоги, технология, портал, образовательная срда, пользователи, архитектура, автоматизированная система.

В последние годы сеть интернет стала основным хранилищем информации. С ростом объёмов хранимых данных стала актуальной проблема информационного поиска. Для облегчения поиска на открытых для доступа сайтах в интернет используют информационно – поисковые системы (ИПС) и электронные каталоги.

В ИПС собираются, индексируется и регистрируется информация о документах, имеющихся в обслуживаемой системой группе Web – серверов. Индексирование включает создание поисковых образов документов. Обычно в поисковый образ входят или все значащие слова, имеющиеся в документе, или только слова из заголовка.

Информационно – поисковая система – программная система для хранения, поиска и выдачи интересующей пользователя информации. Информационно – поисковая система выполняет анализ документов, создание и хранение поисковых образов документов, анализ запросов пользователей, поиск и выдачу пользователю данных о месте расположения в сети запрашиваемых документов.

В основе поиска лежит сопоставление запроса пользователя с поисковыми образами документов, в результате отбираются релевантные документы, т.е. документы, чьи поисковые образы соответствуют запросу. Во многих ИПС пользователю представляется возможность обращаться к серверу с запросами на естественном языке, а также со сложными запросами, включающими логические связки. Примерами таких ИПС могут служить системы Excite, Lycos, Altavista и другие. Для функционирования Altavista в своё время фирма DEC выделила несколько компьютеров, в том числе десятипроцессорную машину Alpha – 8400.

Поисковые образы, называемые также метаописаниямиили метаданными , могут представлять собой значения атрибутов документов или множество ключевых слов. Поиск на основе этих двух вариантов поисковых образов называют атрибутивным и контекстным поиском. Часто используют сочетание этих двух способов поиска.

Поиск в электронных каталогах основан на составлении запроса с разделами информации в иерархической структуре её классификации.

Классификацию информации называют рубрикацией . Наиболее сложной является разработка тематической рубрикации. В мире существует ряд систем тематической рубрикации. Та, в России широко известны иерархические системы УДК (универсальная десятичная классификация) и ГРНТИ (Государственные реестр научно – технической информации). Однако, они громоздки и неудобны для использования в электронных каталогах и образовательных ИПС. Поэтому существует ряд частных систем рубрикации с несколькими уровнями иерархии.

Отметим, что если в ИПС создание поисковых образов осуществляется автоматически, то в электронных каталогах структура информационных ресурсов определяется квалифицированными людьми.

Примеры поисковых систем, работающих по принципу электронного каталога: Yahoo!, Galaxy, Looksmart, Yandex. Так, в Yahoo! На верхнем уровне иерархи выделено 14 категорий (например, искусство и гуманитарные науки, образование, бизнес и экономика, наука и др.) Пользователь при поиске осуществляет навигацию по разделам иерархического дерева, спускаясь от верхнего уровня до искомого конечного, на котором он получает сведения об адресах сайтов с нужными информационными ресурсами. Объем информационного пространства в упомянутых системах довольно велик. Так, в системе Yahoo! Была собрана информация 1 800 000 сайтов.

Функционирование информационно – поисковой системы

Общая схема функционирования традиционной ИПС представлена на рис.

Рис. 1. Схемы функционирования ИПС.

Основными процессами в ИПС являются индексирование документов и поиск документов по запросу пользователя. Процесс информационного поиска происходит следующим образом. Пользователь выражает свои информационные потребности в виде специального текста – информационного запроса к ИПС. Система формирует из информационного запроса поисковое предписание , переводя запрос на информационно – поисковый язык (ИПЯ). ИПЯ представляет собой формальный язык, который используется внутри ИПС для представления пользовательского запроса и хранимых документов. Описание документов на ИПЯ называется поисковым образом документа. В процессе поиска ИПС должна выбрать из массива документов те, которые содержательно релевантны запросу, то есть соответствуют информационным потребностям пользователя, выраженным в запросе. Такое определение релевантности не формально, поэтому определяют формальную релевантность , как соответствие, определяемое алгоритмически, путем сравнения поискового предписания и поискового образа документа. Критерий выдачи документа – поискового образа документа и поискового предписания, по которому принимается решение о выдаче некоторого документа в ответ на информационный запрос.

В процессе индексирования, для каждого документа, хранящегося в системе, строится поисковый образ. Различают 2 основных подхода к построению поискового образа –приписывающее и выводящее индексирование. В первом случае в процессе индексирования документу присваивается номер ключевых слов из некоторой классификационной системы, и документ помещается в общую классификацию. Во втором случае из документа выбирается набор ключевых слов и объявляется поисковым образом, с которым далее работает ИПС.

Традиционные ИПС осуществляют как поиск, так и хранение документов. В отличие от традиционных ИПС, ИПС для поиска информации в интернет не могут осуществлять фукнцию хранения документов, что приводит к необходимости другого подхода к организации работы ИПС.

Рассмотрим основные классы промышленных ИПС для поиска информации в интернет.

ИПС, базирующиеся на классификации.

В целом, схема работы такой ИПС в Интернет аналогична схеме работы традиционной ИПС. Общая схема работы ИПС на основе классификации показана на рис. 2.

Рис. 2.Общая схема работы ИПС базирующейся на классификации.

Основным отличием является появление процесса поиска новых документов. В традиционных ИПС новые документы вводятся в систему хранения оператором и индексируются. В ИПС, ориентированных на работу в Интернет, ввод новых документов осуществляется либо вручную оператором, либо автоматически с помощью специальной программы обхода Интернет – индексирующего робота. Применение для информационного поиска в интернет ИПС базирующихся на классификации эффективно в случае, когда классификационная система построена по узкой предметной области.

Основных недостатков два:

1. Для качественного поиска они вынуждены выкачивать из Интернет все документы для индексирования и хранения их у себя. Это приводит к большому объёму хранимой информации, высокой нагрузке на сеть и необходимости постоянно обновлять информации в базе;

2. Поиск документов пользователем может осуществляться только по используемой классификационной системе.

ИПС, базирующиеся на поиске по ключевым словам.

ИПС базирующиеся по ключевым словам позволяют искать Web – страницы о их содержанию, формируя запрос в виде ключевых слов, которые должны присутствовать в документе. В настоящее время, системы поиска по ключевым словам представляют собой наиболее распространенные ИПС в интернет.

На рис. 3 показана общая схема работы системы поиска по ключевым словам. Основными процессами в работе системы является поиск новых документов индексирующим роботом, индексирование найденных документов и выполнения запроса пользователя.

Индексирующий робот представляет собой автономный процесс, постоянно или периодически обновляющий и пополняющий базу документов. Изначально роботу дается список Web – серверов, которые необходимо проиндексировать. В процессе работы индексирующий

Рис. 3. Общая схема работы системы по ключевым словам.

Робот осуществляет обход Web – серверов по гиперссылкам между страницами и собирает все найденные документы в базу документов, а ссылки - в базу ссылок. Таким образом, на основе начального списка серверов строятся документы для всех достижимых Web – страниц. Периодически, индексирующий робот проверяет хранящуюся информацию на корректность и целостность путем повторного обхода проиндексированных страниц.

По известным ИПС документам строится индекс, позволяющий эффективно осуществлять поиск по ключевым словам. Дальнейшее хранения всего документа после индексирования ненужно, для экономии дискового пространства хранится короткий поисковый образ. Запрос пользователя представляет собой набор ключевых слов с булевыми связками. Выбор документов по запросу осуществляется с помощью индекса. ИПС возвращает в ответ на запрос список ссылок на документы.

Достоинством систем поиска по ключевым словам является простота использования. К недостаткам можно отнести следующие особенности.

1. В ответ на запрос выдается много нерелевантной информации. Это происходит из-за того, что с помощь. Списка ключевых слов практически можно сформулировать информационные потребности пользователя.

2. Индексирующие роботы сильно загружают сеть. Так как робот не имеет возможности перемещаться по сети, он вынужден скачивать большие объемы информации для локальной обработки (объём информации исчисляется терабайтами).

3. Невозможность работы с часто изменяемой информацией.

4. Охват Интернет любой из имеющихся систем поиска по ключевым словам не превышает 16%.

5. Возможность работы пользователя только в интерактивном режиме.

Метасистемы. Метасистемы для ИП в Интернет, являются надстройками над существующими системами поиска по ключевым словам. Они позволяют преодолеть следующие недостатки промышленных систем поиска по ключевым словам.

Решение проблемы ИП в Интернет на сегодняшний день состоит не только в построении эффективных ИПС, но и в изменении структурной организации информации Интернет.

Технология поиска, основанная на упорядочении метаинформации наподобие библиотечных каталогов (классификация по содержанию) продолжает развиваться.

Однако поиск по ключевым словам во всем пространстве Интернет не всегда оказывается эффективным и может потребовать слишком много времени. Сделать работу пользователя корпоративной системы в интернет более эффективной позволяет технология порталов, применение языка разметки XML и языков поиска XPath или XQuery в базах XML – документов.

Контрольные вопросы и задания.

1. Какую информацию выполняют информационно – поисковые системы?

2. Что лежит в основе поиска информации?

3. Что представляют собой поисковые образы и каким образом осуществляется создание поисковых образов?

4. Приведите примеры ИПС.

5. Объясните и составьте общую схему работы ИПС, базирующейся на классификации.

6. Каким образом происходит поиск в ИПС по ключевым словам?

7. Какие недостатки имеет система поиска по ключевым словам?

9. По каким признакам классифицируется ИПС?

10. Приведите примеры поисковых систем по принципу электронного каталога.

11. Для каких целей в Интернет создают порталы?

12. Перечислите задачи, связанные с развитием ИПС.

Литература 2, 5, 13, 18.

Основой всех поисковых систем составляют базы данных - совокупность данных организованных по предельным правилам, предусматривающим общие принципы описания, хранения и манипулирования данными, независимо от прикладных программ.

Можно выделить следующие элементы функционирования информационных систем:

Сбор информации - организованный в специальном порядке процесс сбора и отображения информации:

Получение информации;

Оценка относимости информации;

Порядок отбора и фиксации информации.

Комплектование - процесс сложения информации из множества частей в единое целое и доведения её до пользователя.

Поиск и выдача информации - установление специального технологического порядка удовлетворения информационных потребностей абонентов информационной системы в управленческой деятельности и технологических процессах.

Поддержание целостности и сохранения информации - пересмотр, ревизия и отсеивание утратившей актуальность информации являются неотъемлемой функцией информационных подразделений. Сохранность информации осуществляется с помощью нормативно - инструктивных документов.

По характеру предоставления логической организации хранимой информации информационные системы разделяются на фактографические, документальные и геоинформационные.

Фактографические информационные системы накапливают и хранят данные в виде множества экземпляров одного или нескольких типов структурных элементов. Каждый из таких экземпляров структурных элементов или некоторая их совокупность отражают сведения, по какому - либо факту, событию. Структура каждого типа информационного объекта состоит из конечного набора реквизитов, отражающих основные аспекты и характеристики сведений для объектов данной предметной области.

В документальных информационных системах единичным элементом информации является нерасчлененный на более мелкие элементы документ и информация при вводе, как правило, не структурируется, или структурируются в ограниченном виде. Для вводимого документа могут устанавливаться некоторые формализованные позиции - дата изготовления, исполнитель, тематика. Некоторые виды документальных информационных систем обеспечивают установление логической взаимосвязи вводимых документов - соподчиненность по смысловому содержанию.

В геоинформационных системах данные организованы в виде отдельных информационных объектов, привязанных к общей электронной топографической основе. Геоинформационные системы применяются для информационного обеспечения в тех предметных областях, структура информационных объектов и процессов в которых имеется географический компонент.

Другим критерием классификации поисковых систем являются функции или решаемые задачи. По данному признаку различаются справочные, поисковые и расчётные системы.

Справочные являются наиболее распространенным типом функций информационных систем, и заключается в предоставлении абонентам системы возможностей получения установочных данных на определённые классы объектов.

Поисковые являются наиболее распространённым классом информационных систем. В общем, виде можно рассматривать как некое информационное пространство, задаваемое в терминах информационно - логического описания предметной области.

Расчетные заключается в обработке информации, находящейся в системе, по определённым расчётным алгоритмам для различных целей.

Технологические функции информационных систем заключаются в автоматизации всего технологического цикла или отдельных его компонентов, производственной или организационной структуры.

Таким образом, к основным функциям ИПС можно отнести:

Хранения больших объемов информации;

Быстрого поиска требуемой информации;

Добавления, удаления и изменения хранимой информации;

Вывода информации в удобном для человека виде.

Различают: - автоматизированные (coputerised);

Библиографические (reference);

Диалоговые (online);

Документальные и фактографические информационно-поисковые системы.

Информационно-поисковые системы в последнее время начали ускоренно развиваться, появляются новые системы, они широко рекламируются и продаются. Это обусловлено значительно возросшей потребностью общества в эффективной работе с правовой и нормативно-технической информацией и использованием при этом компьютерных информационно-поисковых систем. Широкое распространение поисковых систем явилось подлинным прорывом в области информатизации в России и дало возможность техническим специалистам предприятий получить свободный доступ к правовым и нормативно-техническим документам.

Качество принятых специалистом решений зависит от количества обработанной информации. В современных условиях обойтись без мощного и удобного инструмента, помогающего в поиске и обработке информации, невозможно. Эффективное использование поисковых систем зависит от того, насколько технический специалист знает специфику, возможности и область применения этих новых информационных систем.

Создание современных систем хранения информации осуществляется двумя основными способами: с использованием иерархической и гипертекстовой моделей. В иерархической модели используется многоуровневая рубрикация при классификации информации. Для поиска документа используется его краткое описание, составляемое при вводе информации в систему. Современная гипертекстовая модель позволяет в электронных документах использовать ссылки на другие документы.

Опыт эксплуатации различных систем обработки и поиска информации, основанных на таких моделях указывает на то, что они не лишены недостатков. Обе системы требуют значительных материальных затрат на разработку и формирование, а значит, ограничены в объемах хранимой информации. Формирование рубрикаторов и ссылок производится специалистами, а их представление об информации и представление пользователя могут различаться.