Логи работы windows. Анализ логов сервера

В операционной системе Windows седьмой версии реализована функция отслеживания важных событий, которые происходят в работе системных программ. В «Майкрософт» под понятием «события» подразумеваются любые происшествия в системе, которые фиксируются в специальном журнале и сигнализируют о себе пользователям или администраторам. Это может быть служебная программа, не желающая запускаться, сбой в работе приложений или некорректная установка устройств. Все происшествия регистрирует и сохраняет журнал событий Windows 7. Он также располагает и показывает все действия в хронологическом порядке, помогает производить системный контроль, обеспечивает безопасность операционки, исправляет ошибки и диагностирует всю систему.

Следует периодически просматривать этот журнал на предмет появления поступающей информации и производить настройку системы для сохранения важных данных.

Window 7 - программы

Компьютерное приложение «Просмотр событий» является основной частью служебных утилит «Майкрасофт», которые предназначены для контроля и просмотра журнала событий. Это необходимый инструмент для мониторинга работоспособности системы и ликвидации появляющихся ошибок. Служебная программа «Виндовс», управляющая документированием происшествий, называется «Журналом событий». Если эта служба запущена, то она начинает собирать и протоколировать все важные данные в своем архиве. Журнал событий Windows 7 разрешает совершать следующие действия:

Просмотр данных, записанных в архив;

Использование различных фильтров событий и их сохранение для дальнейшего применения в настройках системы;

Создание подписки по определенным происшествиям и управление ими;

Назначать определенные действия при возникновении каких-либо событий.

Как открыть журнал событий Windows 7?

Программа, отвечающая за регистрацию происшествий, запускается следующим образом:

1. Активируется меню нажатием кнопки «Пуск» в левом нижнем углу монитора, затем открывается «Панель управления». В списке элементов управления выбираем «Администрирование» и уже в этом подменю нажимаем на «Просмотр событий».

2. Есть другой способ, как посмотреть журнал событий Windows 7. Для этого следует перейти в меню «Пуск», в поисковом окошке набрать mmc и отправить запрос на поиск файла. Далее откроется таблица MMC, где нужно выбрать параграф, обозначающий добавление и удаление оснастки. Затем производится добавка «Просмотра событий» на главное окно.

Что представляет собой описываемое приложение?

В операционных системах Widows 7 и Vista установлены два вида журналов событий: системные архивы и служебный журнал приложений. Первый вариант используется для фиксации общесистемных происшествий, которые связаны с производительностью различных приложений, запуском и безопасностью. Второй вариант отвечает за запись событий их работы. Для контроля и управления всеми данными служба «Журнал событий» использует вкладку «Просмотра», которая подразделяется на следующие пункты:

Приложение – здесь хранятся события, которые связаны с какой-то определенной программой. Например, почтовые службы хранят в этом месте историю пересылки информации, различные события в почтовых ящиках и так далее.

Пункт «Безопасность» сохраняет все данные, относящиеся к входам в систему и выходу из нее, использованию административных возможностей и обращению к ресурсам.

Установка – в этот журнал событий Windows 7 заносятся данные, которые возникают при установке и настройке системы и ее приложений.

Система – фиксирует все события операционки, такие как сбой при запуске служебных приложений или при установке и обновлении драйверов устройств, разнообразные сообщения, касающиеся работы всей системы.

Пересылаемые события – если этот пункт настроен, то в нем хранится информация, которая приходит с других серверов.

Другие подпункты основного меню

Также в меню «Администрирование», где журнал событий в Windows 7 и находится, есть такие дополнительные пункты:

Internet Explorer – здесь регистрируются события, которые возникают при работе и настройке одноименного браузера.

Windows PowerShell – в этой папке фиксируются происшествия, имеющие связь с применением оболочки PowerShell.

События оборудования – если этот пункт настроен, то в журнал заносятся данные, которые генерируют устройства.

Вся структура «семерки», которая обеспечивает запись всех событий, основана по типу «Висты» на XML. Но для использования в Window 7 программы журнала событий нет необходимости знать, как применять этот код. Приложение «Просмотр событий» все сделает само, предоставив удобную и простую таблицу с пунктами меню.

Характеристики происшествий

Пользователь, желающий узнать, как посмотреть журнал событий Windows 7, должен также разбираться и в характеристиках тех данных, которые он хочет просмотреть. Ведь существуют различные свойства тех или иных происшествий, описанных в «Просмотре событий». Эти характеристики мы рассмотрим ниже:

Источники – программа, фиксирующая события в журнале. Здесь записываются имена приложений или драйверов, повлиявших на то или иное происшествие.

Код события – набор чисел, определяющих тип происшествия. Этот код и имя источника события используется технической поддержкой системного обеспечения для исправления ошибок и ликвидации программных сбоев.

Уровень – степень важности события. Журнал событий системы имеет шесть уровней происшествий:

1. Сообщение.

2. Предостережение.

3. Ошибка.

4. Опасная ошибка.

5. Мониторинг успешных операций по исправлению ошибок.

6. Аудит неудачных действий.

Пользователи – фиксирует данные учетных записей, от имени которых произошло происшествие. Это могут быть имена различных сервисов, а также реальных пользователей.

Дата и время – регистрирует временные показатели появления события.

Существует масса других событий, которые возникают при работе операционной системы. Все происшествия высвечиваются в «Просмотре событий» с описанием всех сопутствующих информационных данных.

Как работать с журналом событий?

Очень важным моментом в предохранении системы от сбоев и зависаний является периодическое просматривание журнала «Приложение», в котором фиксируются сведения о происшествиях, недавних действиях с той или иной программой, а также предоставляется выбор доступных операций.

Зайдя в журнал событий Windows 7, в подменю «Приложение» можно увидеть список всех программ, вызвавших различные негативные события в системе, время и дату их появления, источник, а также степень проблемности.

Ответные действия пользователя на события

Изучив, как открыть журнал событий Windows 7 и каким образом им пользоваться, следует далее научиться применять с этим полезным приложением «Планировщик задач». Для этого необходимо правой клавишей мыши кликнуть на любое происшествие и в открывшемся окне выбрать меню привязки задачи к событию. В следующий раз, когда произойдет такое происшествие в системе, операционка автоматом запустит установленную задачу на обработку ошибки и ее исправление.

Ошибка в журнале не является поводом для паники

Если, просматривая журнал системных событий Windows 7, вы увидите появляющиеся периодически ошибки системы или предупреждения, то не следует переживать и паниковать по этому поводу. Даже при отлично работающем компьютере могут регистрироваться различные ошибки и сбои, большинство из которых не несут серьезной угрозы работоспособности ПК.

Описываемое нами приложение создано для того, чтобы облегчить системному администратору контроль над компьютерами и устранение появляющихся проблем.

Вывод

Исходя из всего вышесказанного, становится ясно, что журнал событий – способ, позволяющий программам и системе фиксировать и сохранять все события на компьютере в одном месте. В таком журнале хранятся все операционные ошибки, сообщения и предупреждения системных приложений.

Где находится журнал событий в Windows 7, чем его открыть, как им пользоваться, каким образом исправлять появившиеся ошибки – все это мы узнали из этой статьи. Но многие спросят: «А зачем нам это нужно, мы не системные администраторы, не программисты, а обыкновенные пользователи, которым эти знания как бы не нужны?» Но этот подход неправильный. Ведь когда человек чем-то заболевает, перед походом к врачу он пытается сам вылечиться теми или иными способами. И у многих часто это получается. Так и компьютер, являющийся цифровым организмом, может «заболеть», и в этой статье показан один из способов, как диагностировать причину такого «заболевания», по результатам такого «обследования» можно принять правильное решение о методах последующего «лечения».

Так что информация о способе просмотра событий будет полезна не только системщику, но и обыкновенному пользователю.

" Панели управления аккаунтом. В этих логах содержится информация о посещениях сайта пользователями сети Интернет.

Пример записи:

domen.ru 127.0.0.1 - - "GET /index.html HTTP/1.1" 200 198 "http://domen.ru/" "Mozilla/5.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1)" 16143 0

Здесь:

  • domen.ru - имя домена, т.е имя сервера, записанное в формате, определенным директивой UseCanonicalName;
  • 127.0.0.1 - удаленный хост, т.е. IP-адрес посетителя;
  • "-" - идентификатор клиента (записывается, если включена директива IndentyCheck и клиент предоставил данные для идентификации);
  • "-" - имя удаленного пользователя, если запрос требовал аутентификации HTTP;
  • - дата и время запроса;
  • GET /index.html HTTP/1.1 - первая строка запроса;
  • 200 - последний статус ответа сервера, если имели место внутренние перенаправления запроса (в данном случае успешное обращение);
  • 198 - размер ответа сервера в байтах, исключая HTTP-заголовки (если ответ сервера равнялся 0 байтов, то вместо 0 записывается прочерк "-");
  • "http://domen.ru/" "Mozilla/5.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1) - значение заголовка с именем header в запросе;
  • 16143 - PID процесса apache, выполняющего запрос.
  • 0 - время работы процесса apache.

Обращаем внимание, что параметры, не имеющие значения, обозначаются в логах в виде "-"

Логи ошибок (error_log)

Включить данные логи можно в разделе "Log файлы " Панели управления аккаунтом.
В данные логи записываются ошибки Apache и всех его модулей, например, ошибки доступа или отсутствия файла на аккаунте, или же ошибки обработки mod_rewrite.

Пример записей:

domen.ru File does not exist: /home/d/domen/public_html/favicon.ico
domen.ru /home/d/domen/public_html/.htaccess: RewriteRule: cannot compile regular expression "^edit_serv/(.*):({2,20}+)/$"

В логах указывается имя домена, к которому было зафиксировано обращение, время обращения, IP-адрес, с которого была произведена попытка доступа и, непосредственно, текст ошибки.

Для того, чтобы в логах ошибок выводились ошибки php, необходимо прописать в файл.htaccess аккаунта следующие директивы:

php_flag display_errors off
php_value error_log "путь_к_файлу_логов"

Путь к файлу логов можно увидеть в разделе "Log файлы" Панели управления аккаунтом. Имеет вид:
/home/d/domen/error_log

FTP логи

FTP логи могут быть предоставлены по запросу в службу технической поддержки. В них отражены действия с аккаунтом, которые производились по FTP. Логи помещаются в корневую папку аккаунта и состоят из двух файлов с именами вида vsftpd.log и xferlog.

  • В файле vsftpd.log содержатся логи FTP-сессий (вход/выход).
  • В файле xferlog содержится информация о действиях, которые производились с файлами.

Пример записи в файле vsftpd.log:

Sun Jan 19 15:17:05 2014 FTP command: Client "100.0.0.2", "USER login"

Здесь указавается три основных параметра:

  • Sun Jan 19 15:17:05 2014 - дата и время входа пользователя;
  • login - логин пользователя;
  • 100.0.0.2 - IP-адрес, с которого осуществлялся доступ.

Обращаем внимание, что запись с IP-адресом 192.168.1.254 означает, что вход осуществлялся через файловый менеджер из Панели управления аккаунтом.

Пример записи в файле xferlog:

Tue Jan 21 15:56:06 2014 1 127.0.0.1 34181 /test.txt b _ o r login ftp 0 * c

Здесь:

  • Tue Jan 21 15:56:06 2014 - дата и время;
  • 34181 - размер файла;
  • test.txt - имя файла;
  • b _ o r - операции, произведенные с файлами;
  • login - логин пользователя, который выполнял действия.

Операции с файлами ("b _ o r") имеют четыре параметра:

  1. Тип передачи: a – текстовый (ascii) b – бинарный. В данном случае b.
  2. Метка особых действий, С – файл был сжат (compressed), U – файл был распакован (uncompressed), T – файл был заархивирован (в tar), "_" особых действий не было. На данном примере: "_" – особых действий не было.
  3. Направление: o – исходящее, i – входящее, d – удаление. На данном примере: o – исходящее, т.е файл загружался с сервера.
  4. Pежим доступа: a – анонимный, r – с регистрацией. На данном примере: r – с регистрацией, был осуществлён вход по логину и паролю.

Логи операций Панели управления

В разделе "Логи операций " Панели управления аккаунтом можно просмотреть действия, которые совершались в ПУ аккаунта, а также с каких IP-адресов производился доступ. Данные логи доступны за весь период существования аккаунта.

Системные администраторы, да и обычные пользователи Linux, часто должны смотреть лог файлы для устранения неполадок. На самом деле, это первое, что должен сделать любой сисадмин при возникновении любой ошибки в системе.

Сама операционная система Linux и работающие приложения генерируют различные типы сообщений, которые регистрируются в различных файлах журналов. В Linux используются специальное программное обеспечение, файлы и директории для хранения лог файлов. Знание в каких файлах находятся логи каких программ поможет вам сэкономить время и быстрее решить проблему.

В этой статье мы рассмотрим основные части системы логирования в Linux, файлы логов, а также утилиты, с помощью которых можно посмотреть логи Linux.

Большинство файлов логов Linux находятся в папке /var/log/ Вы можете список файлов логов для вашей системы с помощью команды ls:

Rw-r--r-- 1 root root 52198 май 10 11:03 alternatives.log
drwxr-x--- 2 root root 4096 ноя 14 15:07 apache2
drwxr-xr-x 2 root root 4096 апр 25 12:31 apparmor
drwx------ 2 root root 4096 май 5 10:15 audit
-rw-r--r-- 1 root root 33100 май 10 10:33 boot.log

Ниже мы рассмотрим 20 различных файлов логов Linux, размещенных в каталоге /var/log/. Некоторых из этих логов встречаются только в определенных дистрибутивах, например, dpkg.log встречается только в системах, основанных на Debian.

/var/log/messages - содержит глобальные системные логи Linux, в том числе те, которые регистрируются при запуске системы. В этот лог записываются несколько типов сообщений: это почта, cron, различные сервисы, ядро, аутентификация и другие.

/var/log/dmesg - содержит сообщения, полученные от ядра. Регистрирует много сообщений еще на этапе загрузки, в них отображается информация об аппаратных устройствах, которые инициализируются в процессе загрузки. Можно сказать это еще один лог системы Linux. Количество сообщений в логе ограничено, и когда файл будет переполнен, с каждым новым сообщением старые будут перезаписаны. Вы также можете посмотреть сообщения из этого лога с помощью команды dmseg.

/var/log/auth.log - содержит информацию об авторизации пользователей в системе, включая пользовательские логины и механизмы аутентификации, которые были использованы.

/var/log/boot.log - Содержит информацию, которая регистрируется при загрузке системы.

/var/log/daemon.log - Включает сообщения от различных фоновых демонов

/var/log/kern.log - Тоже содержит сообщения от ядра, полезны при устранении ошибок пользовательских модулей, встроенных в ядро.

/var/log/lastlog - Отображает информацию о последней сессии всех пользователей. Это нетекстовый файл, для его просмотра необходимо использовать команду lastlog.

/var/log/maillog /var/log/mail.log - журналы сервера электронной почты, запущенного в системе.

/var/log/user.log - Информация из всех журналов на уровне пользователей.

/var/log/Xorg.x.log - Лог сообщений Х сервера.

/var/log/alternatives.log - Информация о работе программы update-alternatives. Это символические ссылки на команды или библиотеки по умолчанию.

/var/log/btmp - лог файл Linux содержит информацию о неудачных попытках входа. Для просмотра файла удобно использовать команду last -f /var/log/btmp

/var/log/cups - Все сообщения, связанные с печатью и принтерами.

/var/log/anaconda.log - все сообщения, зарегистрированные при установке сохраняются в этом файле

/var/log/yum.log - регистрирует всю информацию об установке пакетов с помощью Yum.

/var/log/cron - Всякий раз когда демон Cron запускает выполнения программы, он записывает отчет и сообщения самой программы в этом файле.

/var/log/secure - содержит информацию, относящуюся к аутентификации и авторизации. Например, SSHd регистрирует здесь все, в том числе неудачные попытки входа в систему.

/var/log/wtmp или /var/log/utmp - системные логи Linux, содержат журнал входов пользователей в систему. С помощью команды wtmp вы можете узнать кто и когда вошел в систему.

/var/log/faillog - лог системы linux, содержит неудачные попытки входа в систему. Используйте команду faillog, чтобы отобразить содержимое этого файла.

/var/log/mysqld.log - файлы логов Linux от сервера баз данных MySQL.

/var/log/httpd/ или /var/log/apache2 - лог файлы linux11 веб-сервера Apache. Логи доступа находятся в файле access_log, а ошибок в error_log

/var/log/lighttpd/ - логи linux веб-сервера lighttpd

/var/log/conman/ - файлы логов клиента ConMan,

/var/log/mail/ - в этом каталоге содержатся дополнительные логи почтового сервера

/var/log/prelink/ - Программа Prelink связывает библиотеки и исполняемые файлы, чтобы ускорить процесс их загрузки. /var/log/prelink/prelink.log содержит информацию о.so файлах, которые были изменены программой.

/var/log/audit/ - Содержит информацию, созданную демоном аудита auditd.

/var/log/setroubleshoot/ - SE Linux использует демон setroubleshootd (SE Trouble Shoot Daemon) для уведомления о проблемах с безопасностью. В этом журнале находятся сообщения этой программы.

/var/log/samba/ - содержит информацию и журналы файлового сервера Samba, который используется для подключения к общим папкам Windows.

/var/log/sa/ - Содержит.cap файлы, собранные пакетом Sysstat.

/var/log/sssd/ - Используется системным демоном безопасности, который управляет удаленным доступом к каталогам и механизмами аутентификации.

Просмотр логов в Linux

Чтобы посмотреть логи на Linux удобно использовать несколько утилит командной строки Linux. Это может быть любой текстовый редактор, или специальная утилита. Скорее всего, вам понадобятся права суперпользователя для того чтобы посмотреть логи в Linux. Вот команды, которые чаще всего используются для этих целей:

  • zgrep
  • zmore

Я не буду останавливаться подробно на каждой из этих команд, поскольку большинство из них уже подробно рассмотрены на нашем сайте. Но приведу несколько примеров. Просмотр логов Linux выполняется очень просто:

Смотрим лог /var/log/messages, с возможностью прокрутки:

less /var/log/messages

Просмотр логов Linux, в реальном времени:

tail -f /var/log/messages

Открываем лог файл dmesg:

cat /var/log/dmesg

Первые строки dmesg:

head /var/log/dmesg

Выводим только ошибки из /var/log/messages:

grep -i error /var/log/messages

Кроме того, посмотреть логи на linux можно и с помощью графических утилит. Программа System Log Viewer может быть использована для удобного просмотра и отслеживания системных журналов на ноутбуке или персональном компьютере с Linux.

Вы можете установить программу в любой системе с установленным X сервером. Также для просмотра логов может использоваться любой графический тестовый редактор.

Выводы

В каталоге /var/log вы можете найти всю необходимую информацию о работе Linux. Из сегодняшней статьи вы достаточно узнали, чтобы знать где искать, и что искать. Теперь просмотр логов в Linux не вызовет у вас проблем. Если остались вопросы, задавайте в комментариях!

В конце концов начинающий вебмастер приходит к тому, что ему необходимо анализировать лог-файлы сервера . Но где находятся логи и как их читать мы сейчас и разберем. Все, что нам будет нужно это html редактор, с которым вы работаете, да еще желателен установленный блокнот notepad++.

Рассмотрим несколько вариантов мест хранения лог файлов, просто для того, что бы вы могли сориентироваться и найти их на своей хостинг площадке даже если у вас другая панель управления. В данном примере мы пользуемся хостингом с панелью Direct Admin.

Заходим в панель управления хостингом и жмем на интересующий нас сайт.

И здесь уже выбираем Полный журнал обращений , если вас не интересует журнал обращений за весь день то можно просмотреть только последние 100 строк или 10

Добираемся к логам с помощью редактора, которым далеам сайты. В данном примере используем adobe dreamweaver. Подключаемся к хостингу, открываем папки domains — ваш сайт и видим папку logs , внутри которой лежит нужное нам содержимое

Теперь то же самое, но для панели ISP manager. Заходим в панель, слева в меню жмем Менеджер файлов и видим папку logs

Тоже, но с помощью редактора: папка с логами находится в корне вашей хостинг площадки.

Теперь мажордомо, как видим, папка с логами лежит тоже в корне площадки.

P.S. если вы желаете посмотреть лог не за сегодняшний день, а за прошедший или более поздний, то наилучшим вариантом будет скачать архивы .log.tgz с ранними логами файловым менеджером на компьютер, распаковать и уже открыть блокнотом.

как открыть лог файл

Самым оптимальным вариантом для чтения логов будет использование программы-редактора dreamweaver и блокнота notepad++. Для начала нам надо настроить редактор, что бы он по умолчанию открывал файлы такого типа блокнотом.

В меню программы выбираем Правка — настройка , слева выбираем Типы файлов и редакторы . Жмем на плюсик в левом окне, в открывшейся строке пишем расширение лог-файла.log (обязательно с точкой впереди). Теперь в левом окне выделяем наше расширение, а в правом тыкаем на плюсик, в открывшемся окне выбираем нашу программу-блокнот (для win7 это C\Program Files 86\Notepad++\notepad++.exe )

P.S. dreamweaver для настройки открываем от имени администратора, иначе программа будет закрываться при выборе блокнота.

P.S. таким же образом можно настроить программу для открытия подобных файлов: .htaccess, .ru_error_log и т.п. 🙂

анализ логов или как читать логи

Ну вот мы и подошли к основным действиям, сейчас разберем какие секреты нам может открыть чтение лог-файла и какую реальную пользу нам может принести анализ логов . Программами анализаторами мы пользоваться не будем, т.к. посещаемость сайта пока не высокая и просмотреть все ручками не составит особого труда, да и к тому же очень полезно для обучения.

Как правило строки в логах довольно длинные, каждую строку мы разделим на несколько частей.

Для примера разберем одну строчку и для наглядности разделим ее разными цветами на несколько основных нужных нам частей.

чтение и анализ лог-файла пример 1

92.100.6.63 — 200 23261 «http://www.www..html » «Opera/9.80 (Windows NT 5.1; U; MRA 5.10 (build 5265); ru) Presto/2.10.229 Version/11.64»

92.100.6.63 — ip адрес с которого был заход на ваш сайт

— тут понятно, дата и время захода (по серверу) вплоть до секунды

«GET /hitrosti/htacccess/4.jpg HTTP/1.0» — первая часть заключенная в кавычки покажет нам каким методом (head, get, post) и к какому файлу было обращение. (При заходе пользователя на ваш сайт в логах остается несколько строк, потому что страница сайта состоит из нескольких файлов включая картинки, стили и т.п) Один файл- одна строчка в логах

200 — ответ полученный посетителем, код 200 означает, что пользователь получил что хотел, т.е все ок. рекомендую ознакомиться с кодами ответов сервера

«http://www.www..html «- вторая часть заключенная в кавычки — реферер, показывает нам откуда запрашивается файл. В нашем случае файл 4.jpg был запрошен при открытии страницы /htaccess.html

«Opera/9.80 (Windows NT 5.1; U; MRA 5.10 (build 5265); ru) Presto/2.10.229 Version/11.64 » — третья часть заключенная в кавычки — юзерагент, в юзерагенте мы можем увидеть версию браузера, версию операционной системы, язык браузера.

чтение и анализ лог-файла пример2

92.38.234.215 — ip адрес бота

«GET / HTTP/1.0» метод обращения get, поскольку файл к которому обращается бот не указан, значит запрос был к морде сайта, ну и время обращения

200 — с сайтом все хорошо

«-» — поле реферер не заполено, такми образом можем предположить что это бот

«mizukov-test» — я точно знаю, что это бот, потому что сам прописал его в поле юзер-агент в системе мониторинга сайтов:))))

исходя из краткого анализа данной строчки лога мы видим, что в ночью заходил бот сервиса мониторинга сайтов и сайт прекрасно работал.

P.S. как правило настоящий посетитель пришедший на ваш сайт оставляет несколько строчек в лог-файле, боты (поисковые и другие роботы, спам-боты, пауки) обычно оставляют за собой след в виде одной строчки.

чтение и анализ лог-файла пример 3

95.108.158.134 — — «GET /robots.txt HTTP/1.0» 200 211 «-» «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)»

95.108.158.134 — ip адрес с которого пришел…

«GET /robots.txt HTTP/1.0» — он пришел и прочитал файл robots.txt

200 — мы уверены, что он прочитал файл потому что он получил ответ 200

«-» — поле реферера пусто, а в логах строчка только одна. Значит это робот.

«Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)» — поле юзерагент. ОН представляется как браузер мазила/5.0 но мы знаем что это был основной индексирующий робот яндекса.

вобщем то надеюсь вам стало понятно, что структура логов всегда одинакова (основные части)1-ip 2-дата и время 3-метод обращения и запрашиваемый файл 4-реферер 5-юзер-агент

При анализе логов обратите внимание на ботов основных поисковых систем, как часто они вас навещают, какой файл запрашивают и какой ответ сервера получают. Если ответ отличный от 200 или 304 то стоит заняться исправлением ошибок на сайте.

Дабы избежать сильной нагрузки на сервер от ботов не следует пренебрегать директивой Crawl-delay: в файле robots.txt Особенно могут оборзеть боты майла или рамблера, да так что сервак буквально падает.

Ну а ботов беспредельщиков, которые не принимают к сведению директивы robots мы, балгодаря анализу логов, тупо будем банить разными методами. Но об этом уже в другой статье.

Понятие

Логи сервера (лог-файлы, журнал сервера) - фалы, хранящиеся на сервере, которые содержат системную информацию сервера, а так-же протоколирующие все возможные данные о посетителе веб-ресурса.

Логи используются системными администраторами для анализа посетителей , изучения закономерности поведения определенных групп пользователей, а так-же получения различной информации о них, такой как: используемый браузер, IP адрес, данные о географическом положение клиента и многое другое. По мимо анализа, таким образом можно узнать о несанкционированных доступах к сайту, точнее узнать, кем именно он был произведен, и передать данные о данном случае в соответствующие органы.

Данные в лог-файле, в чистом виде, будут не понятным рядовым пользователям, которые увидят во всем этом всего-лишь набор символов в непонятном порядке. Но для системных администраторов и веб-разработчиков, это является вполне читабельным текстом, и довольно полезной информацией.


Последовательность событий

При каждом обращении клиента к веб-ресурсeсе, срабатывают сразу несколько событий, о последовательности которых мы и поговорим.

1. Осуществление запроса страницы. При вводе адреса в браузерную строку, либо при переходе по активный веб-ссылке, допустим, со страницы поисковой выдачи, браузер осуществляет поиск и соединение с сервером, на котором расположена страницы, и осуществляет ее запрос. При этом, он передает серверу такую информацию:
- IP-адрес компьютера клиента, который запрашивает страницу (в случае использования прокси-сервера, IP адрес вашего прокси);
- адрес запрашиваемой пользователем интернет-страницы (IP-адрес);
- точное время и дата, когда был осуществлен запрос;
- данные о фактическом местонахождении клиента (в случае если используется прокси-сервер, то фактический адрес прокси);
- информация об используемом клиентом браузере (название, версия и т.д.);
- данные о веб-страницы, с которой был осуществлен переход клиента.

2. Передача запрашиваемых данных. Происходит передача запрашиваемых данных (интернет-страница, файлы, cooki, и др.) от сервера на компьютер пользователя.

3. Запись в журнал сервера. После всего, происходит запись в журнал, в котором указываются все данные, которые фигурировали в прошлых двух событиях. Это вся информация отправленная в первом пункте, а так-же информация о переданных данных.

Как посмотреть логи сервера

Лог-файлы, хранятся в файле access.log не зависимо от того, каким типом веб-сервера вы пользуетесь (Apache, Nginx, прокси-сервером squid и т. д.) Данный файл является текстовым документом, на каждой строчке которого, записывается по одному обращению. Форматов записи в access.log довольно много, но наиболее популярным является combined, при котором, запись имеет следующий вид и последовательность:

Код: %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"
Где:

%h - хост/IP-адрес, с которого произведён запрос;
%t - время запроса к серверу и часовой пояс сервера;
%r - версия, содержимое и тип запроса;
%s - код состояния HTTP;
%b - количество отданных сервером байт;
%{Referer} - URL-источник запроса;
%{User-Agent} - HTTP-заголовок, с информацией о запросе (клиентское приложение, язык и т.д.);
%{Host} - имя Virtual Host, к которому идет обращение.

в готовом виде данная строка имеет примерно следующий вид:

127.0.0.1 - - "GET /index.php HTTP/1..0 (compatible; MSIE 7.0; Windows NT 5.1)"

На чтение логов в ручную, уйдет довольно много времени и сил. Поэтому, опытные веб-мастера используют специальное программное обеспечение, которые называют «Анализаторы лог-файлов». Они анализируют все данные, которые довольно сложны к прочтению человеком, и выдают структурированные данные. Это такие программы как: Analog, WebAnalizer, Webalizer, Awstats, Webtrends, и т.д. Видов специального программного обеспечения довольно много, среди них есть как платные программы, так и бесплатные. Поэтому я уверен, что каждый найдет себе что-то по душе.

Где найти логи сайта

Если у вас обычный хостинг, то скорей всего вам придется написать своему хостеру и запросить у него логи. Так-же, довольно часто, вы можете запросить их через панель хостера. У разных хостеров - по разному. Для примера, что бы запросить у моего хостера, достаточно сделать один клик на главной странице панели:


Если у вас есть доступ к системным папкам сервера, то вы можете найти логи по адресу /etc/httpd/logs/access_log в 99 случаях из 100.

Журнал ошибок error.log

Error.log - файл, в котором так-же ведутся логи. Но не посетителей, а возникших на сервере ошибок. Как и в случае с access.log , каждая строка файла - отвечает за одну возникшую ошибку. Запись ведется с учетом такой информации, как: точная дата и время возникновения ошибки, IP-адрес которому была выдана ошибка, тип ошибки, а так-же причина ее возникновения.

Заключение

Логи являются довольно мощным и информативным инструментом, с которыми необходимо работать. Но в наше время, их заменяют такие инструменты, как Яндекс.Метрика, Google Analytics и т.д., тем самым упрощая нам жизнь. Однако, если вы планируете развиваться, расти и познавать что-то новое, несомненно рекомендую вам познакомиться с данной темой поближе.