Что такое логи сервера и для чего нужны

Веб сервер - это автономная система. При его правильной настройке программы могут без вмешательства человека работать в течение нескольких месяцев. В то же время на сервере непрерывно происходит множество событий:

• Посетители заходят на сайты, просматривают страницы и заполняют формы;
• Почтовый сервер получает и отправляет письма;
• Система резервного копирования создает бэкапы;
• Возникают системные и другие ошибки.

Все эти события журналируются, а администраторы сервера имеют возможность отслеживать и анализировать их.
 

Что такое логи?

Это сообщения, где записана информация о событиях на сервере. Логи сервера автоматически записываются в хронологическом порядке. Они содержат данные о пользователях и их действиях на платформе, а также о работе сервера.
Каждый раз, когда любой браузер или пользовательский агент, включая поисковика, запрашивает любой ресурс с вашего сервера - страницу, изображение, JavaScript файл и т.д., эта информация записывается в лог-файл сервера. В логах хранится информация, включая IP-адрес клиента, дату и время запроса, запрашиваемую страницу, HTTP-код и др. Эти данные могут быть объединены в один файл или разделены на отдельные логи. Обычным пользователям интернета они недоступны, видны только разработчику или другим администраторам.
 

Зачем нужны логи

Поскольку логи регистрируют все происходящее, анализ журналов позволяет использовать данные в области продвижения и обслуживания сайтов.

• Путем просмотра логов сервера можно определить причину сбоев и поломок в работе системы.
• Логи веб сервера помогают более эффективно отслеживать процессы, делать прогнозы на будущее и вести общий контроль.
• Даже если система работает без сбоев, рекомендуется периодически делать анализ логов сервера. Это позволяет выявить уязвимости или недочеты на ранней стадии, еще до того, как они станут проблемой.
• Логи помогают выявить вредоносные программы и взломы.
• Представляют ценную информацию для развития веб сайта. Они помогают собирать статистику о посещаемости, используя входящие технические данные.
• По логам можно определить, откуда приходят пользователи, где они находятся геолокационно и какие устройства используют для посещения.

 

Что хранится в логах и зачем их проверяют

Лог-файл - это своего рода записная книжка событий, где регистрируются данные об ошибках, действиях пользователей и прочих событиях, происходящих на сервере или в системе. Журнал содержит информацию в сокращенном формате, который может показаться обычному пользователю непонятным набором символов. Однако каждая запись имеет свой смысл, и для специалистов важно уметь их понимать.
 

Классификация логов

В идеале логи должны писаться постоянно. Однако если "складывать в кучу" все подряд, то полезная информация потеряется. Для упрощения поиска и чтения логов их разделяют на классы.

• Отладка - запись важных изменений состояний, например, обращений к базе данных, запуска/паузы сервиса, успешной обработки записей и так далее.
• Предупреждение - нестандартная ситуация, потенциальная проблема: неправильный формат запроса или некорректный параметр вызова.
• Ошибка - типичная ошибка.
• Критическая ошибка - полный сбой работоспособности, когда нет доступа к базе данных или сети, нет места на жестком диске.

Файл журнала может дополняться записями еще двух уровней:

• Трассировка - шаг за шагом записывается процесс. Это полезно, когда трудно найти ошибку.
• Информация - общая о работе службы (сервиса).

 

Типы логов

Для удобства обработки логов их делят на типы:

• системные syslog;
• серверные;
• почтовые;
• логи баз данных;
• авторизационные и аутентификационные.

У каждого типа логов свой журнал записи. Для проверки логов авторизации нужно идти в журнал доступов. Чтобы проверить загрузку системы - в журнал dmesg, за данными о запросах пользователей - в access_log. Когда одни логи пишутся отдельно от других, проще диагностировать ситуацию и найти источник проблемы.
 

Как посмотреть и проверить логи сервера

Проверка может быть осуществлена различными способами. Вручную - это хороший метод для отдельных серверов, но с увеличением серверного парка и количеством приложений рекомендуется использовать специализированные системы логирования, такие как Graylog, ELK, Loggy или Splunk. Эти инструменты позволяют организовать масштабный мониторинг, настроить оповещения о проблемах и установить пороговые значения для обнаружения угроз.
 

Где хранятся логи сервера и как их смотреть

Логи сохраняются в файлах и чаще всего с расширением .log. Можно просмотреть их содержимое при помощи текстового редактора.
Место, где находятся логи Linux сервера, зависит от программного обеспечения, настроек и указанного администратором пути. Обычно посмотреть логи сервера можно в каталоге /var/log/. Однако не все сервисы используют эту директорию.
Для хранения логов сетевого, инженерного оборудования, баз данных и приложений рекомендуется использовать облачное хранилище. Даже при наличии достаточного места на жестких дисках и мощной защите оборудование может выйти из строя, а злоумышленники - удалить файлы логов. Хранение в облаке позволяет восстановить события и провести расследование инцидента даже при полном отказе системы.
 

Как читать

Запуск и отключение регистрации событий осуществляется в административной панели. Доступ к логам обычно можно получить через раздел "журнал" или "логи". Однако сохраненные файлы не хранятся вечно.
В логе доступа (access.log) вы найдете:

• адрес ресурса, на который происходило обращение;
• IP-адрес пользователя, который делал запрос;
• дата и время посещения с указанием часового пояса;
• тип запроса (GET/POST) для получения или отправки данных;
• страница, на которую обращался пользователь;
• протокол, посредством которого посетитель зашел на ресурс;
• код отклика сервера, указывающий, был ли запрос успешным или возникли проблемы;
• количество переданных байт;
• информация о посетителе (или боте) - устройство, операционная система и т.д.

Обычно этих данных достаточно, чтобы проанализировать ситуацию и принять необходимые меры. Например, можно заблокировать бота, который создает чрезмерную нагрузку на сайт.
Файл ошибок (error.log) регистрирует моменты, когда что-то идет не так. В нем можно найти следующую информацию:

• дата, время и тип ошибки, а также IP-адрес пользователя;
• тип события;
• путь к файлу и строка с сообщением об ошибке.

Коды ответа сервера имеют следующую интерпретацию:

• 1xx - информационные сообщения, например, код 102 - это страница в процессе обработки;
• 2xx - успешная загрузка страницы;
• 3xx - перенаправление (редирект);
• 4xx - ошибка загрузки содержимого;
• 5xx - ошибка на стороне сервера.

 

Анализ

После расшифровки данных все равно нужно анализировать их. Для этого существует различное программное обеспечение, такое как Weblog Expert, WebAlyzer, Analog, Webtrends, Awstats, SpyLOG Flexolyzer и другие платные и бесплатные программы. Они помогают систематизировать и анализировать данные из логов, чтобы извлечь полезную информацию и принять дальнейшие меры.
 

Кратко, что нужно знать о логах

Журнал - это текстовый файл, автоматически фиксирующий значимые данные о функционировании системы. Это своего рода дневник, содержащий информацию о возникших ошибках, пользовательских действиях и пр. Запись ведет специальное ПО, управляющее внутренними процессами на сервере. Разработчики и инженеры часто обращаются к этим данным при отладке или проверке функциональна программного обеспечения.