Многие хоть раз в жизни сталкиваются с ситуацией удаление большого числа файлов, скажем так в миллион. Решить эту задачу обычными методами нельзя, такими как:

rm -rf /dir

find /dir -name sess_* -delete

и т.д.

А вот небольшая команда выполнит это с легкостью не создавая нагрузки

tmpwatch это очень удобная и легкая утилита для удаления “старых файлов”. На мой взгляд ее удобнее использовать за обычный find и по тестам работает tmpwatch с меньшей нагрузкой (при удалении миллионов файлов).

Установка на Debian, Ubuntu:
Скачиваем свежую версию исходников:

wget https://fedorahosted.org/releases/t/m/tmpwatch/tmpwatch-2.11.tar.bz2

Распаковываем:

tar jxf tmpwatch-2.11.tar.bz2

Ниже предоставлю разные выборки из access.log nginx.

Коды ответа сервера:

cat /var/log/nginx/access.log | cut -d '"' -f3 | cut -d ' ' -f2 | sort | uniq -c | sort -n

или с помощью awk:

awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -n

Часто веб-мастера задаются вопросом, сколько трафика использует их конкретный домен или каждый в отдельности. Ни одна панель управления такого не считает, в лучшем случае только для одного пользователя.

Дле решения этой задачи нам понадобится отредактировать слегка конфиг веб-сервера nginx, и выполнить выборку из лога данных.

Открываем конфиг /etc/nginx/nginx.conf, ищем там "log_format  main" и добавляем [$host]. У меня получился следующий формат:

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" [$host] $request_time';

Иногда бывают ситуации, когда у веб-сервера, будь-то Nginx или Apache, есть много лог-файлов, с разными именами. Подсчитать весь их просто, посмотрев на вес директории. Но что делать, если лог-файлы размещены еще и в разных категориях? Если таких еще и немалое количество, но вывести суммарный вес получается затруднительно.

Но на самом деле подсчитать вес всех лог-файлов довольно просто. Покажу на примере Nginx:

ls -l `egrep '(access|error)_log' /etc/nginx/nginx.conf` 2>/dev/null | awk '{ sum+=$5 }; END {print sum/1024/1024 " MB"}'

В выводе будет только суммарный вес в мегабайтах.