анализ наших файлов журнала доступа S3 Я заметил, что значение «передачи данных в месяц» в файлах журнала доступа S3 (S3stat и собственный анализ файла журнала) сильно отличается от значений в ваших счетах.amazon s3 доступ к файлам журнала неверное значение »байты отправлены«
Теперь я проверил загрузку файлов из одного из наших ковшей, и похоже, что файлы журнала доступа неверны.
В 03/02/2015 я загрузил zip-файл в нашем ковше, а затем успешно загрузил полный файл двумя различными подключениями к Интернету. Спустя день на 04/02/2015 я проанализировал файлы журнала. К сожалению, обе записи имеют значение «-» в «Bytes Sent». амазонки »Сервер доступа Формат журнала«(http://docs.aws.amazon.com/AmazonS3/latest/dev/LogFormat.html) говорит: »Число ответ байт отправлено, исключая накладные расходы протокола HTTP, или„-“, если нуль«
соответствующие записи выглядит следующим образом:
.Ведро ковша для ковша [03/февраль/2015: 10: 28: 41 +0000] RemoteIP - RequestID REST.GET.OBJECT Download.zip "GET /Bucket/Download.zip HTTP /1.1" 200 - - 760 542 2228865159 58 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv: 35.0) Gecko/20100101 Firefox/35.0" -
Ведро ковша для ковша [03/Февраль 2015: 10: 28: 57 +0000] RemoteIP - RequestID REST.GET.OBJECT Download.zip "GET /Bucket/Download.zip HTTP /1.1" 200 - - 860 028 2228865159 23 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; с.в.: 35,0) Gecko/20100101 Firefox/35.0 «-
Как вы можете видеть, есть и журналы довольно долго длительность соединения» Общее время «: 0:12:40 и 0:14:20
. Затем я проверил наши файлы журналов наших основных ковшей на месяц декабрь 2014 года на основе этих результатов. В 2332 соответствующих записях (все файлы ZIP на нашем ковше) я нашел 860 записей с этой ошибкой.
Таким образом, доступ к Amazon S3 файлы журналов кажутся ошибочными и бесполезными для нашего анализа.
Может ли кто-нибудь помочь мне? ake, и если да, то как эти файлы журнала могут быть надежно оценены?
Благодаря Питер
ли записи журнала выше взяты * непосредственно * из журнала S3? Форматирование выглядит так, как будто оно было изменено, возможно, заданием предварительной обработки с ошибкой в его сопоставлении с образцом. Поля не выстраиваются точно так, как это описано в документах, кавычки не кажутся правильно выровненными, а начальный ноль в номере «028» также кажется необычным. –
Да, записи журнала берутся прямо из журнала S3 ... но из-за параноидальных причин я адаптировал записи и добавил несколько ошибок. –
860 028 должно быть 860028 –