PHP - * быстрый * serialize/unserialize?

Question

У меня есть PHP-скрипт, который создает binary search tree за a rather large CSV file (5MB +). Это хорошо и все, но для чтения/разбора/индексирования файла требуется около 3 секунд.

Теперь я думал, что могу использовать serialize() и unserialize(), чтобы ускорить процесс. Когда CSV-файл не изменился в то же время, нет смысла разбирать его снова.

К моему ужасу я нахожу, что вызов serialize() на моем индексном объекте занимает 5 секунд и создает огромный (19 МБ) текстовый файл, тогда как unserialize() занимает невыносимое 27 секунд, чтобы прочитать его. Усовершенствования выглядят немного иначе. ;-)

Итак - существует ли более быстрый механизм для хранения/восстановления графов больших объектов на/с диска в PHP?

(Для уточнения: я искал что-то, что берет значительно меньше, чем вышеупомянутые 3 секунд, чтобы сделать работу де-сериализации.)

Answer 1

Кажется, что ответ на ваш вопрос - нет.

Даже если вы обнаружите вариант «двоичного формата сериализации», скорее всего, даже это будет замедлять то, что вы предполагаете.

Итак, что вам, возможно, придется искать в использовании (как указывали другие), это база данных, memcached или онлайн-сервис.

Я хотел бы добавить следующие идеи, а также:

• кэширование запросов/ответов
• ваш PHP скрипт не выключен, но становится сетевой сервер отвечать на запросы
• или, смею Я говорю это, изменить структуру данных и метод запроса вы используете

Answer 2

Если вы хотите скорость, запись или чтение из файла менее оптимальной.

В большинстве случаев сервер базы данных сможет хранить и извлекать данные гораздо эффективнее, чем PHP-скрипт, который является чтением/записью файлов.

Другая возможность - это что-то вроде Memcached.

Сериализация объектов не известна своей производительностью, а простота использования и определенно не подходит для обработки больших объемов данных.

Answer 3

я вижу два варианта здесь

строку сериализации, в простейшей форме нечто вроде

write => implode("\x01", (array) $node); 
    read => explode() + $node->payload = $a[0]; $node->value = $a[1] etc 

бинарной сериализации с пакетом()

write => pack("fnna*", $node->value, $node->le, $node->ri, $node->payload); 
    read => $node = (object) unpack("fvalue/nre/nli/a*payload", $data); 

Было бы интересно для сравнения оба варианта и сравнить результаты.

Answer 4

var_export должно быть много быстрее, так как PHP не будет обрабатывать строку на всех:

// export the process CSV to export.php 
$php_array = read_parse_and_index_csv($csv); // takes 3 seconds 
$export = var_export($php_array, true); 
file_put_contents('export.php', '<?php $php_array = ' . $export . '; ?>'); 

Затем включите export.php, когда вам это нужно:

include 'export.php'; 

В зависимости от вашего веб-сервера, возможно, придется chmod export.php, чтобы сделать его исполняемым первым.

Answer 5

SQLite поставляется с PHP, вы можете использовать его как свою базу данных. В противном случае вы можете попробовать использовать сеансы, тогда вам не нужно сериализовать что-либо, вы просто сохраняете необработанный объект PHP.

Answer 6

Как использовать JSON для хранения или загрузки данных? Я понятия не имею, как быстро парсер JSON находится на PHP, но обычно это работает на большинстве языков, и это легкий формат.

http://php.net/manual/en/book.json.php

Answer 7

Сначала вы должны изменить способ ваша программа работает. разделите CSV-файл на более мелкие куски. Я полагаю, это IP-хранилище данных. ,

Преобразование всех IP-адресов в целые или длинные.

Итак, если возник вопрос, вы можете узнать, какую часть посмотреть. Для этого есть функции <?php ip2long() /* and */ long2ip();. Итак, от 0 до 2^32 конвертировать все IP-адреса в 5000K/50K всего 100 файлов меньшего размера. Этот подход обеспечивает более быструю сериализацию.

Думайте умный, код аккуратным;)

Answer 8

Try igbinary ... сделал чудеса для меня:

http://pecl.php.net/package/igbinary