Загрузка данных в память для получения более быстрого ответа

Я использую svm-классификатор, который классифицирует данные с использованием изученной модели. Здесь команда исполняет:Загрузка данных в память для получения более быстрого ответа

./svm_classify input.txt modelrank > input.txt.entities

svm_classify - это классификатор с открытым исходным кодом (Link)

input.txt - входной файл, который должен быть классифицирован.

modelrank - это модель svm для классификации. имеющий 124 МБ. Обучение с использованием большого набора данных.

input.txt.entities - выходной файл

но modelrank большой файл, 124mb. Загрузка каждый раз во время нового запроса для классификации делает процесс медленнее.

Есть ли так, что это может быть In memory, так что он отвечает мгновенно, пока есть новый запрос?

источник

2014-09-25 Anonymous

Вы написали код в svm_classify? – lisu

@lisu: нет, это пакет с открытым исходным кодом, я обновляю ссылку – 2014-09-25 11:56:30

Конечно, если svm_callisfy - это пакет с открытым исходным кодом, который (1) является входным файлом (2), с открытым исходным кодом, тогда (1) он не будет принимать данные из памяти, как она есть (2), вы можете внести свой вклад в это, чтобы он это сделал. – doctorlove

Поскольку редактирование программного обеспечения, вероятно, будет проблемой, что вы можете сделать, чтобы ускорить работу, сначала загрузите файл в оперативную память. Для этого вам нужно будет установить раздел, хранящийся в ОЗУ, link. Это должно сократить время загрузки.

источник

2014-09-25 11:59:53 lisu

Большое спасибо, я думаю, это то, что я хочу. O пройти через эту ссылку. но после копирования моего файла в ramcache, как я могу использовать его для вышеуказанного сценария? – 2014-09-25 12:08:59

Точно так же вы делаете это прямо сейчас - единственное изменение будет путь к файлу модели - вместо modelrank вы, вероятно, будете делать это как /mount/memcache/modelrank. Для получения лучших результатов вы также можете скопировать двоичный файл в ramcache, или все это, а затем использовать его как обычно. Обязательно записывайте/копируйте результаты на жесткий диск. – lisu

Еще раз спасибо, получив эту ошибку 'cp: writing'/ramcache/modelrank ': на устройстве не осталось свободного места cp: не удалось расширить '/ ramcache/modelrank': на устройстве не осталось места ' – 2014-09-25 12:17:22

Загрузка данных в память для получения более быстрого ответа

ответ

Смежные вопросы