2013-10-04 3 views
0

Мне было интересно, можно ли написать скрипт в PHP, который будет проходить через чрезвычайно большой набор данных (100 миллионов +), чтобы попытаться найти определенные строки в наборе данных?Обнаружение, если что-то существует, а затем процесс автоматизации

Если это возможно, было бы эффективной формой идентификации ключевого слова в наборе данных?

Если есть лучший способ обработки с помощью такого большого набора данных, чтобы попробовать обнаружить строку я все уши

+0

Все возможно в программировании. – vikingmaster

+0

Это интересный вопрос, но такой широкий, что он скоро может быть закрыт. Можете ли вы указать немного больше об ограничении, типе файла, подключении к db и т. Д. –

+0

Да, Sébastien, меня попросил представитель Google попробовать найти способы автоматического обнаружения нарушений политики Google. Например, если кто-то разместил контент, защищенный авторскими правами, в своем содержании adwords в Google. Теперь, насколько я знаю, Google использует BigTable в качестве своей базы данных, поэтому я предполагаю, что все данные находятся в этой базе данных. Если у вас есть лучший способ, кроме использования скрипта, как я сказал им все уши! – Ciaran

ответ

2

Ну как Яри сказал, что все это возможно в программировании.

Я занимаюсь большими данными через Hadoop, MapReduce и т. Д.

Смежные вопросы