Хотите создать новое приложение для мониторинга трафика веб-сайта (анализ)

Question

Я хочу создать собственное приложение для мониторинга трафика моего веб-сайта без использования сторонних инструментов, таких как Google Analytics. В котором я хочу записывать скриншоты, данные пользователя, сведения о странице и файлы cookie. Итак, какую технологию я должен выбрать, чтобы достичь этой цели, и которая будет лучше всего подходит и какой поток работы я должен соблюдать.

Я никогда раньше не делал такого рода работы, поэтому я новичок в этом. Любая помощь будет принята с благодарностью.

Технологии, которые я знаю: javascript, nodejs, django (python).

Answer 1

Вам нужно будет разбить приложение, поскольку это сложная задача создать что-то вроде GA.

Вам нужно будет отслеживать многие действия пользователя (нажмите, потратьте время и т. Д.). Вы можете сделать это в простых js или использовать кросс-платформенную легкую библиотеку (angular.js), которая может сделать вашу жизнь немного легкой.

Теперь, поскольку вам придется отправлять большой набор данных с трассировкой в ​​базу данных с минимальной задержкой, используйте Node.js в этом сценарии. Простой вызов Ajax также будет работать, но тогда он будет очень медленным.

Теперь приходит ваш database.Prefer NoSQL, так как он соответствует вашим требованиям неструктурированных данных, preferrablly MongoDB, которые могут помочь вам со своим собственным MapReduce, большая емкостью для хранения .Since будет много расчета вовлеченным вы можете использовать свои знания питона которые могут помочь вам обрабатывать данные намного быстрее. Вы также можете использовать другие языки (например, Google)

Ваши обработанные данные и результаты затем могут быть сохранены в Redis (который действует как слой кеширования). вы можете использовать сложную графическую библиотеку, такую ​​как d3.js, Highcharts.js для отображения графических данных на стороне клиента.

Есть много факторов, которые могут быть задействованы. Это всего лишь очень простой план того, что вы могли бы сделать.