Улучшение MySQL время чтения, MySQLDb

Question

У меня есть таблица с более миллиона записей со следующей структурой:

mysql> SELECT * FROM Measurement; 
+----------------+---------+-----------------+------+------+ 
| Time_stamp  | Channel | SSID   | CQI | SNR | 
+----------------+---------+-----------------+------+------+ 
| 03_14_14_30_14 |  7 | open   | 40 | -70 | 
| 03_14_14_30_14 |  7 | roam   | 31 | -79 | 
| 03_14_14_30_14 |  8 | open2   | 28 | -82 | 
| 03_14_14_30_15 |  8 | roam2   | 29 | -81 |.... 

Я читал данные из этой таблицы в питоне для черчения. Проблема в том, что чтение в MySQL слишком медленное, и мне требуется много часов, чтобы получить графики даже после использования MySQLdb.cursors.SSCursor (как это было предложено несколькими на этом форуме), чтобы ускорить выполнение задачи.

con = mdb.connect('localhost', 'testuser', 'conti', 'My_Freqs', cursorclass = MySQLdb.cursors.SSCursor); 
cursor=con.cursor() 
cursor.execute("Select Time_stamp FROM Measurement") 
for row in cursor: 
    ... Do processing .... 

Будет ли нормализовать стол, чтобы помочь мне ускорить выполнение задачи? Если да, как мне его нормализовать?

P.S: Вот результат для EXPLAIN

+------------+--------------+------+-----+---------+-------+ 
| Field  | Type   | Null | Key | Default | Extra | 
+------------+--------------+------+-----+---------+-------+ 
| Time_stamp | varchar(128) | YES |  | NULL |  | 
| Channel | int(11)  | YES |  | NULL |  | 
| SSID  | varchar(128) | YES |  | NULL |  | 
| CQI  | int(11)  | YES |  | NULL |  | 
| SNR  | float  | YES |  | NULL |  | 
+------------+--------------+------+-----+---------+-------+ 

Answer 1

Проблема, вероятно, что вы цикл над курсором вместо просто демпинг все данные сразу, а затем обработать его. Вы должны иметь возможность сбросить пару миллионов строк за пару секунд. Попробуйте сделать что-то вроде

cursor.execute("select Time_stamp FROM Measurement") 
data = cusror.fetchall() 
for row in data: 
    #do some stuff... 

Answer 2

Ну, так как вы говорите, стол весьимеет для чтения, я думаю, вы не можете сделать много о нем. У него более 1 миллиона записей ... вы не собираетесь оптимизировать многое на стороне базы данных.

Сколько времени требуется, чтобы обработать только одну запись? Возможно, вы могли бы попытаться оптимизировать эту часть. Но даже если вы заработали до 1 миллисекунды за запись, вам все равно потребуется около получаса, чтобы обработать полный стол. Вы имеете дело с большим количеством данных.

Возможно параллельное выполнение нескольких заданий на печать? С теми же показателями, что и выше, деление ваших данных на 6 рабочих мест равного размера (теоретически) даст вам графики за 5 минут.

Ваши земельные участки должны быть мелкозернистыми? Вы можете искать способы игнорировать определенные значения в данных и генерировать полный график только тогда, когда пользователю это нужно (дикие предположения здесь, я действительно не знаю, как выглядят ваши сюжеты)