Я изучаю TensorFlow (а также общее глубокое обучение). Мне интересно, когда нам нужно сломать входные данные обучения в партии? И как определить размер партии? Есть ли правило? Благодаря!TensorFlow: как определить, хотим ли мы разорвать набор учебных материалов на партии
Алгоритмы общего обучения на GPU, которые имеют ограниченную память, и поэтому ограниченное количество выборок входных данных (в алгоритме, обычно определяемом как размер партии) может быть загружено за раз.
В целом больший размер партии уменьшает общее время вычисления (поскольку умножения внутренней матрицы выполняются параллельным образом в графическом процессоре, таким образом, с большими размерами партии время сохраняется в градиентах чтения/записи и, возможно, в некоторых других выводах) ,
Другая возможная польза от большого размера партии является: В задачах классификации несколько классов, если число классов велико, больше размер партии делает алгоритм обобщать лучше (технически избежать чрезмерной подгонки) по различным классам (при этом стандартным методом является сохранение равномерного распределения классов в партии).
При определении размера партии существуют и другие факторы, которые входят в игру: скорость обучения и тип метода оптимизации.
Надеюсь, это ответ на ваш вопрос в определенной степени!