В тензорном потоке я планирую построить некоторую модель и сравнить ее с другими базовыми моделями в отношении разных подмножеств данных обучения. То есть Я хотел бы обучить мою модель и базовые модели теми же подмножествами данных обучения.Tensorflow queue runner - можно ли поставить в очередь определенное подмножество?
В наивном способе реализованы очередь-бегун и TFreaders (например, im2txt), для этого требуется дублирование данных на каждый выбор подмножеств, что является моим случаем, потребуется использовать очень большие объемы дискового пространства.
Лучше всего, если бы был способ сообщить очереди для извлечения только выборок из указанного подмножества идентификаторов или для игнорирования выборок, если они не являются частью данного подмножества идентификаторов.
Если я правильно понимаю игнорирование образцов, это не является тривиальным, потому что это потребует, чтобы сшить образцы из разных чтений в одну партию.
Кто-нибудь знает способ сделать это? Или может предложить альтернативный подход, который не требует предварительной загрузки всех данных обучения в ОЗУ?
Спасибо!