я изменить этот учебник для пакетной обработки данных следующим образом:
- преобразования данных в формат CSV TensorFlow (пример в файле TFRecord); Затем
- создания input_fn из функции read_batch доступны в tf.contrib.learn (очереди)
Это код я использовал:
https://gist.github.com/cirocavani/7d9e827102093139acd400b02d2e7afb
input_fn, как это:
def input_fn(mode, data_file, batch_size):
input_features = create_feature_columns()
features = tf.contrib.layers.create_feature_spec_for_parsing(input_features)
feature_map = tf.contrib.learn.io.read_batch_record_features(
file_pattern=[data_file],
batch_size=batch_size,
features=features,
name="read_batch_features_{}".format(mode))
target = feature_map.pop("label")
return feature_map, target
Я думаю, что у него было бы более простое решение, но я не знаю TensorFlow enouth, чтобы предоставить его еще :)
Это не позволяет передавать batch_size в качестве аргумента, когда у вас есть input_fn. Мы можем использовать batch_size только тогда, когда мы предоставляем X, Y в качестве входных данных для соответствия функции. – Pulkit
Таким образом, input_fn задает размер партии. –
Как изменить input_fn(), чтобы он возвращал партии. В настоящее время он возвращает все данные. – Pulkit