Что такое способ загрузки данных из GCS? The sample code shows copying the data from GCS to the /tmp/ directory. Если это приблизительный подход, сколько данных можно скопировать на /tmp/?Чтение входных данных из GCS
Хотя у вас есть этот параметр, вам не нужно копировать данные на локальный диск. Вы должны иметь возможность ссылаться на данные обучения и оценки непосредственно из GCS, ссылаясь на ваши файлы/объекты, используя их URI GCS - например. гс: // ведро/путь/к/файлу. Вы можете использовать эти пути, где обычно используются пути локальной файловой системы в API TensorFlow, которые принимают пути к файлам. TensorFlow поддерживает возможность доступа к данным (и записи) GCS.
Вы также должны иметь возможность использовать префикс для ссылки на набор совпадающих файлов, а не на ссылки на каждый файл отдельно.
Последующее примечание - вы должны проверить https://cloud.google.com/ml/docs/how-tos/using-external-buckets в случае, если вам необходимо соответствующим образом использовать свои данные для доступа к обучению.
Надеюсь, что это поможет.
Будет ли обрабатываться операция 'tf.read_file', считывая эти URL-адреса? –
Это не похоже на: https://github.com/tensorflow/tensorflow/blob/6dee0e6279e4a4d93b81edb5ee2a36836c9d1838/tensorflow/core/kernels/whole_file_read_ops.cc#L30 –
Вот где происходит переход к реализации файловой системы GCS: https: //github.com/tensorflow/tensorflow/blob/c856366b739850a9f4b0bf1469de7f052619042b/tensorflow/python/summary/impl/io_wrapper.py#L42 –