Метод load класса Dataset

Метод load класса Dataset загружает датасет, ранее сохраненный с помощью метода save. Первым параметром метод принимает путь к файлу или директории, в которую был сохранен датасет. Вторым необязательным параметром можно передать список читателей (readers), а третьим - список элементов (element_spec), описывающих структуру загружаемых данных. Метод возвращает новый объект Dataset, готовый к использованию.

Синтаксис

tf.data.Dataset.load(path, [element_spec], [compression], [reader_func])

Пример

Давайте создадим простой датасет из тензора, сохраним его в директорию 'my_dataset', а затем загрузим обратно с помощью метода load:

<+python+> import tensorflow as tf t = tf.constant([1, 2, 3, 4, 5]) dataset = tf.data.Dataset.from_tensor_slices(t) dataset.save('my_dataset') loaded = tf.data.Dataset.load('my_dataset') for elem in loaded: print(elem) <-python+>

Результат выполнения кода:

tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=int32)
tf.Tensor(4, shape=(), dtype=int32)
tf.Tensor(5, shape=(), dtype=int32)

Пример

Давайте сохраним датасет с применением сжатия GZIP и загрузим его обратно, указав то же сжатие:

<+python+> import tensorflow as tf t = tf.constant([[1, 2, 3], [4, 5, 6]]) dataset = tf.data.Dataset.from_tensor_slices(t) dataset.save('my_dataset_gzip', compression='GZIP') loaded = tf.data.Dataset.load('my_dataset_gzip', compression='GZIP') for elem in loaded: print(elem) <-python+>

Результат выполнения кода:

tf.Tensor([1 2 3], shape=(3,), dtype=int32)
tf.Tensor([4 5 6], shape=(3,), dtype=int32)

Пример

Давайте загрузим датасет и проверим его спецификацию через атрибут element_spec:

<+python+> import tensorflow as tf t = tf.constant([1, 2, 3, 4, 5]) dataset = tf.data.Dataset.from_tensor_slices(t).batch(2) dataset.save('my_dataset_batch') loaded = tf.data.Dataset.load('my_dataset_batch') print(loaded.element_spec) <-python+>

Результат выполнения кода:

TensorSpec(shape=(None,), dtype=tf.int32, name=None)

Смотрите также

метод save,
который сохраняет датасет в файл или директорию
класс Dataset,
который представляет набор данных в TensorFlow
метод from_tensor_slices,
который создает датасет из тензора
атрибут element_spec,
который описывает структуру элементов датасета