Данные в TensorFlow

При обучении модели числа подают не одним большим тензором, а потоком отдельных примеров. Набор данных хранит такой поток: его можно собрать из уже готовых тензоров, не обращаясь к файлам на диске.

Каждый шаг цикла обучения обычно берёт не один пример, а небольшую группу - батч. Размер батча задают заранее, чтобы модель видела сразу несколько строк или картинок и считала ошибку по группе.

Порядок примеров влияет на обучение, поэтому набор часто перемешивают перед каждой эпохой. Отдельно настраивают преобразование каждого примера: масштабирование, сдвиг метки или сбор пары признак-ответ из двух тензоров.

Иногда нужна лишь часть потока: несколько первых элементов для проверки или пропуск начала перед основным циклом. Так ограничивают долю набора без копирования всего содержимого в память.

Со всем этим мы и будем разбираться в рамках данного раздела.