2.11. Потоки данных в kol (tStream)

Я уже описывал работу с файлами в KOL, на низком уровне. Набор функций для работы с файлами не требует использования объектов. Работа с объектами потоков данных предоставляет более высокий уровень как для работы с файлами, так и с любыми наборами данных, например, в памяти. Без использования объектов было бы довольно трудно обеспечить приемлемый уровень инкапсуляции данной функциональности, поэтому в KOL, почти так же, как и в VCL, вводится объектный тип TStream. Так же, как и в VCL, у него есть методы для чтения (Read) и записи (Write) данных, для изменения текущей позиции в потоке (Seek).

Но на этом сходство тут же и заканчивается. Вместо наследования требуемых классов потоков данных от базового класса TStream, в KOL используется механизм указателей на функции. В "конструкторах" экземпляров потоков данных (т.е. в функциях NewXXXXXStream) этим указателям присваиваются те или иные наборы функций, в результате получаются объекты одного и того же объектного типа TStream (конструкторы возвращают, конечно же, указатели созданных потоков, типа PStream), но эти объекты обеспечивают различную функциональность, определяемую тем, какой именно конструктор вызывался.

Итак, в самом модуле KOL определены следующие "конструкторы" потоков данных:

NewReadFileStream( s ) - создает поток для чтения файла (существующий файл открывается в режиме "только чтение");

NewWriteFileStream( s ) - создает поток для записи файла (создается новый файл, или, если он уже существует, файл открывается на запись);

NewReadWriteFileStream( s ) - создается поток для записи и чтения файла;

NewFileStream( s, options ) - позволяет создать файловый поток с более детальным перечислением режимов открытия и создания (это те самые опции, которые используются в функции FileCreate);

NewMemoryStream - создает поток в памяти (для записи и чтения);

NewExMemoryStream( P, n ) - тоже создает поток в памяти, но на этот раз в существующей памяти. Если в предыдущем "конструкторе" создавался поток, первоначально не содержащий данных, и растущий по мере записи в него методами вроде Write, то данная функция создает поток на существующем непрерывном участке памяти (с адреса P и длиной n байт), и размер этого потока не может меняться в процессе работы с потоком. Эта память не считается "принадлежащей" такому потоку, и при разрушении объекта потока данных никаким способом не освобождается (освободить ее, если она, например, была выделена динамически, должен тот код или объект, который ее распределял).

Польза от создания потока такого рода очевидна. Допустим, у вас уже есть в памяти некоторые структурированные данные, и имеется метод, который умеет эти данные считать из потока. Вместо того, чтобы создавать обычный поток на памяти (NewMemoryStream), записывать в него эти данные, а затем читать, мы просто создаем поток на существующей памяти (NewExMemoryStream), и сразу читаем данные имеющимся методом. При этом экономится как минимум выделение памяти для нового потока и копирование этих данных, что в случае большого размера данных еще и очень положительно сказывается на производительности приложения.

NewMemBlkStream(blksize) и NewMemBlkStream_WriteOnly(blksize) – эти два конструктора позволяют создать поток данных в памяти, но непрерывность гарантируется только для порции данных, записанных одним вызовом метода Write. Важно то, что гарантируется неперемещаемость в дальнейшем записанных данных. Данную разновидность потока данных очень удобно использовать для повышения эффективности работы менеджера памяти, обеспечивая за один прием выделение сразу большого блока данных. Т.е., память выделяется реже, но большими по размеру порциями (и в последующем быстрее освобождается). Обычно, имеет смысл использовать данную разновидность потока в режиме только записи, получая адрес очередного записанного блока памяти через поле fJustWrittenBlockAddress. В самом KOL такой поток используется объектным типом TDirList для повышения быстродействия работы.

NewExFileStream( hFile ) – аналогично предыдущему, создает поток для чтения или записи в файл, но на базе существующего дескриптора уже открытого файла. Замечу, что дескриптор может относиться так же к объекту типа pipe (труба), и другого способа создать поток для работы с пайпом и не предлагается.

Кроме этого набора "конструкторов" потоков, существует возможность для создания собственных разновидностей потоков данных на базе TStream. (Например, в пакете DIUCL определены конструкторы потоков NewUCLCStream и NewUCLDStream, обеспечивающие сжатие и распаковку данных по принципу работы с потоками).

Набор методов объекта TStream в KOL обеспечивает все, что необходимо для чтения и записи данных. При работе с потоками данных KOL, в отличие от VCL, нужно помнить, что открытыми для использования остаются все методы и свойства, в том числе и те, которые не являются характерными для данной разновидности потока данных. Но, например, не имеет смысла пытаться писать в файловый поток, открытый только для чтения, или не имеет никакого значения свойство Handle для потока данных в памяти (Handle обеспечивает доступ к дескриптору файла, однако имеет значение только для файловых потоков). В VCL дополнительный контроль обеспечивается компилятором на этапе написания кода, в KOL нужно чуть больше внимательности, но зато достигается более компактный размер приложения, при той же функциональности. Вот перечень основных методов и свойств TStream:

Read( buf, n ) - читает максимум n байт с текущей позиции в потоке в буфер, возвращает число прочитанных байтов (оно может быть меньше, если был достигнут конец данных);

Write( buf, n ) - записывает n байт из буфера в памяти в поток;

Seek( n, method ) - перемещает позицию в потоке, возвращает новую позицию;

Position - текущая позиция в потоке;

Size - размер потока (для некоторых разновидностей потока размер потока может быть неизвестен);

Memory - указатель на память, в которой размещаются данные потока в памяти (для прочих разновидностей потоков всегда nil);

Capacity - резерв памяти для потоков в памяти (так же, как и для TList, можно изменять извне в целях оптимизации скорости распределения памяти);

Handle - дескриптор файлового потока (можно проанализировать его на неравенство константе INVALID_HANDLE_VALUE сразу после открытия, чтобы убедиться, что связь с файлом установлена нормально, например, или использовать другие низкоуровневые функции для работы с файлами, допускающие в качестве параметра дескриптор открытого файла, но - с определенной осторожностью);

SaveToFile( s ) - сохраняет все содержимое потока в файл с именем s.

Расширяют этот набор дополнительные методы для работы со строками в потоке:

WriteStr( s ) - записывает в поток указанную строку (ни завершающий байт с кодом #0, ни длина строки не записывается, предполагается, что "читателю" потока в последующем эта длина будет известна: или она записана другим способом в этот же поток, или она постоянная, или каким-то образом вычисляется);

WriteStrZ( s ) - записывает в поток строку и завершающий нулевой байт;

ReadStrZ - читает из потока строку, завершенную нулевым байтом;

ReadStr - читает из потока строку, завершающуюся одной из комбинацией символов: #0, #13#10, #13, #10;

ReadStrLen( n ) - читает из потока строку длиной n байт;

WriteStrEx( s ) - записывает в поток сначала длину строки (4 байта), а затем саму строку - без завершающего нулевого байта;

ReadStrEx - читает из потока сначала длину строки, затем саму строку (операция, обратная предыдущей функции записи);

ReadStrExVal( s ) - то же, что и предыдущий метод, но читает строку в параметр s, а возвращает число прочитанных байтов;

WriteStrPas( s ) - записывает короткую строку (такие строки длиной до 255 байт использовались в первых версиях языка Pascal, если помните, размер такой строки хранится в 0-м байте строке), при этом первым записывается длина строки (1 байт);

ReadStrPas - читает Паскаль-строку (сначала читается байт, хранящий длину Паскаль-строки, от 0 до 255, затем сама строка).

И еще один набор методов используется для работы с потоками в асинхронном режиме, когда программа, выдав запрос на операцию чтения или записи, может продолжаться, не останавливаясь для ожидания завершения операции, а затем, когда результат операции уже определенно нужен программе, вызывается метод Wait для завершения текущей операции:

SeekAsync( n, method ) - то же, что и Seek, но асинхронно;

ReadAsync( buf, n ) - то же, что и Read (существенное отличие в том, что, поскольку операция еще только начата, но еще не завершена, данная процедура не может возвратить число прочитанных байтов, поэтому она и оформлена как процедура);

WriteAsync( buf, n ) - то же, что и Write, но асинхронно;

Busy - возвращает true, если поток еще не завершил операцию;

Wait - перманентное ожидание завершения последней асинхронной операции.

Довольно часто требуется выполнить передачу порции данных из одного потока данных в другой, для этого имеются глобальные функции:

Stream2Stream( dst, src, n ) - читает из потока src (источник - source) n байт и записывает их в поток dst. В случае, когда один из потоков (или оба) является потоком на памяти, выполняет оптимизацию, и не создает промежуточный буфер размером до n байт, а использует в качестве буфера память в потоке в памяти;

Stream2StreamEx( dst, src, n ) - то же, что и выше, но не делает оптимизации для потоков в памяти, зато без труда справляется с очень большими потоками данных (так как пересылает данные порциями через буфер размером 64 Кбайта);

Stream2StreamExBufSz( dst, src, n, bufsz ) - то же, что и предыдущая функция, но позволяет задать свой размер промежуточного буфера для пересылки данных. Вполне вероятно, что выделение буфера размером 1 Мбайт позволит существенно ускорить пересылку больших объемов данных, но при этом выделение для буфера еще большего участка памяти способно только снизить производительность, при недостаточном количестве памяти в системе.

В случае, когда ресурсы в приложении содержат какие-то данные, удобные для чтения через поток, пригодится следующая глобальная функция:

Resource2Stream( dst, inst, s, restype ) - позволяет прочитать в поток ресурс любого типа restype (не только из модуля приложения, но и из любого исполнимого файла, для которого получен дескриптор inst).

Среди прочего, тип TStream имеет свойства Methods и Data, предназначенные для разработчиков новых разновидностей потоков данных. Для создания нового вида потока данных, необходимо определить свой "конструктор", и в этом конструкторе указать свой набор методов (используя свойство Methods) для чтения, записи и изменения позиции в потоке. Эти методы могут использовать структуру Data для размещения своих служебных данных (обычного набора должно хватать, но, в крайнем случае, всегда возможно выделить дополнительный блок памяти и использовать одно из полей этой структуры для ссылки на свою структуру).