avz / pit Goto Github PK

Если обработчик долго не забират данные у читателя (не читает из пайпа), то можно освободить текущий чанк, записав в offset-файл текущую позицию. Это позволит обрабатывать тяжёлые чанки в несколько потоков.

Нужно учесть, что в построчном режиме границу можно делать только на границе строк. Предстоит много переделок в связи с тем, что читатель на данный момент не знает о том, построчно или raw-ом записывался чанк. И желательно, чтобы он так и продолжал не знать.

Реализовать можно так: обнаруживаем, что обработчик висит; начинаем читать чанк вперёд, сохраняя прочитанное в буфер, пока не дойдём до границы строки; пишем это положение в offset-файл и закрываем чанк. Если вдруг размера буфера не хватило чтобы найти границу строки, то отменяем освобождение чанка и просто ждём одупления обработчика.