«Sub-parsers» in pipes-attoparsec

Question

Я пытаюсь разбора двоичных данных с использованием pipe-attoparsec в Haskell. Причина, по которой используются трубы (прокси), - это чередование чтения с помощью синтаксического анализа, чтобы избежать использования большой памяти для больших файлов. Многие двоичные форматы основаны на блоках (или кусках), а их размеры часто описываются полем в файле. Я не уверен, что называется парсер для такого блока, но это то, что я подразумеваю под «подпарасером» в названии. Проблема заключается в том, чтобы реализовать их в сжатом виде без потенциально большого объема памяти. Я придумал две альтернативы, каждая из которых терпит неудачу.

Альтернатива 1 заключается в том, чтобы прочитать блок в отдельную строку и запустить для нее отдельный синтаксический анализатор. Хотя краткий, большой блок вызовет высокую память.

Альтернатива 2 заключается в том, чтобы продолжать разбор в одном контексте и отслеживать количество потребляемых байтов. Это отслеживание подвержено ошибкам и, похоже, заражает все синтаксические анализаторы, которые формируются в последнем блочном процессоре. Для искаженного входного файла он также может тратить время, анализируя дальше, чем указано полем размера, прежде чем можно будет сравнить отслеживаемый размер.

import Control.Proxy.Attoparsec 
import Control.Proxy.Trans.Either 
import Data.Attoparsec as P 
import Data.Attoparsec.Binary 
import qualified Data.ByteString as BS 

parser = do 
    size <- fromIntegral <$> anyWord32le 

    -- alternative 1 (ignore the Either for simplicity): 
    Right result <- parseOnly blockParser <$> P.take size 
    return result 

    -- alternative 2 
    (result, trackedSize) <- blockparser 
    when (size /= trackedSize) $ fail "size mismatch" 
    return result 

blockParser = undefined 

main = withBinaryFile "bin" ReadMode go where 
    go h = fmap print . runProxy . runEitherK $ session h 
    session h = printD <-< parserD parser <-< throwParsingErrors <-< parserInputD <-< readChunk h 128 
    readChunk h n() = runIdentityP go where 
     go = do 
      c <- lift $ BS.hGet h n 
      unless (BS.null c) $ respond c *> go 

Answer 1

Мне нравится называть это парсером с фиксированным входом.

Я могу вам сказать, как это будет делать pipes-parse. Вы можете увидеть предварительный просмотр того, что я собираюсь описать в pipes-parse в функциях библиотеки parseN и parseWhile. Это на самом деле общие входы, но я написал аналогичные, например, String парсеров, а также here и here.

Трюк очень прост, вы вставляете поддельный конец входного маркера, где вы хотите, чтобы синтаксический анализатор остановился, запустите анализатор (который не удастся, если он попадет под фальшивый конец входного маркера), а затем удалите конец ввода маркер.

Очевидно, что это не так просто, как я делаю это звук, но это общий принцип. Трудные составляющие:

• Выполнение этого действия таким образом, чтобы оно продолжало течь. Тот, который я связал, пока не делает этого, но способ, которым вы это делаете потоковым способом, - это вставить канал вверх по потоку, который подсчитывает байты, проходящие через него, а затем вставляет маркер конца ввода в нужное место.

• Не мешая существующим конца ввода маркеров

Этот трюк может быть адаптирован для pipes-attoparsec, но я думаю, что лучшим решением было бы для attoparsec непосредственно включить эту функцию. Однако, если это решение недоступно, мы можем ограничить ввод, который подается на парсер attoparsec.

Answer 2

Итак, я, наконец, выяснил, как это сделать, и я кодифицировал этот шаблон в библиотеке pipes-parse. pipes-parse tutorial объясняет, как это сделать, особенно в разделе «Вложенность».

В этом учебном пособии объясняется это только для синтаксического анализа типа данных (агрегированного элемента), но вы можете расширить его для работы с ByteString s для работы.

двух основных трюков, которые делают эту работу являются:

• Крепление StateP быть глобальным (в pipes-3.3.0)

• Встраивание суб-анализатор в переходном StateP слое так, что он использует свежий контекст остатков

pipes-attoparsec скоро опубликует обновление buil ds на pipes-parse, чтобы вы могли использовать эти трюки в своем собственном коде.