Декодировать потоковый ответ GZIP при отправке Scala?

Question

Получение Gzip-ответа от API, но Dispatch 0.9.5 не имеет методов для декодирования ответа. Есть идеи?

Вот моя текущая реализация, println10 выводит только строковые представления байтов.

Http(
     host("stream.gnip.com") 
     .secure 
     .addHeader("Accept-Encoding", "gzip") 
    /gnipUrl 
     > as.stream.Lines(println))() 

Попытался реализовать собственный обработчик, но не уверен, с чего начать. Вот соответствующий файл для Lines: https://github.com/dispatch/reboot/blob/master/core/src/main/scala/as/stream/lines.scala

Спасибо!

Answer 1

Просто заброшенный Отправка и использовать Java API, непосредственно. Разочаровался, но он выполнил свою работу.

val GNIP_URL = isDev match { 
    case true => "https://url/apath/track/dev.json" 
    case false => "https://url/path/track/prod.json" 
    } 
    val GNIP_CHARSET = "UTF-8" 

    override def preStart() = { 
    log.info("[tracker] Starting new Twitter PowerTrack connection to %s" format GNIP_URL) 

    val connection = getConnection(GNIP_URL, GNIP_USER, GNIP_PASSWORD) 
    val inputStream = connection.getInputStream() 
    val reader = new BufferedReader(new InputStreamReader(new StreamingGZIPInputStream(inputStream), GNIP_CHARSET)) 
    var line = reader.readLine() 
    while(line != null){ 
     println(line) 
     line = reader.readLine() 
    } 
    } 

    private def getConnection(urlString: String, user: String, password: String): HttpURLConnection = { 
    val url = new URL(urlString) 

    val connection = url.openConnection().asInstanceOf[HttpURLConnection] 
    connection.setReadTimeout(1000 * 60 * 60) 
    connection.setConnectTimeout(1000 * 10) 

    connection.setRequestProperty("Authorization", createAuthHeader(user, password)); 
    connection.setRequestProperty("Accept-Encoding", "gzip") 
    connection 
    } 

    private def createAuthHeader(username: String, password: String) = { 
    val encoder = new BASE64Encoder() 
    val authToken = username+":"+password 
    "Basic "+encoder.encode(authToken.getBytes()) 
    } 

Б Пример ГСИО в: https://github.com/gnip/support/blob/master/Premium%20Stream%20Connection/Java/StreamingConnection.java

Answer 2

Попробуйте >> вместо >

См https://github.com/dispatch/dispatch/blob/master/core/src/main/scala/handlers.scala#L58

Answer 3

Это не столько решение, как обходной путь, но я в конечном итоге прибегать к минуя -На вещи Future и делать:

val stream = Http(req OK as.Response(_.getResponseBodyAsStream)).apply val result = JsonParser.parse( new java.io.InputStreamReader( new java.util.zip.GZIPInputStream(stream)))

Здесь я использую JsonParser, потому что в моем случае данные, которые я получаю, являются JSON; замените что-то еще в вашем случае использования, если это необходимо.

Answer 4

Мое решение только определенный синтаксический анализатор отклика, а также приняла json4s парсер:

object GzipJson extends (Response => JValue) { 
     def apply(r: Response) = { 
     if(r.getHeader("content-encoding")!=null && r.getHeader("content-encoding").equals("gzip")){ 
      (parse(new GZIPInputStream(r.getResponseBodyAsStream), true)) 
     }else 
      (dispatch.as.String andThen (s => parse(StringInput(s), true)))(r) 
     } 
    } 

Так что я могу использовать его, чтобы извлечь ответ Gzip JSon как следующий код:

import GzipJson._ 

    Http(req OK GzipJson).apply