Загрузите файлы с загрузкой в ​​Azure Blob

Question

Я пытаюсь предвидеть систему, в которой твиты перетекают в хранилище Azure Blob через API потоковой передачи Twitter. Я следовал учебник от Microsoft, но она заканчивается в следующем сценарии:

$writeStream = New-Object System.IO.StreamWriter $memStream 
$count=0 
$lineMax=1000000 
$sReader = New-Object System.IO.StreamReader($response.GetResponseStream()) 


$inrec = $sReader.ReadLine() 

while (($inrec -ne $null) -and ($count -le $lineMax)) 
{ 
    if ($inrec -ne "") 
    { 
     $writeStream.WriteLine($inrec) 
    } 




    $inrec=$sReader.ReadLine() 
} 


$writeStream.Flush() 
$memStream.Seek(0, "Begin") 
$destBlob.UploadFromStream($memStream) 

$sReader.close() 

Теперь проблема, если я хочу использовать это в больших масштабах, я подозреваю, что файл будет слишком большим, чтобы быть отправлен Azure в один раз. Каков правильный подход к этой проблеме? Должен ли я скопировать файлы локально на диск и отправить его на Azure?

Answer 1

Возможно, вы захотите проверить новый Append Blob. Это позволяет вам создавать blob и добавлять к нему добавление (при необходимости, из нескольких мест). Вот некоторые how-to information, которые могут помочь.