2012-10-09 2 views
0

Что означает «новые строки в строках»?новые строки в больших строках запроса

https://developers.google.com/bigquery/docs/quota-policy#import

Как проверить и удалить его?

Import Jobs: Daily limit: 1,000 import jobs per table per day (including failures), 10,000 import jobs per project per day (including failures) 
Maximum size per import job: 1TB uncompressed 
Maximum number of files per import job: 500 

ответ

5

строки в строках относятся к встроенным символам новой строки в значениях поля CSV. это затрудняет параллелизацию импорта.

.: 2 например линии, то первый имеет встроенный символ новой строки:

1,2,"this is my 
string",4,5 
1,2,"another string",4,5 

импортер BigQuery имеет опцию «--noallow_quoted_newlines», который означает, что файл не содержит каких-либо переводы строк.

# --noallow_quoted_newlines: 
# Do not allow quoted newlines in the data. This allows BigQuery to parallelize the load. 

https://developers.google.com/bigquery/articles/ingestioncookbook#atomic

Individual JSON и CSV файлов без новых строк в строковых полей могут быть как 100GB, и CSV-файлы, которые содержат символы новой строки внутри строки должны быть 4Гб или меньше.

https://developers.google.com/bigquery/articles/ingestioncookbook

+0

В частности, CSV с символами новой строки намного сложнее обрабатывать параллельно. Недавние изменения импорта BigQuery будут считывать большие входные файлы параллельно, чтобы быстрее их обрабатывать. –

+0

приятно знать, спасибо! – jspcal

+0

Кажется, что все ссылки на документы Bigquery нарушены? поиск «новой строки» на странице первой ссылки не возвращает результатов –

0

А «новой линии» является разрыв строки (или строки), которая возвращает печатая к следующей строке. Это то, что вы получаете, когда нажимаете клавишу ввода на клавиатуре.

Смежные вопросы