1. дома
  2. Вопрос и ответ
  3. Spark sql row_number или порядковый номер?

Spark sql row_number или порядковый номер?

2015-12-07 5 views
-3

генератор случайных чисел SparkSQL?Spark sql row_number или порядковый номер?

Например:

  • Netezza: порядковый номер

  • MySQL: номер последовательности

Благодаря.

источник

2015-12-07 sri hari kali charan Tummala

+0

Вы можете использовать 'UDF'? –

+0

http://stackoverflow.com/q/32760888/1560062 – zero323

+1

Извините, но я действительно не понимаю, о чем он просит. –

ответ

1

Spark Sql уже имеют случайные функции, есть один blog.

Или для ряда строк искра sql также имеет функцию row_number().

источник

2015-12-07 15:52:09 Kaushal

+0

Привет, Kaushal, я попробовал функцию row_number, но искру sql дал ошибку –

+0

sqlContext.sql ("select * from (select column1, column2, column3, column4, column5, row_number() OVER (PARTITION BY column1 ORDER BY column1 DESC) rank as случайный из TestTable) a) –

+0

какое исключение вы получаете – Kaushal

2

Последовательность в свече SQL в искре 1,6 его выбор monotonically_increasing_id() из таблицы, свечи 1,6 обусловлено получить выпущен

источник

2015-12-08 12:09:20

+0

вот пример, который работает для Spark 2.2 sine_signale_no_ts.createOrReplaceTempView («сигнал») sine_signale_my_ts = sql («select (monotonically_increasing_id() + 1483228800) * 1000 как ts, синус от сигнала») –

Смежные вопросы

 Смежные вопросы