2015-09-09 4 views
-2

Я сделал несколько действий по скрипту json. Необходимо добавить к нему предварительное условие. как использовать предварительное условие для скрипта json.Условие на конвейере данных

В предварительном порядке мне нужно проверить поле mysql db. один раз флаг как «Y», начало выполнения else должно прекратить выполнение.

+0

Конкретно. –

+0

{ "идентификатор": "InputData", "типа": "S3DataNode", "график": { "исх": "CopyPeriod"}, "Filepath": «s3: // Пример-ведро/InputData /#{@scheduledStartTime.format('YYYYMM-dd-hh:mm')}.csv ", " precondition ": {" ref ":" Ready "} }, { " id ":" Ready " , "type": "Exists" } – pragowin

+0

Я использую код для предварительного условия на datapipeline, но он не работает хорошо. – pragowin

ответ

0

Вы можете использовать ShellCommandPrecondition для этого, что позволит вам написать собственное предварительное условие.

{ 
    "objects": [ 
    { 
     "schedule": { 
     "ref": "DefaultSchedule" 
     }, 
     "resourceRole": "DataPipelineDefaultResourceRole", 
     "role": "DataPipelineDefaultRole", 
     "name": "DefaultResource1", 
     "id": "ResourceId_dWoZ0", 
     "type": "Ec2Resource", 
     "terminateAfter": "1 Hour" 
    }, 
    { 
     "name": "DefaultPrecondition1", 
     "id": "PreconditionId_yA2rV", 
     "type": "ShellCommandPrecondition", 
     "command": "<Script to check mysql field>" 
    }, 
    { 
     "occurrences": "1", 
     "period": "1 Day", 
     "name": "RunOnce", 
     "id": "DefaultSchedule", 
     "type": "Schedule", 
     "startAt": "FIRST_ACTIVATION_DATE_TIME" 
    }, 
    { 
     "failureAndRerunMode": "CASCADE", 
     "schedule": { 
     "ref": "DefaultSchedule" 
     }, 
     "resourceRole": "DataPipelineDefaultResourceRole", 
     "role": "DataPipelineDefaultRole", 
     "pipelineLogUri": "s3://<mybucket>", 
     "scheduleType": "cron", 
     "name": "Default", 
     "id": "Default" 
    }, 
    { 
     "schedule": { 
     "ref": "DefaultSchedule" 
     }, 
     "name": "DefaultActivity1", 
     "runsOn": { 
     "ref": "ResourceId_dWoZ0" 
     }, 
     "precondition": { 
     "ref": "PreconditionId_yA2rV" 
     }, 
     "id": "ActivityId_gmQ0W", 
     "type": "ShellCommandActivity", 
     "command": "echo 'Hello world'" 
    } 
    ], 
    "parameters": [] 
} 
+0

можно ли использовать VPC вместо использования Ec2Resource? – pragowin

Смежные вопросы