Простой локальный тест DynamoDB

Question

Я использую DynamoDB local для модульного тестирования. Это неплохо, но имеет некоторые недостатки. В частности:

• Вы должны каким-то образом запустить сервер, прежде чем тесты запустить
• Сервер не запускается и останавливается перед каждым испытанием так тесты становятся взаимозависимыми, если не добавить код, чтобы удалить все таблицы и т.д. после каждого испытания
• Все разработчики должны установить ее

то, что я хочу сделать что-то вроде поставить местную банку DynamoDB и другие банки, на которых она зависит, в моем каталоге тестов/ресурсов (I Я пишу Java). Затем перед каждым тестом я запустил его, работая с -inMemory, и после теста я бы остановил его. Таким образом, любой, кто вытаскивает git repo, получает копию всего, что им нужно, чтобы запускать тесты, и каждый тест не зависит от других.

Я нашел способ сделать эту работу, но это уродливо, поэтому я ищу альтернативы. Решение, которое я имею, это поместить .zip-файл локального материала DynamoDB в test/resources, а затем в метод @Before, я извлечу его в какой-нибудь временный каталог и запустим новый Java-процесс для его выполнения. Это работает, но это некрасиво и имеет некоторые недостатки:

• Каждый нуждается в Java исполняемый файл на их $ PATH
• Я должен распаковать молнию на локальном диске. Использование локального диска часто бывает скучным для тестирования, особенно при непрерывных сборках и т. Д.
• Мне нужно запустить процесс и дождаться его запуска для каждого модульного теста, а затем убить этот процесс после каждого теста. Помимо медленного, потенциал для процессов, связанных с переходом, кажется уродливым.

Кажется, что должен быть более простой способ. В конце концов, DynamoDB Local - это просто код Java. Не могу ли я каким-то образом спросить JVM о том, чтобы развить себя и заглянуть в ресурсы для создания classpath? Или, еще лучше, не могу ли я просто вызвать метод DynamoDb Local main из какого-то другого потока, так что все это происходит в одном процессе? Есть идеи?

PS: Я знаю об альтернаторе, но, похоже, имеет другие недостатки, поэтому я склонен придерживаться поддерживаемого решения Amazon, если я могу заставить его работать.

Answer 1

Для модульных испытаний на работе я использую Mockito, а затем просто издеваюсь над AmazonDynamoDBClient. затем выкрикивайте возвращаемые данные, используя когда. например:

when(mockAmazonDynamoDBClient.getItem(isA(GetItemRequest.class))).thenAnswer(new Answer<GetItemResult>() { 
     @Override 
     public GetItemResult answer(InvocationOnMock invocation) throws Throwable { 
      GetItemResult result = new GetItemResult(); 
      result.setItem(testResultItem); 
      return result; 
     } 
    }); 

не уверен, что это то, что вы ищете, но это то, как мы это делаем.

Answer 2

Вы можете использовать DynamoDB Local в качестве тестовой зависимости Maven в тестовом коде, как показано в этом announcement. Вы можете запустить через HTTP:

import com.amazonaws.services.dynamodbv2.local.main.ServerRunner; 
import com.amazonaws.services.dynamodbv2.local.server.DynamoDBProxyServer; 

final String[] localArgs = { "-inMemory" }; 
DynamoDBProxyServer server = ServerRunner.createServerFromCommandLineArgs(localArgs); 
server.start(); 
AmazonDynamoDB dynamodb = new AmazonDynamoDBClient(); 
dynamodb.setEndpoint("http://localhost:8000"); 
dynamodb.listTables(); 
server.stop(); 

Вы также можете работать в интегрированном режиме:

import com.amazonaws.services.dynamodbv2.local.embedded.DynamoDBEmbedded; 

AmazonDynamoDB dynamodb = DynamoDBEmbedded.create(); 
dynamodb.listTables(); 

Answer 3

Для того, чтобы использовать DynamoDBLocal вам необходимо выполнить следующие шаги.

1. Получить Прямая DynamoDBLocal Завис
2. Получить Native SQLite4Java зависимостей
3. Набор sqlite4java.library.path показать собственные библиотеки

1. Получить прямой DynamoDBLocal Dependency

Это один легкий один , Вам нужен этот репозиторий, как описано в AWS Forums.

<!--Dependency:--> 
<dependencies> 
    <dependency> 
     <groupId>com.amazonaws</groupId> 
     <artifactId>DynamoDBLocal</artifactId> 
     <version>1.11.0.1</version> 
     <scope></scope> 
    </dependency> 
</dependencies> 
<!--Custom repository:--> 
<repositories> 
    <repository> 
     <id>dynamodb-local</id> 
     <name>DynamoDB Local Release Repository</name> 
     <url>https://s3-us-west-2.amazonaws.com/dynamodb-local/release</url> 
    </repository> 
</repositories> 

2. Получить Native SQLite4Java зависимостей

Если вы не добавите эту зависимость, ваши тесты будут выпадать с 500 внутренней ошибки.

Во-первых, добавить эти зависимости:

<dependency> 
    <groupId>com.almworks.sqlite4java</groupId> 
    <artifactId>sqlite4java</artifactId> 
    <version>1.0.392</version> 
    <scope>test</scope> 
</dependency> 
<dependency> 
    <groupId>com.almworks.sqlite4java</groupId> 
    <artifactId>sqlite4java-win32-x86</artifactId> 
    <version>1.0.392</version> 
    <type>dll</type> 
    <scope>test</scope> 
</dependency> 
<dependency> 
    <groupId>com.almworks.sqlite4java</groupId> 
    <artifactId>sqlite4java-win32-x64</artifactId> 
    <version>1.0.392</version> 
    <type>dll</type> 
    <scope>test</scope> 
</dependency> 
<dependency> 
    <groupId>com.almworks.sqlite4java</groupId> 
    <artifactId>libsqlite4java-osx</artifactId> 
    <version>1.0.392</version> 
    <type>dylib</type> 
    <scope>test</scope> 
</dependency> 
<dependency> 
    <groupId>com.almworks.sqlite4java</groupId> 
    <artifactId>libsqlite4java-linux-i386</artifactId> 
    <version>1.0.392</version> 
    <type>so</type> 
    <scope>test</scope> 
</dependency> 
<dependency> 
    <groupId>com.almworks.sqlite4java</groupId> 
    <artifactId>libsqlite4java-linux-amd64</artifactId> 
    <version>1.0.392</version> 
    <type>so</type> 
    <scope>test</scope> 
</dependency> 

Затем добавьте этот плагин, чтобы получить собственные зависимости в определенной папке:

<build> 
    <plugins> 
     <plugin> 
      <groupId>org.apache.maven.plugins</groupId> 
      <artifactId>maven-dependency-plugin</artifactId> 
      <version>2.10</version> 
      <executions> 
       <execution> 
        <id>copy</id> 
        <phase>test-compile</phase> 
        <goals> 
         <goal>copy-dependencies</goal> 
        </goals> 
        <configuration> 
         <includeScope>test</includeScope> 
         <includeTypes>so,dll,dylib</includeTypes> 
         <outputDirectory>${project.basedir}/native-libs</outputDirectory> 
        </configuration> 
       </execution> 
      </executions> 
     </plugin> 
    </plugins> 
</build> 

3. Установить sqlite4java.library.path показать собственные библиотеки

В качестве последнего шага вам необходимо установить системное свойство sqlite4java.library.path в каталог native-libs. Это нормально сделать это непосредственно перед созданием локального сервера.

System.setProperty("sqlite4java.library.path", "native-libs"); 

После этих шагов вы можете использовать DynamoDBLocal, как хотите. Вот правило Junit, которое создает для этого локальный сервер.

import com.amazonaws.auth.BasicAWSCredentials; 
import com.amazonaws.services.dynamodbv2.AmazonDynamoDB; 
import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient; 
import com.amazonaws.services.dynamodbv2.local.main.ServerRunner; 
import com.amazonaws.services.dynamodbv2.local.server.DynamoDBProxyServer; 
import org.junit.rules.ExternalResource; 

import java.io.IOException; 
import java.net.ServerSocket; 

/** 
* Creates a local DynamoDB instance for testing. 
*/ 
public class LocalDynamoDBCreationRule extends ExternalResource { 

    private DynamoDBProxyServer server; 
    private AmazonDynamoDB amazonDynamoDB; 

    public LocalDynamoDBCreationRule() { 
     // This one should be copied during test-compile time. If project's basedir does not contains a folder 
     // named 'native-libs' please try '$ mvn clean install' from command line first 
     System.setProperty("sqlite4java.library.path", "native-libs"); 
    } 

    @Override 
    protected void before() throws Throwable { 

     try { 
      final String port = getAvailablePort(); 
      this.server = ServerRunner.createServerFromCommandLineArgs(new String[]{"-inMemory", "-port", port}); 
      server.start(); 
      amazonDynamoDB = new AmazonDynamoDBClient(new BasicAWSCredentials("access", "secret")); 
      amazonDynamoDB.setEndpoint("http://localhost:" + port); 
     } catch (Exception e) { 
      throw new RuntimeException(e); 
     } 
    } 

    @Override 
    protected void after() { 

     if (server == null) { 
      return; 
     } 

     try { 
      server.stop(); 
     } catch (Exception e) { 
      throw new RuntimeException(e); 
     } 
    } 

    public AmazonDynamoDB getAmazonDynamoDB() { 
     return amazonDynamoDB; 
    } 

    private String getAvailablePort() { 
     try (final ServerSocket serverSocket = new ServerSocket(0)) { 
      return String.valueOf(serverSocket.getLocalPort()); 
     } catch (IOException e) { 
      throw new RuntimeException("Available port was not found", e); 
     } 
    } 
} 

Вы можете использовать это правило, как этот

@RunWith(JUnit4.class) 
public class UserDAOImplTest { 

    @ClassRule 
    public static final LocalDynamoDBCreationRule dynamoDB = new LocalDynamoDBCreationRule(); 
} 

Answer 4

Есть несколько Node.js оберток для DynamoDB Local. Это позволяет легко выполнять модульные тесты, сочетающиеся с бегунами задач, такими как глоток или ворчание. Попробуйте dynamodb-localhost, dynamodb-local

Answer 5

Это Подтвердив ответ bhdrkn для пользователей Gradle (его основан на Maven). Это все те же три шага:

1. Get Direct DynamoDBLocal Dependency
2. Get Native SQLite4Java dependencies
3. Set sqlite4java.library.path to show native libraries

1. Получить прямой DynamoDBLocal Dependency

Добавить раздел зависимостей вашего файла build.gradle ...

dependencies { testCompile "com.amazonaws:DynamoDBLocal:1.+" }

2. Get Собственные зависимости SQLite4Java

Библиотеки sqlite4java уже будут загружаться как зависимость от DynamoDBLocal, но libra ry файлы должны быть скопированы в нужное место. Добавьте в свой файл build.gradle ...

task copyNativeDeps(type: Copy) { from(configurations.compile + configurations.testCompile) { include '*.dll' include '*.dylib' include '*.so' } into 'build/libs' }

3. Установить sqlite4java.library.path показать собственные библиотеки

Мы должны сказать Gradle запустить copyNativeDeps для тестирования и сказать sqlite4java, где найти файлы. Добавить в файл build.gradle ...

test { dependsOn copyNativeDeps systemProperty "java.library.path", 'build/libs' }

Answer 6

В Hadoop мы также используем DynamoDBLocal для тестирования и отладки работы. Посмотрите, как он используется там, например: https://github.com/apache/hadoop/blob/HADOOP-13345/hadoop-tools/hadoop-aws/src/test/java/org/apache/hadoop/fs/s3a/s3guard/TestDynamoDBMetadataStore.java#L113

Answer 7

Я обернул ответы выше на два JUnit rules, которые не требуют изменений в скрипте сборки, поскольку правила обрабатывают материал родной библиотеки. Я сделал это, когда обнаружил, что Idea не понравилась решения Gradle/Maven, поскольку она просто ушла и сделала свое дело anyhoos.

Это означает, что следующие шаги:

• Получить AssortmentOfJUnitRules версию 1.5.32 или выше зависимости
• Получить зависимость Direct DynamoDBLocal
• Добавьте LocalDynamoDbRule или HttpDynamoDbRule к вашему JUnit тест.

Maven:

<!--Dependency:--> 
<dependencies> 
    <dependency> 
     <groupId>com.amazonaws</groupId> 
     <artifactId>DynamoDBLocal</artifactId> 
     <version>1.11.0.1</version> 
     <scope>test</scope> 
    </dependency> 
    <dependency> 
     <groupId>com.github.mlk</groupId> 
     <artifactId>assortmentofjunitrules</artifactId> 
     <version>1.5.36</version> 
     <scope>test</scope> 
    </dependency> 
</dependencies> 
<!--Custom repository:--> 
<repositories> 
    <repository> 
     <id>dynamodb-local</id> 
     <name>DynamoDB Local Release Repository</name> 
     <url>https://s3-us-west-2.amazonaws.com/dynamodb-local/release</url> 
    </repository> 
</repositories> 

Gradle:

repositories { 
    mavenCentral() 

    maven { 
    url = "https://s3-us-west-2.amazonaws.com/dynamodb-local/release" 
    } 
} 

dependencies { 
    testCompile "com.github.mlk:assortmentofjunitrules:1.5.36" 
    testCompile "com.amazonaws:DynamoDBLocal:1.+" 
} 

Код:

public class LocalDynamoDbRuleTest { 
    @Rule 
    public LocalDynamoDbRule ddb = new LocalDynamoDbRule(); 

    @Test 
    public void test() { 
    doDynamoStuff(ddb.getClient()); 
    } 
}