Java свойства на Glassfish настроены в domain.xml. Поскольку вы используете встроенную Glassfish, у вас действительно нет файла domain.xml, который вы можете изменить. Вы можете попробовать сделать это в arquillian.xml
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<arquillian xmlns="http://www.jboss.org/arquillian-1.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.jboss.org/arquillian-1.0 http://jboss.org/schema/arquillian/arquillian-1.0.xsd">
<engine>
<property name="deploymentExportPath">target/</property>
</engine>
<container qualifier="glassfish" default="true">
<configuration>
<property name="configurationXml">file:src/test/resources/domain.xml</property>
...
</configuration>
</container>
</arquillian>
configurationXml свойство используется для передачи файла конфигурации для использования встроенного insance. См. Также https://docs.jboss.org/author/display/ARQ/GlassFish+3.1+-+Embedded. domain.xml сам имеет раздел для аргументов JVM.