Какой функции R следует использовать, если мы хотим, чтобы выбрать размер выборки для такого теста:Определение размера выборки для тестирования A/B, более 2-х вариантов
10 объявлений, которые мы хотим использовать тест, чтобы решить, какие объявления имеют лучшую скорость кликов. Мы можем считать поток и щелчок.
Я не думаю, что количество вариантов опыта имеет значение. В каждом из них вы сравниваете метрику с тем же метрикой в управлении, поэтому в каждом случае у вас будет свой собственный значительный размер выборки: чем меньше разница с элементом управления, тем больше размер выборки.
Точка активных дебатов в последние годы связана с чем-то: как во время выполнения оптимизировать трафик, разделяемый между переживаниями, чтобы к тому времени, когда все варианты были вызваны, большинство из них пережило ваш выигрышный опыт. Google (Experiments) разработал то, что они называют алгоритмом Multi-Arm Bandid для этого, но насколько я знаю, он не был опубликован в рецензируемом журнале и, вероятно, по какой-то причине.
Удачи!