вероятность и относительная частота

Question

Если я использую относительную частоту для оценки вероятности события, насколько хороша моя оценка, основанная на количестве экспериментов? Является ли стандартное отклонение хорошей мерой? Бумага/ссылка/онлайн-книга будут идеальными.

http://en.wikipedia.org/wiki/Frequentist

Answer 1

Я считаю, что вы ищете доверительный интервал для выборки. Вот некоторые ресурсы, которые могут быть полезны:

Confidence Interval for Proportion Tutorial
Confidence Interval for Proportion Handout

В основном ваша оценка улучшает обратную пропорционально квадратному корню из числа образцов. Поэтому, если вы хотите сократить свою ошибку вдвое, вам понадобится в четыре раза больше образцов.

Answer 2

Вероятно, критерий хи-квадрат является то, что вы хотите. См., Например, страницу википедии по адресу Pearson's chi-square test. Стандартное отклонение - это не то, что вы хотите, поскольку речь идет о форме распределения, а не о том, насколько точно вы оцениваете фактическое распределение. Также обратите внимание, что большинство из этих вещей посвящено «нормальным» распределениям, и не все дистрибутивы являются нормальными.

Answer 3

Вы считаете количество успехов s в последовательности n экспериментов Yes/No, правильно? Пока одиночные эксперименты независимы, вы находитесь в области биномиального распределения (Wikipedia). Частота успеха f = s/n является оценкой вероятности успеха p и. Дисперсия вашей частотной оценки f равна p * (1-p)/n для n рисунков.

Пока p не слишком близко к нулю или 1, и до тех пор, пока у вас нет «слишком малого» числа наблюдений n, стандартное отклонение будет разумной мерой для качества вашей оценки f ,

Если n достаточно велико (эмпирическое правило n * p> 10), вы можете аппроксимировать нормальным распределением N (f, f * (1-f)/n), а стандартная оценка отклонения является хорошей мерой , См. here для более подробного обсуждения.

Это говорит о том, что аппроксимация со стандартным отклонением не будет вырезать лед, если это требует определенной академической строгости (например, является домашним заданием).