Калькулятор A/B-теста
Сравнивает две доли с учётом неопределённости и указанных допущений теста.
Как использовать Калькулятор A/B-теста
The A/B test calculator compares two conversion rates from visitor and conversion counts and returns each rate, the difference in percentage points, a confidence interval for that difference and a two-sided p-value. It uses a fixed-horizon pooled two-proportion z test and a Wald interval at a confidence level from 50 to 99.99%.
- Введите запрошенные значения на панели настроек.
- Настройте основные параметры, затем откройте расширенный режим для экспорта и точной настройки. Пользовательские настройки остаются активными при закрытии панели.
- Запустите «Калькулятор A/B-теста», просмотрите результат и используйте доступные элементы копирования или скачивания.
Что поддерживает этот инструмент
Сравнивает две доли с учётом неопределённости и указанных допущений теста.
- Посетители A
- Range: 1 to 100000000
- Конверсии A
- Range: 0 to 100000000
- Посетители B
- Range: 1 to 100000000
- Конверсии B
- Range: 0 to 100000000
- Уровень доверия (%)
- Range: 50 to 99.99
Ограничения и обработка
Локальные ограниченные вычисления. Числовые входные данные должны быть конечными и входить в видимые диапазоны. Списки и таблицы имеют ограничения, зависящие от операции. Модели, оценки и заданные ставки необходимо проверять с учётом предполагаемого использования.
Частые вопросы
How is the p-value calculated in this A/B test?
The calculator pools both groups to get a combined conversion rate, computes the standard error sqrt(p(1 − p)(1/nA + 1/nB)), and divides the difference in rates by it to get z. The two-sided p-value is 2 × (1 − Φ(|z|)).
What does the confidence interval for the difference mean?
It is a Wald interval for B's rate minus A's rate, in percentage points, using the unpooled standard error. An interval that excludes 0 points to a real difference at that level, though near the boundary it can disagree slightly with the pooled p-value.
When can A/B test results from this calculator be misleading?
The approximation can break down with small conversion counts, when you check results repeatedly and stop early, or when the same visitor appears in both groups. Decide the sample size in advance and read the result once the test ends. Conversions cannot exceed visitors.
Где обрабатываются мои данные?
Эта операция обрабатывает исходные данные в вашем браузере. Копирование и скачивание выполняются только по вашему действию; входные данные не сохраняются в учётной записи или истории.
Каковы ограничения входных данных?
Локальные ограниченные вычисления. Числовые входные данные должны быть конечными и входить в видимые диапазоны. Списки и таблицы имеют ограничения, зависящие от операции. Модели, оценки и заданные ставки необходимо проверять с учётом предполагаемого использования.