ブッキング・ドットコムの場合、実験でポジティブな結果が出る確率、つまり現状維持の対照群であるA案よりも、何らかの要素(売上高、反復利用、クリック率、サイト滞在時間など)の改善のために変更を施したB案において、無作為に抽出したユーザーのパフォーマンスが改善する確率はわずか10%程度である(ブッキング・ドットコムでは、A/Bテストだけでなく、一度に2種類以上の変更を加えて検証するさらに複雑なテストも行っている)。
34,000本の雑学記事からランダム表示
ブッキング・ドットコムの場合、実験でポジティブな結果が出る確率、つまり現状維持の対照群であるA案よりも、何らかの要素(売上高、反復利用、クリック率、サイト滞在時間など)の改善のために変更を施したB案において、無作為に抽出したユーザーのパフォーマンスが改善する確率はわずか10%程度である(ブッキング・ドットコムでは、A/Bテストだけでなく、一度に2種類以上の変更を加えて検証するさらに複雑なテストも行っている)。