33｜A/B Test：跨境電商轉換率實驗

一、案例定位

用 2,000 位訪客的跨境電商實驗資料，教學生把『B 版本看起來比較好』進一步轉成轉換率差、Lift、兩比例 Z 檢定與市場分層。

二、學習目標

計算 A/B 轉換率與 Lift。

理解實驗組、控制組與隨機分派。

使用兩比例 Z 檢定判斷差異。

區分統計顯著與商業價值。

檢查不同市場是否出現異質效果。

三、案例情境

跨境電商準備更換商品頁，A 為原版、B 為新版。公司不想只看 B 的轉換率較高就全面上線，因此要求統計檢定與市場分層分析。

Excel 核心表格（Word 完整閱讀版）

下列內容直接整理自本案例對應的 Excel 工作簿。Word 版保留理解案例所需的核心輸入、計算結果與管理輸出；若原始資料筆數很大，正文列示代表性樣本，而模型結果與管理摘要則完整呈現。學生可先只閱讀 Word 完成案例理解，再到 Excel 修改參數與資料進行情境重算。

Excel表 33-1｜A/B Test 實驗資料代表性樣本

訪客ID

市場

版本

Mobile1/0

Returning1/0

轉換1/0

訂單金額

V0001

Taiwan

A

1

1

0

0

V0002

Japan

B

0

0

0

0

V0003

Japan

A

0

0

1

72.30

V0004

Singapore

B

1

0

0

0

V0005

Taiwan

A

1

0

0

0

V0006

Thailand

B

0

0

0

0

V0007

Thailand

A

1

1

0

0

V0008

Taiwan

B

1

0

0

0

V0009

Thailand

A

0

0

0

0

V0010

Singapore

B

0

0

0

0

註：此表列示代表性資料樣本，用來理解欄位與模型邏輯；完整資料保留於 Excel 工作簿供深入分析與 What-if 重算。

Excel表 33-2｜A/B 檢定

版本

訪客數

轉換數

轉換率

相對Lift

每千訪客轉換

A

1,000

88

8.80%

0

88

B

1,000

114

11.40%

0.30

114

檢定項目

結果

B-A 絕對差

0.03

Z statistic

1.93

p-value

0.05

α

0.05

判斷

未達顯著

Excel表 33-3｜市場分層

市場

A轉換率

B轉換率

絕對差

B樣本數

Taiwan

10.33%

13.83%

0.04

253

Japan

9.84%

10.27%

0.00

224

Singapore

9.09%

11.07%

0.02

262

Thailand

5.98%

10.34%

0.04

261

Excel表 33-4｜管理摘要

KPI

結果

總樣本

2,000

A轉換率

8.80%

B轉換率

11.40%

相對Lift

0.30

p-value

0.05

是否顯著

否

每10萬訪客新增轉換

2,600

四、主要結果

A 轉換率約 8.8%，B 約 11.4%，相對 Lift 約 29.5%。

兩比例 Z statistic 約 1.929，p-value 約 0.0537。

若把差異套用到每 100,000 訪客，約相當於新增 2600 次轉換；但是否值得上線仍需考慮毛利、開發成本與長期效果。

五、Excel 分析方法

版本別計算訪客數、轉換數、轉換率。

Lift＝(B轉換率－A轉換率)÷A轉換率。

兩比例 Z 檢定比較兩組轉換率。

市場分層檢查整體結果是否掩蓋國別差異。

六、主要結果與管理解讀

p-value 回答的是在 H0 下觀察到此差異的相容程度，不是『B 有多少機率比較好』。

即使統計顯著，也要換算新增訂單、毛利與執行成本。

分市場結果樣本較小，不能因單一市場短期波動就過度客製化。

七、What-if／延伸練習

把流量增加到 10,000；模擬 B 的 Lift 只有 5%；加入平均訂單金額，計算增量營收與增量毛利。

八、AI 分析 Prompt

你是電商實驗分析助理。根據 A/B 樣本數、轉換率、Lift、p-value 與市場分層，提出『全面上線／延長測試／只在部分市場測試』建議。必須同時討論統計證據與商業效果；不得把 p-value 解釋為 B 版本勝出的機率。

九、Excel 與 AI 的分工

Excel：實驗統計、檢定與分層結果。

AI：把統計證據轉成上線決策、風險與後續實驗設計。

十、課堂討論題

統計顯著但 Lift 很小，要不要上線？

整體顯著但某市場 B 較差，應怎麼辦？

A/B Test 為什麼比單純前後比較更可信？

十一、資料說明

2,000 筆訪客資料為教材模擬。