Skip to content

How to report a research? 終極篇之 Meta analysis [更新]

smallmeta3.png
【摘要】

簡單講，係綜合了多次民調的結果。1 得出的數字是陳太約比葉太支持度高12.00%（95% CI: 10.67% to 13.34%）。
星期日祝八位候選人好運。投票結果公佈後會看看實際結果與統計結果的差異。


【詳細報告】

數據來源：

數據是來自蘋果日報和香港大學合作的滾動式民調2 、香港大學民意網站3 、香港嶺南大學公共管治研究部4 、香港研究協會5 及香港南華早報。本分析未能獲得有線電線委托香港大學民意調查計劃進行的滾動式民調的數據。總共獲得 38 次民調的結果，總計參加人數為 27713 人。

分析方法：

主要目的，是要計算陳方安生與葉劉淑儀在多次民調支持度的分野。（ Margin ）再以薈萃分析（ Meta-analysis） 的方法計算出「薈萃分野」（ Meta-margin ）。以薈萃分析方法分析民調，普林斯頓大學的 Prof Wang 有用於 2004 年美國總統大選。當年他也是以類似手法計算克里及布殊預計獲得的選舉人票，最後得出來的數字竟與實際完全一樣。6
本分析將以隨機效果模型7 （DerSimonian-Laird 方法8 ）計算的總合「薈萃分野」。使用隨機效果模型而非固定效果模型9 ，是因為各民調之間，結果有明顯的異質性。（Heterogeneity10 ）。各個民調在綜合時，將會以「反變異數」11 加權。「反變異數」與民調的參加人數成正比，故此民調參加人數愈高，其於「薈萃分野」所佔比重愈大。
由於薈萃分析樣本數較細，學術界的慣例是將 Type I Error rate 由常用的 5% 增加至 10% ，去降低 Type II error rate 。故此本分析以 p < 0.1 為統計學上明顯。12 本分析使用 R 作為分析軟件，使用的軟件包有 rmeta13 （繪制 Forest plot）及 meta14 （計算）。

詳細結果：

分析顯示各民調結果出現明顯的異質性（ Q= 63.54, df=37, p=0.0043） 。故此用隨機效果模型綜合數字。以隨機效果模型計算出的「薈萃分野」為 12.00% (95% CI = 10.67% to 13.34%) 。此數字是明顯高於 0% 。（ Z test for overall effect, Z= 17.6, p<0.0001）表示陳方安生比葉劉淑儀的支持度明顯為高。

結論：

綜合多個民調結果，數據顯示陳方安生比葉劉淑儀的支持度明顯為高，「薈萃分野」為 12.00% (95% CI = 10.67% to 13.34%) 。以數據推論，陳方安生可比葉劉淑儀多獲約 10% 的選票。

其他六位候選人有：柳玉成、李永健、蕭思江、蔣志偉、凌尉雲及何來。

  1. 註：我沒有得到有線的調查數字 [↩]
  2. 蘋果日報 [↩]
  3. http://hkupop.hku.hk/chinese/features/LC2007/index.html [↩]
  4. http://www.ln.edu.hk/pgp/pdf/HKIBElection(20071127).pdf [↩]
  5. http://www.rahk.org/research/326/326newsX.pdf [↩]
  6. http://election.princeton.edu/ [↩]
  7. Random effect model [↩]
  8. DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clinical Trials 1986; 7:177-188. [↩]
  9. Fixed effect model [↩]
  10. 表示結果不一致 [↩]
  11. Inverse Variance [↩]
  12. Gavaghan DJ, Moore AR, McQay HJ. An evaluation of homogeneity tests in meta-analysis in pain using simulations of patient data. Pain 2000;85:415-24. [↩]
  13. http://cran.r-project.org/src/contrib/Descriptions/rmeta.html [↩]
  14. http://cran.r-project.org/src/contrib/Descriptions/meta.html [↩]

Today on history:

  1. 2009:  《宮心計》令人心悸(7)
  2. 2009:  Palin & Scrabble(2)
  3. 2006:  鍾楚紅(1)
  4. 2006:  World Community Grid(12)
  5. 2005:  anal(2)
  6. 2004:  肥上瘦下的原因(0)
  7. 2004:  前途在那方　滿海飄蕩找不到岸(0)
  8. 2002:  Suck Date(0)
  9. 2001:  A tribute to George Harrison(0)

Comments 15

  1. t freak wrote:

    星期日祝八位候選人好運…

    呢句說話都好唔科學。

    Posted 27 Nov 2007 at 2:38 pm
  2. Chainsaw wrote:

    “Science without religion is lame, religion without science is blind.”

    Albert Einstein, “Science, Philosophy and Religion: a Symposium”, 1941
    US (German-born) physicist (1879 – 1955)

    Posted 27 Nov 2007 at 2:50 pm
  3. 方潤 wrote:

    香港就是應該多點人做這種事。

    Posted 30 Nov 2007 at 9:31 am
  4. Chainsaw Riot wrote:

    > 香港就是應該多點人做這種事。

    但是香港就是有更多人怕見到這些東西。咀嚼一個民調已經夠難，還要咀嚼這些東西。
    人家 Princeton 那個人做民調 meta-analysis ，上了 NYT ，甚至拿了個 Patent.

    Anyway, 就正正因為現實沒有人聽我說這些耶穌，才在這個 blog 爆。

    今日又有新數據，又 update 下先。 Update 好快，只需入數再執行自己寫的軟件便可。愈多的數據只會令我的計算愈精確。

    Posted 30 Nov 2007 at 10:43 am
  5. Chainsaw Riot wrote:

    30-Nov-2007 更新摘要：

    加入多一次 Apple Daily + HKU 的 serial survey 結果。 Meta-margin 由昨天的 11.91 變成 11.88%

    Rant:

    民主黨／馬嶽真係隨口up。我知道蘋果日報想做到當年 martin vs 素玉的告急效果，但唔代表可以隨口up。請問「我估計陳太會輸 10,000 到 20,000 票畀葉太。」係點樣計算？你話陳太可能輸，我都認同，話晒仲有 17% 的游離票。如果這 17% 全投葉太，陳太的 meta-margin 就完全無效，這亦是統計學預測不到的。你作 qualitative 的 estimation 我係 OK ，但講到如此 Quantitative 就請提供計算方法。

    Posted 30 Nov 2007 at 11:11 am
  6. Chainsaw Riot wrote:

    30-Nov-2007 更新摘要 #2：

    加入 SCMP 一次民調。 Meta-margin 由 11.88% 增至 12.00%.

    Posted 30 Nov 2007 at 1:51 pm
  7. Chainsaw Riot wrote:

    1-Dec-2007 無得更新摘要

    Dataset 放了在公司電腦，今天卻休假，數據不能更新。
    今天 Apple-HKU 又有新數據，Sample size 是 1010 人，0.44 vs 0.31.
    另外對嶺南都有新數據。Sample size 是 431 人，0.36 vs 0.274.
    我想我要星期一才能更新。在討論最後投票結果與 meta-analysis 結果的分別，會加入這兩個調查的數字。
    此外，這個研究上了「東南西北」。網主宋以朗先生指，香港和美國的風氣有不同，香港民調不能實在反映選民意向，原因是香港人有隱瞞其政治取向的傾向。
    http://www.zonaeuropa.com/200712a.brief.htm#002

    Posted 01 Dec 2007 at 7:03 pm
  8. Chainsaw Riot wrote:

    還有 HKUPOP 31-10-2007 結果
    1129 人，0.417 vs 0.353

    Posted 02 Dec 2007 at 12:10 am
  9. Chainsaw Riot wrote:

    3-Dec-2007 更新：

    HKUPOP的 exit poll 表示，是0.525 vs 0.425 = 0.10
    一時正已點票數，是0.551 vs 0.449 = 0.102

    remember: Meta-margin is 0.12 (95% 0.107 to 0.133)

    Very close to the lower bound. (0.107)

    Posted 03 Dec 2007 at 1:47 am
  10. Chainsaw Riot wrote:

    3-Dec-2007 再更新：

    01:45 更新：

    Anson 99458 (0.5507)
    Regina 81146 (0.4493)

    Margin = 10.14%

    Posted 03 Dec 2007 at 1:56 am
  11. Chainsaw Riot wrote:

    Anson 104659 (0.5498)
    Regina 85691 (0.45018)

    Margin = 9.96%

    仍在 Lower bound 浮遊。

    Posted 03 Dec 2007 at 2:01 am
  12. Chainsaw Riot wrote:

    有線新聞最新數字
    Anson 150357 (0.55977)
    Regina 118246 (0.44023)

    Margin = 11.95%

    Oh! My God! I am ultra excited.

    Posted 03 Dec 2007 at 2:23 am
  13. Chainsaw Riot wrote:

    Final update from tonight:
    Anson 154727 (0.56)
    Regina 119179 (0.44)

    Margin = 12.97%

    要訓覺啦（因為我最少知道我計算準確，比湯家驊及中大學者馬嶽準）。明天提供分析

    Posted 03 Dec 2007 at 2:48 am
  14. sun bin wrote:

    i do not know much about meta-analysis. but it seems you have are basically analyzing the population of various polls across a period of time, without time weight.

    since you result coincides with the actual vote turn out. it demonstrated that the pan-dem tricks did not work. i.e. the vote turn out did not change over the past 2 weeks and the voters were not swayed by AD’s tactics. (i.e. people are not stupid). this is not a deduction, just shows consistency with such hypothesis.

    meanwhile, i wonder if there is any methodology of attaching a time weight (i.e. a fading factor to time). e.g. you could trying different rate of fading for each data point you used, and take the one that produce the highest “correlation factor”

    Posted 04 Dec 2007 at 1:51 am
  15. sun bin wrote:

    p.s. sorry for the typos above.

    Posted 04 Dec 2007 at 1:52 am