資訊的檢索失誤率探討

傳統上用來衡量資訊檢索效能的回收率和精確率,在現代商業資料庫或檢索引擎動輒上百萬筆(甚或更大)資料的規模下,在應用上有實際的困難或不足之處。本文中作者提出一個新的衡量標準--失誤率,可以更精確的評估商業資料庫或檢索引擎的整體效能。 吳政叡

如同黃慕萱指出 [註1],精確率(precision ratio)和回收率(recall ratio)仍然是現在最常使用的兩個衡量標準,用來評估檢索系統的效能,不過也因為計算上的困難而備受爭議。作者以為上述的兩個衡量標準,除了由於計算上的困難而窒礙難行外,更因為全文檢索相關技術的發展和一網打盡的特性,逐漸喪失其使用價值和意義。

以回收率而言,雖然由於回覆款目數量龐大(以及資料庫的規模)而很難精確的計算,但是由於全文檢索一網打盡的特性,大多數人相信在一般情況下,回收率是很高的,尤其是使用檢索引擎時。相對的,精確率則經常是很低的,這由檢索引擎的使用者常常抱怨回覆款目數量過於龐大,和夾雜太多不相干資訊可以推知。由於這種經常性的高回收率和低精確率,是由全文檢索一網打盡的特性所造成,因此再使用回收率和精確率來評估檢索引擎的檢索效能,已然失去其意義和價值。

事實上如果我們仔細觀查使用者的檢索過程和行為,可以發現無論是使用古老的卡片目錄、圖書館自動化系統的查詢功能、WWW的檢索引擎,使用者在查到目錄資料或者是檢索引擎的回覆款目後,所必須做的共通抉擇,是判斷此資料是否為所需,接下來的行動是直截了當的二分法:取得原文或者忽略跳過。根據經驗,取得原文的過程往往甚為耗時費力,這使得行動之前的判斷益顯重要,反而是評估檢索系統效能的重要依據,能協助使用者做出正確判斷的系統,其最終和整體的效能才是最佳的。

基於以上的認知,作者製作了一個新的衡量標準--檢索失誤率(retrieval error ratio,簡稱RER),用來評估檢索系統的效能,檢索失誤率是以使用者最後看到原文後的判定為基礎,來比較和評估檢索系統在提供(目錄)資訊與判斷資料重要性(即所謂ranking能力)的整體表現。

以使用者事前根據檢索系統提供的(目錄)資訊和資料的排列順序所做的判斷,對比於事後使用者看到原文的反應,檢索失誤率(RER)可分為兩種:

(一) 第一型失誤是在閱讀檢索系統提供的資訊時,使用者認為需要,但在閱讀原文後,判定非為其所需要的資料。

(二) 第二型失誤剛好相反,是在閱讀檢索系統提供的資訊時,使用者認為不是他或她需要的資料,但在閱讀原文後,發現是需要的資料。

檢索失誤率(RER)除了能真實反映使用者的檢索行為外,同時有計算簡便和使用具彈性的優點。檢索失誤率採取類似精確率的分母,以使用者實際使用到的回覆款目為計算基準,因此沒有回收率難以計算的困擾。請特別注意的是,檢索失誤率和精確率的分母不一定相同,以檢索引擎的使用情況而言,若是在計算精確率時,直接以檢索引擎所有的回覆款目為分母,則兩者的分母是不同的,因為檢索失誤率祇以使用者實際使用到的回覆款目為計算基準,例如在某次檢索時,檢索引擎的回覆款目總共有一萬筆,但是使用者實際上祇看了前面的二十筆,則檢索失誤率的分母為二十,非一萬。最後要說明的是,即使檢索失誤率和精確率的分母相同,兩者仍然不能劃上等號,因為這是兩個不同的衡量標準,下面作者會以一個實驗的數據來加以說明。

由於檢索失誤率以使用者實際使用到的回覆款目為計算基準,同時檢索失誤率的兩種失誤型式,又是檢索時必然會有的,與個別類型的檢索系統無關,因此檢索失誤率應用範圍,可以從最原始的卡片目錄系統、圖書館自動化系統、商業的資料庫系統(如Dialog系統)、WWW的檢索引擎(如Infoseek)等,到新興的元資料著錄和檢索系統(如作者的MES [註2] 和澳洲的HotOIL),操作方式則是人工和電腦自動過濾均可適用。

為了驗證元資料的實際效用,作者選用都柏林核心集做為著錄的元資料,並以選修作者所開設的研究所課程「元資料概論」的七名研究生為實驗者,設計了一個先導式的簡略實驗,實驗結果證實,都柏林核心集的確可以做為判斷文件是否為所需要的依據,因為其檢索失誤率為2.9%,相反的,國內外著名的七個檢索引擎則平均有高達七倍的檢索失誤率(20.7%)。前面曾經提到,檢索失誤率和精確率是兩個不同的衡量標準(即使它們的分母有時會相同),此次實驗的精確率,若是僅以實際使用到的回覆款目為計算基準(如同檢索失誤率),則是54.3%(76:140)。有關這個實驗的詳細說明和數據,請參照作者所寫的另外一篇文章「都柏林核心集對減低資訊檢索失誤率的實務研討」。[註3]

註釋

註 1:黃慕萱,「檢索系統評估之發展理論與實務」,中國圖書館學會會報59期(民86年12月,頁109。

註 2:吳政叡,「元資料實驗系統和都柏林核心集的發展趨勢」,國立中央圖書館臺灣分館館刊 4 卷 2 期(民 86 年 12 月),頁19-24。

註 3:吳政叡,「都柏林核心集對減低資訊檢索失誤率的實務研討」,發表中。