圖書館成果評鑑
王梅玲
圖書館近年來實施許多大型計畫，從建築空間改造、充實閱讀館藏、推動多元閱讀活動，受到大眾喜愛，但成果如何?圖書館成果評鑑是配合預設之目標評量圖書館服務與活動對於使用者產生的影響與改變。其是從投入、活動與過程、產出來看成果；例如參加圖書館活動後，對使用者的知識、技能、態度、行為發生改變與影響。圖書館服務與新專案計畫的成果評鑑將可以證明圖書館的價值，也是圖書館新管理思維。本文探討圖書館成果評鑑的意義、方法、與三個個案應用。
一、圖書館評鑑
評鑑是對圖書館的服務與計畫進行管理與成效檢討的機制。圖書館針對豐富多元閱讀推廣活動，然若要瞭解活動是否能夠帶給參與者效益、帶來效益之程度，以及活動對於圖書館本身的影響，繼之以活動帶給整體環境之影響，則需對於活動進行評鑑。評鑑是包含定義、說明、可辯證的參考準則等，以決定受評對象的價值、品質、有效性或重要性。評鑑可以說是對於事物價值的評估，評鑑是決定優點、價值或重要的程序，評鑑是為了判斷可用的決策所作的描述、獲取及提供有用資訊的過程。評鑑是提供決策者有關於方案運作或效能的可信、有效、相關且有用的資訊。評鑑是一個蒐集與分析資訊的系統化過程，以決定目標是否達成或目標達成的程度。綜上所述，評鑑不僅在評估價值，亦在改進方案，因此也有學者認為，評鑑不在證明，而在改進（曾淑惠，民98）。
圖書館評鑑早期針對作業進行評估，其目的在有效的管理人力資源、財力資源與館藏資源，使這些資源充分達成圖書館的目標。Lancaster詮釋評鑑是一項實務工作，蒐集有用的資料，以便解決問題及做更好的決策。進行評鑑首應瞭解圖書館的運作和功能，以及其產生的作用。圖書館評鑑的範圍包括四方面：投入（input），如人員、館藏、設施等；處理（operation），如採購、編目；產出（output），如服務的績效；成果（outcome），如服務績效產生的價值(Matthews,
2007)。
圖書館評鑑類型，有多種分類方式，從過程可分為形成性評鑑與總結性評鑑。從實施對象可分為圖書館/系統導向、使用者導向、或混成型。若從範圍區分，評鑑可分下列五類，(1)投入評鑑(Input Measurement)，係評量圖書館作業投入。(2)產出評鑑(Output Measurement)，係評量圖書館系統與服務的產出。(3)績效評鑑(Performance Measurement)，係配合圖書館目標評鑑圖書館服務與資源達到的成果。(4)成果評鑑(Outcomes Measurement)，係圖書館服務與活動對於使用者產生的改變。(5)服務品質評鑑(Service Quality Measurement)，是透過使用者和訂定品質標準測量圖書館服務與資源是否表現品質優良(Matthews,
2007)。
圖書館評鑑實施有其程序，包括：(1)分析評鑑的對象與目標。(2)分析評鑑對象情境脈絡、特質。(3)選取評鑑方法、取向、準則。(4)決定資料工作評鑑項目與單元。(5)設計評鑑方法與工作程序。(6)進行資料蒐集。(7)進行資料分析。(8)進行評鑑與決策、結論。(9)撰寫評鑑報告。
評鑑就是一種確認圖書館服務與活動的目標，並用多種方法蒐集資料與數據以證明服務與活動的成果達成原訂目的的重要機制。傳統圖書館經常採用產出評鑑，蒐集參加活動人數，借書冊數與入館人數。近年，為了追求卓越，成果評鑑新觀念提出，也影響了圖書館滿意度調查的方式。成果評鑑觀念是檢視圖書館服務與活動帶給參與的民眾有何改變，或觀察對使用者的問題解決與工作能力是否提升。
二、成果評鑑意義
成果評鑑(Outcome
Measurement)是以「使用者為中心」，進行某項方案或服務的量測，以回應特定使用者需求，為使用者帶來改變，以達到一定程度的正向影響（Rubin, 2005）。「方案」（Program）係一組經過精心設計的行動與努力，以滿足社會對於各種服務的需求，最終能促成有需求的人得到高品質的服務。美國博物館與圖書館服務研究院（Institute of Museum and Library Services）界定「成果」(Outcome)，是對人們帶來的好處，「為個人或群體在參與方案活動期間，或參與之後，所獲得的效益或造成改變，包含獲得新知識、習得新技能、轉變態度或價值觀、修正行為以及改善狀況等」（Kyrillidou, 2002）。
成果評鑑也是方案評估（Program Evaluation）的一環。整體方案評估流程包括投入、活動、產出及成果等項目。「投入」係指使方案能夠推動並執行，以向參與者提供服務的素材或資源，例如設備、員工、志願服務者、設施或場所、經費等。「活動」係指方案推動中的流程，用以滿足參與者的需求，例如指導、諮詢、庇護、供給、裝備。「產出」係指參與者之計量，例如被指導的人數、被諮詢的人數、獲得庇護、供給、裝備的人數。「成果」係指參與方案的人實際獲得的影響、利益、改變。產出與成果不盡相同，如一項戒菸方案，評估「產出」是計算參與此戒菸方案的人數，而評估「成果」是成功戒菸的人數。「成果」可進一步分為短期成果（方案參與者於觀念、技術上的改變）、中期成果（行為上的改變），以及長期成果（價值觀、整體狀況、身份的改變），成果評鑑即將評估重點置於「成果」的部分，即評估接受此服務的人，以探知：（1）他們是否有良好的表現？（2）有接受服務者與未接受服務者比較，是否有差異？（3）有接受服務者與未接受服務者比較，有接受服務者是否有改變，而且是朝好的方向改變（Posavac & Carey, 2002；羅國英、張紉譯，2014）。
有關成果評鑑的實施方法，首先依據方案活動設計預期達成之成果；第二，依成果項目制定可量測之指標；第三，選定合適之研究方法，例如設計問卷或是訪談大綱等，以利進行實際量測；第四，在蒐集研究資料後，進行彙整與分析，最後提出研究與建議。
成果評鑑除了評估使用者滿意度外，更關注活動的實質性成果，希望實質性成果能夠真正幫助使用者，帶來正向效益外，並配合圖書館之使命與任務。美國大學與研究圖書館學會(Association of College and Research Libraries, 簡稱ACRL)提出關於實質性成果的問題：（1）學生使用圖書館資源與服務是否能夠提升其學術成績？（2）藉由利用圖書館，學生是否能夠獲得成功的機會？（3）利用過圖書館的大學生是否更有可能在研究生學習中獲得成功？（4）圖書館的目錄是否提升學生的資訊素養水平？（5）做為與圖書館合作的結果，教師是否更能夠把利用圖書館做為他們課程教學部分？（6）利用過圖書館的學生是否可能獲得更為充實和滿意的人生？
以成果評鑑為基礎發展之活動方案，強調在計畫階段即以所服務之讀者與相關利害關係人連結，考量其需求設計方案內容，搭配成果評鑑成為機構整體計畫之策畫、實施、評估和改進之部份。以圖書館管理面來看，即是由「提供什麼服務和如何提供」的思考方向轉至「管理者預期要達到的是什麼」」，並將其列為特定的服務目標，然後根據此目標來探究方案參與者之變化，並蒐集變化的證據。成果研究也以更寬廣的方向探討，將成果分成短期及長期，隨著時間推移，方案能夠帶給使用者的影響越來越廣，並推及至整體社會，舉凡知識、資訊素養、學術或就業成功、社會包容，個人福利等方面，來評估圖書館對個人技能、綜合能力、態度、行為帶來的改變。
三、圖書館成果評鑑方法
(一) 圖書館成果評鑑模式
圖書館成果評鑑是評量服務與活動對於使用者產生的影響及效益，並符合圖書館預設目標。是從投入、活動與過程、產出的連續過程來看成果，如使用圖書館服務與資源對使用者的知識、技能、態度、行為發生改變與影響(Mattews, 2007)。Rubin (2005)提出圖書館成果評鑑模式，係社區需求、圖書館服務目標、與圖書館服務回應三者的交集，如圖1。其說明成果評鑑的內涵包括：（1）提出使用者需求和社區目標以界定成果的內容。（2）依據成果評鑑進行規劃，包括投入、圖書館活動、評鑑成果的項目、進行圖書館活動與蒐集資料。（3）進行期中與期末成果評鑑，在活動結束後，進行整體的成果評鑑，以及對社區目標貢獻的檢討。公共圖書館成果評鑑視其背景及服務方案而有所不同，很難提出統一框架，僅能以其所規劃之服務方案來設定成果評鑑。例如青少年公共圖書館閱讀推廣活動，設計成果評鑑三要素可為：（1）瞭解目標讀者閱讀現況與需求；（2）訂定圖書館閱讀推廣的目標；（3）參與者參加活動後是否提升閱讀素養。
圖 1 圖書館成果評鑑示意圖
資料來源：Rubin, R. J.（2005）. Demonstrating results : using outcome measurement
in your library. Chicago, Ill. : American Library Association.
Rubin（2005）進一步說明方案評鑑流程，分為規劃與評鑑兩部分，第一階段為規劃部分，在於圖書館依據使用者需求規劃適當的活動，以傳達圖書館的使命以及管理者的願景，使命意指藉由簡短而清楚的文字，告知讀者圖書館最重視的理念，並且能夠切合使用者需求，願景意指圖書館管理者希望以什麼樣形式的圖書館服務回應使用者需求。此階段可以成果導向的規劃流程表示，包括瞭解社區需求並規劃相對應之服務與方案，設定服務與方案之目標，繼之以投入相關資源並執行方案活動，最終有所產出。在本階段中從社區需求、服務回應、服務目標三者界定成果，進而設定方案目標與活動。
第二階段為評鑑部分，係根據活動結果進行活動之成果評鑑，確認活動參與者是否因參加而有了改變或有成就。成果評鑑具有下列重要性：（1）對圖書館整體而言，能夠展現圖書館的價值，告知潛在讀者圖書館能夠帶來的效益，成為品牌行銷方式。（2）對圖書館員而言，能夠藉由成果的評鑑瞭解這樣的服務方案是否有需要改進，以持續修正服務方式，因應快速變動的環境。（3）對服務對象而言，除了為讀者帶來實質成果，還能夠分享給所有相關的利害關係人，讓成果的影響持續擴大，以至於整個服務社區。此階段的核心項目為設定此活動之成果，此成果項目係依據社區需求、方案目標、方案回應訂定，轉為可量化之指標並規劃研究流程，方案活動結束時進行短期及長期之成果評鑑，蒐集成果資料，以瞭解此方案是否能對所服務之社區有所貢獻。
美國密西根大學及華盛頓大學研究團隊的兩位學者Durrance及Fisher（2005）運用成果評鑑的理念於圖書館，配合圖書館目標與使用者需求，提出「圖書館與館員如何協助」（How Libraries and Librarians Help，HLLH）成果評鑑模型，他們歸納圖書館和館員能夠帶給使用者的成效可概括分為：（1）態度的轉變（由負面轉為正向）；（2）增進資訊近用的能力；（3）自我效能的提升（包含自尊、自信心、對生命的看法以及未來規劃、成就感及希望）；（4）技術層面的提升（增進技術素養、語言能力、溝通技巧及社交技能）；（5）學習成果（增加學習的興趣）；（6）知識獲得（獲得更廣獲更深入的知識）；（7）目標導向的規劃；（8）社交網絡（與社區連接，增加社會資本）；（9）狀態改變（返回校園學習、找到工作、參與公民活動）；（10）降低成本（節省時間、金錢、力氣，提升方便性）。
圖書館與館員協助模型包括下列四部分：（1）與機構相關的情境因素，如圖書館服務模式、圖書館策略計畫、館員的專業貢獻；其他投入因素如資源、環境等。（2）與使用者相關的情境因素，包含使用者需求、態度、資訊行為、能與此方案活動互動之任何影響因素。（3）產出，參與此項服務或方案的人數統計。（4）成果，使用者發生的改變，包含技能、知識、態度、行為、狀態、生活模式的改變或成就。
圖書館活動的成果深受使用者導向以及情境因素（context）的影響，在使用者導向方面，不同使用者的需求、資訊素養與態度等皆會影響成果評鑑的各項流程。圖書館在執行方案評估之前，應先瞭解目標讀者的資訊行為，才能讓後續方案活動與參與者產生正向連結，為其帶來實質成果。在情境因素方面，要考量圖書館的本質、願景、任務、服務模式以及館員人力與能力等，因此，不同圖書館所推出的方案服務，所使用的成果評鑑指標與面向不盡相同，所用之資料蒐集方法也可能不一。
Matthews（2013）說明兒童暑期閱讀活動如何幫助兒童及其家長，規劃推廣活動成果評鑑，以Orr’s Evaluation Model進行評估。包括資源面、產能面、使用面、影響及效用面。資源面（投入），可以評估圖書館設計及執行推廣活動之需求；使用面（產出）統計參與活動之兒童；影響及效用面（成果），用以評估此活動對於個人、團體及整個社會層面的成果。此模式可以應用評估圖書館推廣活動。
投入面向在於評估活動計畫之部分，包含經費及人力資源之應用，分為（1）預算：包含推廣素材、行銷費用、文宣品及獎勵品。（2）人力：即負責規劃、執行並評估推廣活動之圖書館員，包含館員參與人數；志工人數；館外活動地點之數量。（3）館藏（Collection）：館藏可於特定主題之暑期閱讀活動時使用。（4）設備：提供活動的空間。
產出面向為活動的量化測量，以暑期閱讀活動為例，量測項目包括：（1）報名暑期閱讀活動之人數，（2）暑期閱讀活動參與者於學校年級學生中所占比例，（3）實際參與暑期閱讀活動的人數，（4）完整參與暑期閱讀活動人數（以兒童、青少年、成人區分進行量測），（5）參與者閱讀書籍的數量，（6）於活動中閱讀書籍冊數最小值之人數，（7）暑期閱讀活動進行期間之借閱量，並與往年比較，（8）進行瀏覽閱讀的人數，（9）單獨閱讀的時間，（10）與父母或照顧者共同閱讀的時間，（11）兒童與父母或照顧者共同閱讀時間是否較多，（12）參與暑期閱讀活動家庭辦理借閱證的數量，（13）與暑期閱讀活動相關之活動數量，（14）參與所有相關活動之總人數。
成果面向主要評量對於兒童、家庭於參與暑期閱讀活動後以及此活動對於整體社會所造成的影響及成果，包含個人知識、自信、行為、態度等的質化及量化量測。在評鑑過程中，除了針對參與兒童，其家長、照顧者及教師也是量測對象。在進行成果評鑑時，下列兩項準則須特別注意：（1）成果與活動需有高度因果相關。（2）成果需是可測量的，並以一致性且具信賴度之量測工具進行成果量測。
(二) 成果評鑑程序
成果評鑑實施包括下列六項程序：選擇方案、決定成果、量化成果、資料蒐集規劃、準備與實施、研究結果（Rubin, 2005），以下詳細說明。
1、 選擇方案。進行成果評鑑的前提，首需選擇一方案，方案選擇具備下列必要條件：（1）此方案有明確的服務對象，並能夠為其需求進而設計方案內容。（2）此方案以服務對象的影響結果為主要考量，關注的是讀者會有什麼樣的改變，而非方案的流程或方案的產物。（3）此方案有明確的開始時間與結束時間，如此才能夠將成果量化，以進行資料蒐集。（4）有明確的活動參與者，意指圖書館能夠掌握使用者的基本資料，並能夠進一步與其進行研究及資料蒐集。
2、 決定短期及長期成果。在方案內容確認後，再確定方案預定參與者可能獲得之成果，分包括：（1）選擇成果，考慮此方案會為參與者帶來哪些成果。（2）進行測試，測試所選擇的成果是否與方案有邏輯相關。（3）選擇研究要獲致的成果，應具有以下特質：對參與者是有價值的，意即是以使用者需求為基礎，並著重在使用者有重要收穫的層面上；對圖書館是重要的，意即能夠符合圖書館的任務、願景與重點政策；以此方案而言是可達到的，能吸引相關利害關係人並能夠符合當地環境所有情境因素。（4）區分成果的時間性，方案帶來的影響可能會經由時間的推移帶來不同層面的成果，在訂定方案成果時，應考慮為短期或長期成果，如滿意度、對某項服務的覺知、技能的習得可視為最短期的成果，接著是感覺、態度與價值觀的改變，逐漸內化影響個人認知，改變行為，最後是整體狀態的改變。
3、 量化成果。此一階段將成果進行量化，分為數個面向以及指標進行研究資料的蒐集，並再依此些面向分為若干個指標。所謂指標（indicator），係指在特定的評量面向，所包括的各個評量項目，各面向由許多指標所組成。訂定可衡量的指標，需具備三要素：（1）為每一項成果指定指標，此一階段係將成果轉為可衡量的指標，包含：動詞、受詞、量以及時間區四項要素，例如有一推廣閱讀素養的方案，其指標之動詞即為「閱讀」，受詞為讀了什麼，量則指閱讀的多寡，其中受詞及量可依方案本身的訴求以及目標對象有所不同，而有關時間區間的訂定，可以選擇「一段時間」。（2）為指標訂定目標值，此一階段即是訂定方案成功的標準，此一目標值是以數字形式表示，例如百分比或特定數值，目標值會依方案、圖書館以及外在環境等各種因素而有所不同，因此，成果的評比著重於自身的比較與調整，是否能符合圖書館的目標以及讀者需求，而非不同方案或是不同圖書館之間的比較。（3）成果描述，在最後一階段，每一項成果會有一到三項指標及其對應之目標值，此時可對成果進行摘要描述，如此更能完整陳述成果評鑑的架構（Rubin, 2005）。成果描述的結構參見表1。
|
成果組成要素
|
舉例
|
|
使用者/參與者
|
參與此方案的青少年讀者
|
|
指標動詞（可量化的行動）
|
閱讀
|
|
此行動的數量（使用者達成之標準）
|
推薦書單中60%的書籍
|
|
達到標準的使用者人數（方案成功標準）
|
70%的參與者
|
|
時間限制
|
自計畫開始至結束後
|
資料來源：Rubin, R. J.（2005）. Demonstrating results : using outcome measurement
in your library. Chicago, Ill. : American Library Association.
4、 資料蒐集規劃。此階段包括選擇資料蒐集方法以及選擇資料分析方法兩部分。有關資料蒐集方法，在指標訂定後，考量所要蒐集之資訊、活動參與者及其他利害關係人之特質、成本與經費、蒐集以及彙整資料之時間花費等因素，選擇合適且能夠準確蒐集相關資料的方法。例如：檢視現有紀錄；問卷調查法；測驗法；訪談法；軼事證據法；觀察法。再根據研究方法，設計研究之工具。有關資料分析方法，考量採用量化或質化分析方法以及資料分析的步驟（Rubin, 2005）。
5、 準備與實施。此階段在形塑研究實施的流程，以引導方案的實施以及確保實施過程的品質，包括下列步驟：（1）寫下成果評估計畫，制定每一流程之重點項目。（2）與相關研究人員溝通，讓與研究相關之利害關係人瞭解計畫內容與實施方法，並提供需要的幫助。（3）招募並訓練資料蒐集者，使其熟悉研究進行步驟。（4）進行前測，以修正資料蒐集與分析過程中會產生的問題。（5）執行行動方案，將概念與計畫付諸實行（Rubin, 2005）。
6、 研究結果。將蒐集好的資料彙整後，歸納研究結論與建議，對於方案本身，能夠提供方案目標的確定、流程的修正、資源重新配置、研究工具的選用參考。對於圖書館方面，能夠提供下階段計畫、長程計畫、決策、經費爭取等之參考。對參與者方面，更能瞭解參與者與社區的需求，吸引潛在讀者使用圖書館，並持續為其提供適當之資源與服務（Rubin, 2005）。
參考文獻
Posavac, E. J. & Carey, R. G.（2014）方案評估：方法及案例討論（Program
Evaluation: Methods and Cases Studies）（羅國英，張紉譯）。臺北市：雙葉書廊。（原著出版年：2002）
曾淑惠（民91）。教育方案評鑑。臺北市：師大書苑。
曾淑賢（民98）。公共圖書館管理。臺北市：五南圖書。
藍翊萱(2016)。公共圖書館青少年閱讀推廣活動成果評鑑：以臺北市立圖書館為例（未出版之碩士論文）。國立政治大學圖書資訊與檔案學研究所，臺北市。
Cole, N., Walter, V., & Mitnick, E. (2013). Outcome + outreach the
california summer reading outcomes initiative. Public Libraries Online.
Retrieved from http://publiclibrariesonline.org/2013/05/outcomes/
Graduate School of Library and Information Science , Dominican
University (2010). Public Library Summer Reading Programs Close the Reading
Gap. https://www.oregon.gov/osl/LD/youthsvcs/srp.certificates/dominicanstudy.pdf
Durrance, J. C. & Fisher, K. E.(2005). .How libraries and librarians
help : a guide to identifying user-centered outcomes. Chicago, Ill. : American
Library Association.
Kyrillidou, M.(2002). From input and output measures to quality and
outcome measures, or, from the user in the life of the library to the library
in the life of the user. The Journal of Academic Librarianship, 28(1), 42-46.
Hernon, P. & Dugan, Robert E. (2002). An action plan for outcomes
assessment in your library. Chicago, Ill.: American Library Association.
Matthews, Joseph R. (2007).The evaluation and measurement of library
services . Westport, Conn. : Libraries Unlimited.
Matthews, Joseph R.(2013). Evaluating summer reading programs: suggested
improvements. Public Libraries Online. Retrieved from
http://publiclibrariesonline.org/2013/05/evaluating-summer-reading-programs-suggested-improvements/
McNamara, C.(2008). Basic guide to outcomes-based evaluation for
nonprofit organizations with very limited resources. Retrieved from
http://managementhelp.org/evaluation/outcomes-evaluation-guide.htm
Roman, S., Carran, D. T. & Fiore, C. D. (2012). The Dominican study:
public library summer reading programs close the reading gap. Retrieved from
http://gslis.dom.edu/sites/default/files/documents/IMLS_finalReport.pdf
Rubin, R. J.(2005). Demonstrating results : using outcome measurement in
your library. Chicago, Ill. : American Library Association.
Vakkari, P., Aabø, S., Audunson, R., Huysmans, F. & Oomes, M. (2014)
Perceived outcomes of public libraries in Finland, Norway and the Netherlands.
Journal of Documentation, 70(5), 927-944.
Vakkari , Pertti; Sami, S. (2011).Perceived outcomes of public libraries.
Library & Information Science Research. 34, 37-44.
