วิวัฒนาการของการประเมินคุณภาพวารสารวิชาการ
The Evolution of Journal Evaluation

โดย  นางรังสิมา  เพ็ชรเม็ดใหญ่
ศูนย์บริการความรู้ทางวิทยาศาสตร์และเทคโนโลยี (STKS)
สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ (สวทช.)
สิงหาคม 2552

 

       ชุมชนวิทยาศาสตร์และเทคโนโลยีโลก ได้พึ่งพาสิ่งพิมพ์วิชาการโดยเฉพาะวารสารวิชาการ (Scholarly Journal ) ให้เป็นแหล่งตีพิมพ์ผลงานเพื่อเผยแพร่  โดยมีการนำเสนอความคิดใหม่ การทดลองใหม่ การค้นพบความรู้ใหม่ หรืออื่นๆ ได้ก่อให้เกิดความเจริญก้าวหน้าในสาขาวิทยาศาสตร์ทั่วโลก วารสารวิชาการส่วนใหญ่มีขนวบการ peer review  และเมื่อพูดถึงวารสารวิชาการที่ทรงอิทธิพลมากที่สุด (most influential journals) นักวิทยาศาสตร์ทั่วโลกต่างพูดทันทีถึงค่า Impact Factor, IF ที่ตีพิมพ์ในบริการชื่อ Journal Citation Report, JCR ของบริษัท  ISI Thomson Reuters เป็นบริการที่มีมาอย่างยาวนานกว่า 50 ปี
       ค่า IF คือ ค่าเฉลี่ยของจำนวนการได้รับการอ้างอิงของบทความในวารสารชื่อหนึ่ง ต่อ จำนวนบทความที่พิมพ์ก่อนหน้านั้น ในช่วง 2 ปี  JCR 2008 (ออกบริการรายปี) ชุดใหม่ล่าสุดที่เริ่มคิดค่า IF แบบช่วง 5 ปี 
ที่ผ่านมามีการนำค่า IF ไปใช้ในทางที่ผิด (misuse)  ซึ่งเป็นการกระทำที่สืบทอดกันมาจากรุ่นก่อนๆ ถือเป็นเรื่องน่ากลัว คือ มีการนำค่า IF ไปวัดถึงบทความที่ตีพิมพ์ในวารสารรวมถึงวัดถึงผู้แต่งหรือ นักวิทยาศาสตร์อีกด้วย
การตัดสินคุณภาพของนักวิทยาศาสตร์เป็นเรื่องยากยิ่ง ต้องในผู้เชี่ยวชาญในสาขานั้นเป็นผู้ประเมินด้วยขนวบการ peer review ประเมินคุณภาพในแต่ละบทความวิจัยโดยตรง
       วิธีการคำนวณหาค่า IF คือวิธีการศึกษาในสาขา Bibliometrics ซึ่งมีคำจำกัดความดังนี้ “The statistical analysis of bibliographic data, mainly in scientific and technical literatures. It measures the amount of scientific activity in a subject category / journal / country/ topic or other area of interest. ”

       นัก Bibliometrician  มีการนำเสนอหน่วยวัดวารสารหลากหลายค่า เพื่อปรับปรุงแก้ไขตามคำวิพากษ์วิจารณ์ ถกเถียง กันในชุมชนวิจัยวิทยาศาสตร์ทั่วโลก  เพื่อให้มีหน่วยวัดหลากหลาย ด้วยวิธีการที่อยู่บนหลักการของ  จำนวนบทความ ( Number Publications) จำนวนการได้รับการอ้างอิง ( Number Citations)  จำนวนการใช้ (Usage) และอื่นๆ มีการสรุปว่า ขณะนี้ ยังไม่มีหน่วยวัดที่สมบูรณ์ เพียงพอ ในการวัดถึงผลกระทบของวารสารที่แท้จริง ค่า IF เป็นเพียงผิวๆ / เส้นรอบวง (periphery) ของตาชั่ง
 ขณะนี้ มีการนำเสนอหน่วยวัดคุณภาพวารสาร ชุดใหม่ ที่ชื่อ Eigenfactor ที่ทำการจัดอันดับวารสารวิชาการที่ทรงอิทธิพลด้วยวิธีการเดียวกับ Google จัดอันดับเว็บไซต์ ด้วยอัลกอธิธัมที่ชื่อ  Network Theory ทำการจัดลำดับวารสารตามอิทธิพลหากมีการอ้างอิงบทความภายในเล่มในจำนวนมากในช่วง 5 ปีที่ผ่านมา

ประวัติพัฒนาการของหน่วยวัด เพื่อประเมินคุณภาพวารสารวิชาการ มีมายาวนานกว่า 50 ปี ตามลำดับเหตุการณ์ที่สำคัญ (Timelines) ดังนี้
ปี ค.ศ. 1960  Dr. Eugene Garfield ได้นำเสนอแนวคิดในการนำข้อมูลการอ้างอิงมาวัดคุณภาพวารสาร โดยตีพิมพ์บทความนำเสนอให้วารสาร Science เมื่อปี 1955
ปี ค.ศ. 1963  เกิดฐานข้อมูล Science Citation Index เป็นการนำเสนอบทความวิจัยวิทยาศาสตร์ที่มีข้อมูลการอ้างอิง
ปี ค.ศ. 1970  เกิดฐานข้อมูล Social Science Citation Index เป็นการนำเสนอบทความวิจัยสังคมศาสตร์ที่มีข้อมูลการอ้างอิง  
ปี ค.ศ. 1976  เกิดบริการ Journal Citation Report, JCR  นำเสนอค่า Journal Impact Factor, JIF
ปี ค.ศ.1980  เกิดฐานข้อมูล Arts & Humanities Citation Index  เป็นการนำเสนอบทความวิจัยมนุษยศาสตร์ที่มีข้อมูลการอ้างอิง  
ปี ค.ศ. 1990 ISI  นำเสนอข้อมูล Indicators datasets & Citation report
ปี ค.ศ. 1995 เกิดบริการแบบเว็บเบส ISI – Web of Knowledge
ปี ค.ศ. 2000 เกิดบริการ Essential Science Indicators, ESI
ปี ค.ศ. 2005 มีการเสนอหน่วยวัดคุณภาพงานวิจัย h index
ปี ค.ศ. 2007  มีการเสนอหน่วยวัดคุณภาพงานวิจัย Eigenfactor Metrics

จนถึงขณะนี้ วงการวิจัยวิทยาศาสตร์ มีหน่วยวัด คุณภาพงานวิจัยวิทยาศาสตร์ หลายค่า ได้แก่
1. Impact Factor, IF (Immediacy index, Cited half life)
2. H index
3. Eigenmetrics
4. Map & Research Fronts
5. Usage Statistics  (ขณะนี้มีการนำเสนอหน่วยวัดที่ชื่อ usage factor ซึ่งกำลังมีการพัฒนาอยู่ที่ Oxford University Press)


จากหน่วยวัด 3 ค่าหลักข้างต้น ทุกๆหน่วยต่างก็ใช้ข้อมูลการอ้างอิง (citation count) เป็นสำคัญ
เหตุผลในการใช้ข้อมูลการอ้างอิง ในการวัด performance ของงานวิจัย คือ
          การอ้างอิงถึงบทความอื่นๆ หมายความว่ามีการใช้ (use)/เป็นการตอบรับ(reception)/ เป็นสิ่งที่มีประโยชน์ (utility)/ การมีอิทธิพล (influence)/ มีความสำคัญ (significance) / มีผลกระทบ (impact) ฯลฯ  แต่ไม่ได้วัดถึงคุณภาพ การประเมินคุณภาพต้องเป็นการตัดสินด้วยมนุษย์เท่านั้น
           ข้อมูลการอ้างอิง เป็นดัชนีชี้ถึงผลกระทบต่อบทความวิจัยและมีผลประโยชน์ต่อชุมชนวิจัยทั่วโลก ถือเป็นการแสดงถึงรูปแบบการตรวจทานที่ยอมรับ (peer acknowledge) จากนักวิทยาศาสตร์กลุ่มงานวิจัยในสาขาเดียวกันนั้น
          ขนวบการ peer review ยังคงเป็นวิธีการรากฐานของการประเมินคุณภาพงานวิจัย ฉะนั้นการวิเคราะห์เชิงปริมาณไม่ควรเข้ามาแทนที่การ peer review  ควรเป็นเพียงสิ่งที่มาเสริมให้สมบูรณ์และใช้ให้ถูกต้องตามแต่ละกรณี
หน่วยวัด citation ดีพอสำหรับการวัด กิจกรรมทางวิทยาศาสตร์ หรือไม่
    Citation metrics มีคุณสมบัติที่สำคัญคือ Transparent โปร่งใส / Repeatable ใช้ซ้ำได้ / Understand  เข้าใจได้
ข้อเด่นในการนำไปใช้  คือ
- สำหรับชุมชนที่ 3 ใช้เป็นหลักฐานที่ชัดเจนได้
- เชื่อถือได้ เพราะมีแหล่งข้อมูลให้ตรวจสอบได้
- ปรับใช้ตามที่ต้องการได้

 โดยหน่วยวัด 3 ประเภทที่สำคัญนั้น อยู่บนหลักการที่อาจแบ่งได้เป็น 3 ประเภท คือ

1. Impact Journal Metrics
- เป็นการนับจำนวนการได้รับการอ้างอิง ต่อจำนวนบทความที่ตีพิมพ์ (ในวารสาร)
- เป็นวิธีที่ง่าย  เข้าใจได้
- เป็นหน่วยวัดที่รู้จักกันเป็นอย่างดี ในชุมชนวิจัยทั่วโลก คือค่า JIF, Immediacy index, Time half life index

2. H  Family

- อยู่บนหลักการเรียงลำดับจากสูงสุดไล่เรียง ของจำนวนบทความตีพิมพ์
- เป็นหน่วยวัดที่ง่าย เข้าใจได้
- สามารถนำประยุกต์ได้กับทุกระดับ คือ วารสาร นักวิทยาศาสตร์ สถาบัน ประเทศ

3. Influence Metric
- เป็นการให้ค่าน้ำหนักในการวัดของโครงสร้างเครือข่ายของการอ้างอิงทั้งหมด
- คิดหน่วยวัดเป็น 2 ค่าหลัก คือ Eigenfactor Influence (EI) / Article Influence (AI)

วิธีการคำนวณหาค่า Journal  Impact Factor, JIF

   คำจำกัดความ  หมายถึงสัดส่วนระหว่าง จำนวนการได้รับการอ้างอิง / จำนวนบทความที่ตีพิมพ์
     JIF =   current year  cites to items published in 2 preceeding years
             Number of  articles (citable items) exclude editorials, letter, news, meeting abs.

   ตัวอย่างที่ 1 แสดงวิธีการคำนวณ 2 years JIF 2007 ของวารสาร A ดังนี้
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2006 =4541 ครั้ง  cites item
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =5827 ครั้ง
                             รวม จำนวนการอ้างอิงถึงวารสาร A ช่วง 2 ปี  = 10368
   จำนวนบทความที่ตีพิมพ์ ปี 2006 = 773  เรื่อง  item published/citable items
   จำนวนบทความที่ตีพิมพ์ ปี 2005 = 837  เรื่อง
                            รวม จำนวนการตีพิมพ์ ของวารสาร A ช่วง 2 ปี = 1610 เรื่อง


                ฉะนั้น ค่า JIF- 2 years ของวารสาร A =  10368/1610
                                                                  
                                                                  =  6.440

   ตัวอย่างที่ 2   แสดงวิธีการคำนวณ 5 years JIF 2007 ของวารสาร A ดังนี้
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2006 =4541 ครั้ง
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =5827 ครั้ง
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =68931 ครั้ง
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =6505 ครั้ง
    มีจำนวนการอ้างอิงในปี 2007 ถึงบทความที่ตีพิมพ์ปี 2005 =5159 ครั้ง
                             รวม จำนวนการอ้างอิงถึงวารสาร A ช่วง 5 ปี  =28925

   จำนวนบทความที่ตีพิมพ์ ปี 2006 = 773  เรื่อง
   จำนวนบทความที่ตีพิมพ์ ปี 2005 = 837  เรื่อง
   จำนวนบทความที่ตีพิมพ์ ปี 2005 = 1003  เรื่อง
   จำนวนบทความที่ตีพิมพ์ ปี 2005 = 970  เรื่อง
   จำนวนบทความที่ตีพิมพ์ ปี 2005 = 957  เรื่อง
                              รวม จำนวนการตีพิมพ์ ของวารสาร A ช่วง 5 ปี = 4540 เรื่อง


                ฉะนั้น ค่า JIF 5 years ของวารสาร A = 28925/4540
                                                                    
                                                                 = 6.371
ประเด็นที่เกิดข้อถกเถียงของค่า JIF  
- Citable items ไม่มีมาตรฐานและคำจำกัดความไม่แน่ชัด
- Citation Pattern ในแต่ละสาขาวิชามีความผันแปรแตกต่างกันอย่างมาก
- การคิดค่า แค่ช่วงระยะเวลาเพียง 2 ปี เป็นช่วงเวลาที่สั้นเกินไป
- ประเภทของบทความตีพิมพ์ (Review, Research article) มีความผันแปรในการอ้างอิงแตกต่างกัน
- คิดค่า JIF เฉพาะวารสาร  ไม่มีสิ่งพิมพืประเภทอืนๆ
- เป็นการวัดที่บิดเบือนของการกระจายตัวของค่าต่างๆ

รูปภาพที่ 1 ข้อมูล JCR 2008
Source :  http://the-aps.org/publications/journals/info/impact_factors.htm
 

ค่า h index

 

    คำจำกัดความ “A scientist has index h if h of his/her np papers have at least h citation each, and the other (Np – h) papers have less than or equal to h citation each”

รูปภาพที่ 2 ค่า h index ของวารสาร Nature ปี 2009
Source : Database Scopus (Subscribed)

   คุณลักษณะของการคิดคำนวณค่า h  คือ
- เป็นการนับรวมทั้งปริมาณ (size) กับผลกระทบ(impact)
- สามารถปรับ ใช้วัดได้กับสิ่งพิมพ์ทุกประเภท
- มีข้อสังเกต ว่าทำไมไม่วัดที่ค่าเฉลี่ย (median)
วิธีการคำนวณหาค่า h ดังนี้  วารสาร Nature ปี 2009 ได้ค่า h = 15  (ณ สิงหาคม 2009)
ทำการเรียงลำดับรายการบทความวิจัย  ตามจำนวนที่ได้รับการอ้างอิงสูงสุด ไล่เรียงลงไป ดังนี้

         Document         

                 Citation              

 1

 34

 2

 25

 3

 23

 4

 22

 5

 21

 6

 21

 7

 20

 8

 20

 9

 19

 10

 18

 11

 16

 12

 16

 13

 16

 14

 15

 15

 15

------------------------------------------------------------------------

               16                                     15                 

อ้างอิงจาก ฐานข้อมูล Scopus  เมื่อวันที่ 24 สิงหาคม 2552

ประเด็นที่เกิดข้อถกเถียงของค่า  h  
- เป็นการตัด / ไม่สนใจบทความที่มีจำนวนการได้รับการอ้างอิงสูง highly cited paper
- วิธีการใช้ ควรนำค่าที่คำนวณได้ไปใช้เปรียบเทียบกับสิ่งอื่นๆ
- ไม่มีกรอบของช่วงเวลา ค่า h มีแต่จะเพิ่มขึ้นเสมอ
- ใช้ค่านี้ เพื่อเป็นการยกย่อง / ชื่นชมแก่นักวิทยาศาสตร์

 

Eigenfactor

Eigenmetrics  ประกอบด้วย 2 ค่า คือ
  EigenFactor Influence  Score (EI) กับ Article Influence Score (AI)


ค่า EI เป็นค่าที่มาจาก
- พิจารณาโดยใช้หลักการ Citation Network เพื่อใช้วัดถึง Citation Influence จัดอันดับวารสารแบบเดียวกับกูเกิ้ล จัดอันดับหน้าเว็บไซต์
- ใช้ข้อมูลดิบจาก JCR ของบริษัท ISI  ในช่วงระยะเวลา 5 ปี
- คิดคำนวณค่าโดยการตัด self citation ออก
- แสดงให้เห็นถึงความแตกต่างของรูปแบบการอ้างอิงในสาขาวิชาต่างๆ
ค่า AI มีคุณลักษณะดังนี้
- เป็นค่าที่ใช้เทียบเคียงกับค่า IF ได้
- เป็นการวัดสัดส่วนของค่า EF ต่อปริมาณจำนวนบทความ


ประเด็นที่ถกเถียงเกี่ยวกับ Eigenmetric
- เข้าใจได้ยาก มีความสลับซับซ้อนมาก
- ไม่มีมาตรฐานในขนาดหรือปริมาณ
- เป็นการวัดระหว่างอิทธิพล (influence) กับผลกระทบ (impact)

 


รูปภาพที่ 3  แสดงหน่วยวัด  EigenFactor ในค่า Eigenfactor score และค่า Article Influence score
Source : www.eigenfactor.org - Free/Open Access

 

สิ่งที่ควรรู้ เมื่อต้องการใช้หน่วยวัดเพื่อการประเมิน
- วิธีการวัด/นับแบบง่าย (simple count) จากจำนวนต่างๆ เช่นจำนวนบทความตีพิมพ์ / การได้รับการอ้างอิง /  ค่าเฉลี่ยการอ้างอิงต่อบทความ ถือเป็นข้อมูลสถิติเบื้องต้นและเป็นพื้นฐาน ที่วัดในช่วงเวลาหนึ่งๆ รวมทั้งมีการใช้ค่ามาตรฐานทางสถิติต่างๆ เช่น ค่าเฉลี่ย  mean / median
- เป็นการวัดข้อมูลในช่วงเวลาหนึ่งๆ (time series data) 1ปี / 5 ปี / 25 ปี
- การวัดแบบคิดเป็นสัดส่วนร้อยละ (percent share)  ของจำนวนบทความ/การอ้างอิง ภายใต้ข้อมูลหลักเช่น สาขาวิชา หน่วยงาน ประเทศ
- ความคาดหวังในความถี่ในจำนวนของการอ้างอิง (expected citation counts) ที่มีต่อบทความ คิดบนพื้นฐาน ต่อปี ต่อวารสาร ต่อนักวิทยาศาสตร์
- สาขาวิชาที่เกิดใหม่ / ที่มีความเข็มแข็ง (emerging field & research strengths) เพื่อให้เข้าใจถึงการเปลียนแปลงรูปแบบการอ้างอิง หรือการอ้างอิงร่วมกันของสาขาวิชาใหม่
- การเทียบเคียงกับค่ามาตรฐาน (benchmarks for context) บนหลักการของสาขาวิชา เทียบในระดับโลก ประเทศ เพื่อให้เห็นผลกระทบ
- ปัจจัยที่มีผลต่อหน่วยวัดคุณภาพขึ้นกับ งบประมาณการวิจัย จำนวนนักวิจัย สิ่งอำนวยความสะดวกในการวิจัย

----------------------------------------------------------------------------------
เอกสารอ้างอิง
Patricia Brennan 2009 “Bridging the Geographic Science Gap : Modes of Quantitative Analysis for Scientific Papers” Presented at the Council of Science
Editors  3 May 2009 available at https://www.councilscienceeditors.org/wp-content/uploads/v32n5p153.pdf

 

 

 

 

 

MTEC
BIOTEC
NECTEC
NANOTEC

tsp

AIMI

nctc

ตราโลโก้ ศูนย์เทคโนโลยีเพื่อความมั่นคงของประเทศและการประยุกต์เชิงพาณิชย์ (Logo of National Security and Dual-Use Technology Center: NSD)

ฐานข้อมูลหน่วยงานภาครัฐ

 
สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ (สวทช.)
เป็นหน่วยงานของรัฐที่จัดตั้งขึ้นเพื่อศึกษาวิจัยและพัฒนาทางด้านวิทยาศาสตร์ และเทคโนโลยีเพื่อการพัฒนาประเทศไทย ไม่ได้มีวัตถุประสงค์เพื่อแสวงหากำไร
หากท่านพบว่ามีข้อมูลใดๆ ที่ละเมิดทรัพย์สินทางปัญญาปรากฏอยู่ในเว็บไซต์ของสำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ
โปรดแจ้งให้ทราบเพื่อดำเนินการแก้ปัญหาดังกล่าวโดยเร็วที่สุดต่อไป