출처 : http://blog.naver.com/edmoon00/70016164305
계량화된 수치가 주는 단순함이 있다. 이를테면 수능 점수나 토익 점수처럼 말이다. 점수는 쉽게 비교할 수 있고 순위를 매길 수 있다. 한 줄로 세울 수 있다면 비교 대상들은 단순히 1차원 공간에 찍힌 점이 된다. 복잡한 세상의 난해한 것들은 한 라인 속에 배치할 수 있다면 꽤 매력적일 것이다.
그 래서 한국 사람들은 수치화된 점수를 좋아한다. 그래서 학술적 연구성과도 점수화하고 싶어할 것이다. 그래서 SCI가 기준이 되고 Impact Factor (IF)가 성적이 된다. 별로 놀랍지 않게도 미국인도 그러하다. 그래서 실용적 이유로 미국인이 그것들을 만들었고 우리는 그것을 가져다 쓴다.
이 글은 SCI와 IF 등의 문제 즉, 학술지에 대한 소위 객관적 평가에 대해 알기 쉽게 설명해보았다.
0. 학술지란 무엇인가.
1. SCI란 무엇인가.
서설이 무지 길었다. 본론으로 들어가자.
Science Citation Index (SCI)는 ISI (Institute of Science Information, 현재 Thomson Scientific 소유)가 1960년부터 내놓은 '상품'이다. 단순 목록은 공짜로 검색되고 상세한 정보는 라이센스를 구입해서 인터넷을 통해 검색하거나 CD나 종이로 인쇄된 것을 살 수도 있다. 도서관을 운영하는 목적 등이 아니라면 굳이 개인이 이걸 살 필요는 없을 것이다. SCI는 사람들이 많이 읽고 연구에 참고하는 과학 학술지들의 리스트라고 보면 된다. 그리고 이 리스트에 JCR (Journal Citation Report, 저널 인용실태 보고서?)이 있고 각 저널별로 IF (Impact Factor)가 매겨져 있다. 사람들은 이것들을 크게 분리해서 부르지는 않는다.
놀 랍게도 SCI는 상품이다. 이것은 한 출판 그룹이 내놓는 또하나의 '출판물'에 불과하다. 다만, 이 출판물은 다른 출판물에 대한 평가와 분석이 들어있다. 이 상품의 기본 철학은 이런 것이다. 세계에는 무지 많은 학술지들이 존재한다. 그리고 그 학술지들이 매년 각각 수십편에서 수백편, 종종 수천편의 논문을 출판해낸다. 그러니 뭔가 정리도 하고 분석도 하고 해야 될 것이다. 그들은 그것을 분석해서 제품으로 내놓았다. 그리고 그것을 구입해서 연구나 도서관 관리 등에 참고하면 된다.
SCIE 는 SCI Expanded 즉, SCI의 확장판이다. 통상 논문지가 SCI라고 할때 굳이 SCI와 SCIE를 구분하지는 않는다. 2005년판을 기준으로 SCI는 3,734 종의 저널이 그리고 SCIE는 6,623 종의 저널이 등재되어 있다. (그리고 아마도 세상에는 그보다 더 많은 수의 저널이 있을 것이다.) SCIE에는 등재되어 있는데 SCI에는 등재되지 않은 논문을 편의상 Non-SCI SCIE 학술지라고 하면, 이들이 SCI가 안되는 이유는 Impact Factor 때문만은 아니다. ISI(Thomson Scientific 사)는 어떤 저널이 SCI에 등재할 것인가에 대한 나름의 룰이 있다. 그래서 그 기준에 부합하지 않지만 중요한 학술지라면 SCIE에만 포함되는 것이다. 중요한 이유중 하나는 학술지가 창간된지 얼마 안된 경우일 것이다. 수년정도의 단기간 내에 높은 Impact Factor를 얻을 수도 있기 때문에 높은 Impact Factor를 가지고 있지만 SCI에 등재할 중요성은 아직 지니고 있지 못하다고 ISI는 판단할 수도 있을 것이다.
장 사가 꽤 잘되었던지 Thomson은 SCI 말고도 다른 '상품'도 가지고 있다. Social Science Citation Index (SSCI)나 Arts & Hamanities Citation Index 도 있다. 뭐 기본적인 성향은 비슷한 것이라고 생각된다. SCIE와 위 두개를 합해서 Web of Science라는 패키지 상품을 판매하는데 기관 라이센스로 인터넷을 통해 위 제품이 제공하는 정보를 열람할 수 있다. 내가 있는 기관이 Web of Science를 구매해서 나는 인터넷을 통해 위 정보를 열람할 수 있는 것이다.
Thomson이 홈페이지에 적은 자기 '상품'의 잠재적 사용자는 다음과 같다고 한다. (http://scientific.thomson.com/products/jcr/)
1. 도서관 사서: "자기들은 논문을 읽지도 않는데도 이 많은 정기 간행물을 관리해야 한다. 그러니 JCR을 사서 참조하시라."
2. 출판업자, 저널 에디터: "자기 저널지의 성과도 참고하고, 경쟁자들의 동향도 파악하고, 최근 어느 분야가 뜨는지 같은 것도 확인할 수 있을테고."
3. 논문 저자들: "과연 이번 연구 결과를 어디에다가 보낼 것인가. 이번 연구결과를 받아줄 적당한 저널은 무엇인가. 내가 쓴 논문이 얼마나 인용되었는가."
4. 정보 분석가들: "..."
주지하다시피 이 상품의 원래 목적과는 달리 SCI와 IF가 연구자의 평가 지표로 많이 활용되고 있다. ISI의 공식적 입장은 이러한 활용에 대해 부정적이다. (속으로는 좋아할 듯 싶다.)
2. Impact Factor (IF) 란 무엇인가.
언 제나 IF와 관련된 논란이 있었다. 왜냐면 이건 구체적 수치이고 점수이기 때문이다. 더구나 편차도 무지 심하다. 가장 높은건 50이 넘을 수 있고 낮은 저널은 1.0도 안된다. 대부분의 저널이 2.0이나 3.0 이하라고 보면 된다. IF라는 용어를 번역하면 파급효과지수 정도인데 그러니까 그 논문지에 실린 각 논문의 파급효과가 그 정도라는 얘기가 된다. 낮은 IF의 논문을 쓰는 사람은 불평을 할 소지가 다분히 있다.
IF는 순전히 각 논문지에 실린 논문이 평균적으로 몇번이나 다른 논문에 의해 참고문헌으로 피인용되었는지를 따지는 수치이다. IF를 매기는 방식은 기본적으로 이렇다. 예를들어 한 논문지에 대한 2006년도의 IF는
IF=(2004, 2005년에 해당 논문지에 출판된 논문이 2006년에 피인용된 회수)/(2006년에 해당 논문지에 실린 논문의 수)
가 된다. 단, 여기서 인용은 SCI 논문지의 논문간에 인용이다. 즉, 쉽게 생각하면 그 논문지에 실리는 논문은 대충 몇번이나 단기간 내에 다른 SCI 논문에 의해 피인용되는가를 나타내는 것이다.
이 지수의 단순성과 객관성은 큰 매력이다. 피인용 회수는 확실히 좋은 논문과 나쁜 논문을 가르는 하나의 기준이 될 법도 하다. 즉, 많이 인용되고 참고된 논문은 뭔가 가치를 더 지니고 있을 법 하다. 최소한 많은 사람이 세세히 읽어줬다는 의미는 되니까.
최 소한 통계적으로는 그러할 것이다. 개별 논문에 대해서 피인용회수를 가지고 평가하는건 부당할 수 있지만 학술지에 대해서는 대체로 학술지가 연간 수백편 이상의 논문을 출판한다는 점에서 통계화된다. 그래서 IF는 논문에 대해서 매겨지는게 아니라 학술지에 대해서 매겨지는 것이다. 그리고 그 학술지가 그 정도 독자층과 평판, 파급효과를 지녔다면 아마도 그 학술지에 발표된 논문도 평균적으로 그럴 수 있다고 판단할 수도 있을 것이다.
3. Impact Factor, 무엇이 문제인가.
이 지수의 명백한 오류는 분야별로 인용 패턴이 다르다는 점이다. 예를들어, 어떤 분야는 연구 주기가 더 길 수도 있고, 단순히 SCI에 등재된 논문지의 수가 적어서 피인용될 확률이 적을 수도 있다. 또한 어떤 논문지는 최종 출판되기까지 너무 긴 시간이 걸려서 피인용될 확률이 줄 수도 있다. 그리고 근본적으로는 피인용 회수는 논문의 질과 직접적인 연관 관계가 있는건 아니다. 피인용 회수가 높다는 것은 단순히 그 분야가 최근 각광받는 분야라는 것을 의미할 수도 있다.
학술지의 출판업자, 에디터들은 자기 학술지의 IF를 높이고 싶을 것이다. IF가 높아야 독자가 몰리고, 논문 기고가 몰리게 된다. 가장 쉬운 방법은 '리뷰 논문' 을 많이 쓰게 하는 것이다. 새로 발견한 학술적 연구 결과를 발표하는 일반 논문과 달리 리뷰 논문은 그동안의 성과를 복습하는 논문을 말한다. 리뷰 논문에는 새로운 내용은 안 들어가 있다. 그리고 리뷰 논문에는 저자 본인이 한 성과 이외에 남들이 한 성과가 (정직하게 인용만 된다면) 함께 정리되어져 있다. 리뷰 논문이 종합 선물 세트인 만큼 일반 논문 보다 피인용률이 높다. 그래서 ISI는 리뷰 논문을 구분해내는 나름의 방법을 사용한다. 이를테면 제목에 review, overview가 들어있거나 참고문헌의 개수가 100개가 넘거나 하면 리뷰 논문으로 간주해서 IF 계산에 넣지 않는다. 그러나 편법은 당연히 가능하다. IF 계산시에 리뷰 논문으로 분류 안되지만 속성은 리뷰 논문인 형태의 논문은 꽤나 흔하게 존재한다.
또다른 방법은 논문 기고를 받을때 자기 학술지 혹은 같은 단체에서 발행하는 형제 학술지를 되도록 더 많이 인용하도록 권하는 것이다. 물론 명시적으로 이런 요구를 하지는 않는다. 그러나 자기 인용률이 더 높은 논문에 가산점을 부여해서 심하할 수 있을 것이고, 이것을 저자들이 암묵적으로 인지한다면 되도록 더 많은 자기 인용을 하게 될 것이다. 이러한 문제 때문에 해당 학술지 내에서 이뤄지는 내부 인용은 상호 인용과 구분되어 통계가 만들어 진다. 그러나 저명 학술지 사이의 모종의 담합이 있을 수는 있다. 그 렇기 때문에 어떤 분야는 다수 학술지를 발행하는 어떤 특정 학술 단체에 의해 IF가 독점될 수도 있을 것이다. 영어권 국가의 SCI와 IF 독점은 부분적으로 독점의 문제로 설명될 수 있다. 만약 영어 학술지에 투고하는 영어로된 학술지에 학국어 논문이나 비SCI 등재 학술지 논문을 참고문헌을 단다면 에디터가 좋아할까. 사람들은 논문을 기고할때, 참고문헌을 정리할때 이 문제를 실제로 고민한다.
피 인용을 기준으로 논문 질을 평가하는 것이 지닌 또다른 함정은 인용자들이 대부분 그들이 인용한 참고문헌을 읽지도 않는다는데 있다! 그건 말도 안되는 일이라고 생각할지 모르지만 실제로 자주 벌어진다. 인용을 한다는 것이 꼭 그 연구결과를 참조했다는 의미는 아니다. 이를테면 단순히 그 분야에서 최근 진행되고 있는 주제들을 환기시키는 목적이라거나 단순히 다른 논문에서 이미 언급된 단편적 사항을 지적하기 위해 그 논문이 인용한 논문을 다시 인용하는 일이 벌어진다.
예 를들어, 실제로 저자들이 참고문헌을 다 읽지 않는다는 위에서 언급한 사실을 나는 경험을 통해서 이미 알고 있다. 그리고 그 사실이 공공연히 얘기되고 있다는 사실을 wikipedia의 글에서 읽었다. 그리고 그 wikipedia의 글은 다시 아래 글을 참고문헌으로 달았다. 나는 그 논문의 제목이 "Read before you cite" 임에도 읽지도 않고 아래에 참고문헌으로 단다.
참고문헌: http://xxx.lanl.gov/ftp/cond-mat/papers/0212/0212043.pdf
이런 식으로 일이 벌어진다. 인용되기 좋은 성격의 논문이 있고 이 논문들은 자주 읽히지도 않으면서 인용되는 것이다.
SCI 와 IF가 도서관 사서가 아닌 과학 기술자 집단 내에서 이슈가 되는 이유는 이것을 기준으로 성과를 평가하는 정책 때문이다. 오직 SCI (SCIE 포함) 등재 학술지에 발표한 논문만을 주요 논문 성과로 인정하고 거기에 IF 합산 점수를 가지고 발표된 논문의 질을 평가한다.
많 은 대학이나 학과에서 SCI 논문 몇편 이상을 졸업 요건으로 걸기도 하고, 경우에 따라서는 IF 몇점 이상을 요구하기도 한다. 이것이 오남용인지에 대한 논란이 계속되고 있음에도 당분간 이런 정책에 변화가 있을것 같지는 않다. 이것은 특히 몇몇 분야의 공학도에게는 큰 압박인 경우가 많다. 그런 분야에서는 졸업때까지 단 한편의 SCI 논문도 쓰기 힘들다. 걔네가 머리가 나빠서가 꼭 아니다. 산업적 연관관계가 큰 분야에서는 논문보다 학회나 특허가 더 중요할 수도 있다.
4. 학술지들: from the top to the bottom.
이 글의 주제가 SCI나 IF에 크게 매달리지 말자는 류임에도 불구하고 몇가지 학술지와 그 IF를 간단히 소개해 본다. 이 글의 독자들이 궁금해할것이 분명하니까. 말초적인 것은 확실히 흥미롭다.
톱이라고 불리는 것부터 나의 분야를 기준으로 낮은 것까지 (너무 낮은건 언급 안 했음.) 차례대로 소개해 본다. 얼마나 다양하고 많은 학술지가 세상에 있는지를 볼 수 있을 것이다.
2005년도 JCR에서 뽑아본다. 아래와 같은 순서로 표기되어져 있다.
학술지명, IF, 연간 논문수
(1) 메디컬은 강하다.
CA-A CANCER JOURNAL FOR CLINICIANS 49.794 20
NEW ENGLAND JOURNAL OF MEDICINE 44.016 308
LANCET 23.878 360
2005 년도 영광스런(?) IF 1등은 CA-A Cancer Journal for Clinicians란 이름부터가 무지 '전문적인' 메디컬 학술지가 차지했다. 1등은 매번 바뀐다. 그러나 대부분 메디컬쪽 학술지가 차지한다고 보면 된다. 의학 분야와 생물 분야는 분명히 다르다. 어쨌든 의학 분야가 1등을 차지하는 이유는 간단하다. 의학 관련 SCI 학술지가 많고, 논문도 많다. 의사들은 전세계에 널려있으니 잠재적 저자도 독자도 많다.
1등이야 고작 논문 20편 밖에 안된다. 주요 학술지라고 말하긴 힘들겠다. 3등을 한 New England Journal of Medicine 정도는 되야 될 것이다. 이 논문은 항상 상위에 랭크되는 IF 면에서 최고급 학술지다.
Lancet 은 17위 밖에 안되지만 언급할 필요가 있는 의학분야 학술지다. 이 학술지는 역사가 200년 가까이 되는 세계에서 가장 오래된 정기간행 학술지다. 학술지는 IF만으로 평가되지 않는다. 역사와 권위 절대 무시 못한다. 여하튼 상위권의 대부분은 의학쪽이라고 보면 된다.
(2) Nature-Science-Cell
Nature 29.273 1065
Science 30.927 827
Cell 29.431 319
대 한민국 과학기술부가 목말라하는 이 3대 학술지는 IF 면에서 최상위는 아니다. 의학분야에 눌려서. 그러나 의학 분야는 엄밀히 말하면 순수 과학과는 거리가 멀다. 그러니 의학 분야를 제외하고나면 위 삼인방이 꽤나 상위권이 된다. (실제로 상위는 아니다.) 그래도 Science 는 6위에 불과하다. 그러나 IF는 IF일뿐. 종합적 권위와 영향력, 커버하는 범위 면에서 Nature와 Science를 넘볼 자는 없는게 현실이다. IF가 어쨌든 그건 중요한게 아니다. 즉, Nature가 IF가 높아서 좋은게 아니라 Nature의 IF가 높아야만 IF가 의미를 지니는 것이라고 말할 수도 있다.
Cell은 생물학에 국한되지만 그래도 많이들 거론하는 저명 학술지다. (순위로는 10위)
네 이쳐는 네이쳐 자체 말고도 많은 자매지가 있다. 그리고 자매지들도 대부분 무지 IF가 높다. 예를들어 NATURE REVIEWS CANCER 는 어머니격인 Nature 자체보다 IF가 높다. 대부분 Nature 자매지라면 매우 좋은 학술지로 간주한다. (Nature 자매지 중에는 생각보다 낮은 것도 있고 아직(?) SCI에 등재되지 않은 것조차 있다.)
IF 가 높은 낮든, 사람들의 평가가 높든 말든. Nature, Science를 바라보는 한국 일반 국민의 마음 속에는 분명 거품이 있는 것으로 생각된다. 잡지는 그저 잡지일 뿐이다. 그리고 이 잡지들은 모든 분야를 골고루 다루는 것도 아니다. 대부분의 분야에서 Nature나 Science는 읽히지도 않는다. 노벨상이든 네이쳐 싸이언스든 한국인은 소위 1등이라는 것에 무지 약한 듯 싶다.
(3) 물리-화학의 톱
" 의학이나 생물학도 과학이냐?" 라고 트집을 잡는 물리학자가 실제로 꽤나 있다. 비하까지는 아니고 전통적인 중요성에 비해 조금 저평가되어져 있다는 비통함과 자존심 때문일 수 있다. 전통적인 과학의 왕자들인 물리와 화학의 IF는 상대적으로 초라하다. 그나마 리뷰 성격이 강한 아래 두 학술지들이 체면 치레를 했다. 8위씩이나 랭크되었지만 논문 양으로 봤을때 Review of Modern Physics는 사실 주요 학술지는 아니다. 이 학술지는 거의 책을 써도 될만큼 긴 분량의 논문으로 유명하다. 사실 제목부터 그렇듯이 리뷰 성격이 강한 논문들이다. 그러니 인용률이 높은게 당연할 것이다. 어쨌든 이런 류의 학술지는 아무나 못 쓴다고 보면 된다. 노친네들을 위한 학술지라고 볼 수도 있다.
REVIEWS OF MODERN PHYSICS 30.254 30
CHEMICAL REVIEWS 20.869 132
(4) 덜 알려진 세미-톱 학술지들
PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES (PNAS) 10.231 3200
Nano Letters 9.847 490
각 분야별로 혹은 전반적인 분야를 다루는 꽤나 괜찮다고 평가받는 학술지들이 있다. PNAS는 미국의 한림원 격인 NAS가 발간한다. 자세히는 모르겠지만 폐쇄적인 성격의 학술지로 사람들에게 알려져 있다. 뭐 공식적인 제한이 있는건 아니다. 읽기도 좋고 권위도 있고. 아무나 쓸 수 있는 학술지와는 약간의 거리가 있어 보인다.
Nano Letters는 뭐 권위가 있다고는 할 건 없는데 이를테면 NT 흐름에 의해 어떤 식으로 새로운 신성들이 뜰 수 있는지를 보여주기 위해 언급해 봤다. 2005년 기준으로 고작 12년의 역사를 가진 "이마에 피도 안 마른" 학술지인데 NT 흐름 속에서 급격히 성장했다. 이름에다가 우린 Nano 아님 안 받아요...라고 써놔서 분야가 어찌보면 굉장히 협소한데도 말이다.
(5) 진짜 중요한 학술지들 - 물리학 관련 기준.
Physical Review Letters (PRL) 7.489 3694
Physical Review D (PR-D) 4.852 2247
Applied Physics Letters (APL) 4.127 4414
학 술지에 논문 쓰는건 상 받는게 아니다. 자기 연구 성과를 누구보다도 자기 분야의 동료들에게 전달하고 평가받는게 핵심이다. 물리학자를 기준으로 하더라도 우선적인 자기 소속분야가 있게 마련이다. 만약 자신의 연구결과가 물리학 전반에 의미를 지닌다고 생각된다면 PRL을 쓸 수 있을 것이다. PRL 정도만 되도 아주 훌륭한 학술지이다. 1년에 4000편 가까이나 논문을 통해내고 IF는 8도 안됨에도 불구하고. 비록 물리학에 국한된 것이지만 그 권위와 의미는 독특한 것이다. APS (미국 물리학회)는 PRL 말고도 다수의 PR 시리즈(PR-A, PR-B, PR-C,...)를 분야별로 내고 있다. 가장 높은게 PR-D였는데 IF 5가 조금 안된다. 실제 물리학자들이 주로 읽고 교류하는 종류의 학술지라고 보면 된다.
APL은 응용 물리학 특히, 물성과 관련된 응용 물리학 분야에서 중요한 학술지이다. 응용 물리학자가 APL을 몇편 썼다면 그는 천재까지는 아니어도 무척 성실한 연구자임에 분명할 것이다.
(6) 한 분야 내에서 주요한 학술지들 - 광학 기준.
Optics Express 3.764 1231
Optics Letters 3.599 985
Journal of Optical Society of America B (JOSA-B) 2.119 319
그 러나 불행히도 내 전공 분야는 광학이다. 광학은 다시 물리학에서도 좀 특이한 하위 분야이고 응용 물리학의 한 부류에 가깝다. 독특한 주제이기 때문에 실제로 대부분의 광학 연구자들은 PRL이나 APL을 쓸 가능성이 낮다. OSA(미국 광학회)와 관련된 몇 종류의 학술지들이 광학 분야의 주요 학술지로 간주된다. Optics Letters는 전통적인 광학 분야 내의 권위지이다. 역사가 10년도 안된 Optics Express라는 특이한 학술지 때문에 광학 분야내의 1등을 내줘야 했지만 Letter의 권위는 더 높다고 봐야 될 것이다. JOSA-A,B는 IF가 높은 것들은 아니지만 역사나 권위 면에서 뒤지지 않는다.
(7) 그 이하의 IF를 가진 학술지들.
광 학분야 내에서도 IF 1.0이나 그 이하의 학술지들이 더 많은건 당연할 것이다. 이런 학술지들은 구독자의 층이나 인용률 등에서 한계를 가진다. 그게 바로 IF가 낮은 이유이기도 할 것이다. 광학 분야에서 가장 낮은 IF를 가진 학술지는 0.252를 가지고 있다.
이 글의 참고문헌
http://scientific.thomson.com/free/essays/journalcitationreports/impactfactor/
IF의 정의와 논란점들에 대한 ISI의 반응이 실린 글이다. ISI의 공식 홈페이지이다.
http://en.wikipedia.org/wiki/Impact_factor
http://en.wikipedia.org/wiki/Journal_Citation_Reports
http://en.wikipedia.org/wiki/Science_Citation_Index
