对基金项目电子评审方式的几点具体建议和看法

 

   化学科学部实行电子方式同行评议已经四个年头了。由于得到同行评议专家的一致好评和广泛的认可及支持,电子评议意见的回收率由最初的52.4%(化学科学三处2000年数据)上升到2003年的99.9%, 加之2003年电子申请书的申报获得成功。项目管理者们在享受电子评议高效、适时和快捷的快乐之时,自然会思考进一步完善电子同行通讯评议系统及基于电子方式评议后能进一步在评审、成果管理方面可开展的工作。基于这两方面,本人想谈几点自己的具体建议和粗浅的看法。

关于进一步完善电子同行通讯评议系统

  1. 目前同行评议专家可通过两种方式获取所指派评审项目的申请书。其一,通过电子邮件的方式。其二,可利用评审系统自动赋予他的密码登陆基金委网站后下载获得。前者对同行评议专家操作计算机的水平要求较高,且要求所用电子信箱的容量足够大。因而一次获取成功的概率较小,容易浪费专家宝贵的时间。即使科学处工作人员通过电话现场指导专家操作,由于步骤烦琐,花费精力很大,仍不能提高成功的概率;而后者仅仅要求专家所使用的计算机内安装有版本足够高的中文Acrobat Reader 软件即可。只要专家输入获取申请书的密码正确,专家一般均可很顺利地获取申请书。鉴于上述理由,建议取消第一种获取申请书的方式,同时完善第二种方式。如在网页比较醒目的位置安排同行评议专家获取打开申请书的密码,避免专家把这个密码与进入同行评议评审系统的密码混淆。
  2. 尽管目前可通过评审系统查知当年委内各学科已经指派给某专家的项目数,然而由于初用此系统的工作人员对其不太熟悉,结果导致从事交叉学科研究的专家评审项目数过多,给这些专家带来较大的负担,势必影响专家评议质量。建议增加一个提示功能,如果指派项目数超过设定值,系统则自动提醒,例如,“已给本专家指派15个项目,还想继续吗?”等提示。
  3. 目前评议意见表中要求专家填写对所评项目研究领域的熟悉程度。评审会上,二审专家往往利用熟悉程度作为此专家的评议意见占综合意见的权重。这种情况要求所有参加同行评议的专家衡量熟悉或不熟悉的尺度一致。可惜的是实际情况并非与此相映。一部分同行评议专家们非常谦虚,即使很熟悉某研究领域,也常常填写“较熟悉”的字样,而有少数专家不管指派他什么样的项目,仍常常看见“熟悉” 的字样。建议取消这种参考意义不大的选择。为了弥补这一点,建议鼓励同行专家拒绝不熟悉项目的指派。由于采用电子申请书申报方式,项目的改派可不费吹灰之力。只要专家评审状态的提醒足够及时和准确,几乎可在同一时刻将拒绝指派的项目改派给另一专家。此外,评议意见表要求专家对资助意见表态,同时要求填写建议资助金额。常常发现有的专家对某项目综合评价为“优”,也同意优先资助,可是建议资助金额处填有“0”的字样;反之一种情况是专家不同意资助,但在资助金额处填有一定的数字。建议系统中将填写“资助意见”和“资助金额”关联起来,如选择了“同意资助”或“可考虑资助”,那么系统再要求填写建议金额,如果选择了“不同意资助”,则系统将资助金额自动赋值为“0”。
  4. 能否保证电子同行评议、评审是否畅通无阻进行的前提是一个完善、准确的专家信息系统。由于专家系统是全委共享的, 这要求各科学处以高度的责任心维护专家信息系统。建议信息中心就保证输入专家信息准确性方面制定相关规则,避免一些初级错误的发生。如同一专家,信息库中有两、三套此专家的信息,只是名字写得不正确或单位、通讯及e-mail地址不同。对于已长久离开科研界,甚至已经离世专家的信息,建议删除;有的同行评议专家由于同时任聘于多家单位,但专家系统中只能填写一个e-mail地址,结果是同行专家不能及时看到信息系统自动发给他的e-mail,提醒他进行同行评议。建议在填写e-mail地址处增加填写多个地址的功能。
  5. 进一步完善科学处对于同行评议专家评审情况的反评估功能。目前系统已具有将某一专家所评几个项目的意见汇总在一起的功能。如果能进一步将专家对项目综合评价用图形显示出来将是锦上添花,如横坐标是优、良、中和差,纵坐标为对映评价的项目数。这样科学处可一目了然地了解同一专家的评审尺度。为了使专家进可能多角度地从学术方面对项目进行客观地评审,因而建议增设一功能,对于过于简单的评审意见,系统拒绝接受!

关于能进一步在评审、成果管理等方面可开展的工作

  1. 电子方式申报申请及基于电子同行评议的顺利进行,有利于各科学处充分利用这些电子文件,开展更透明、细致的工作。化学科学部2003年评审会期间,将申请书和同行评议意见复制于光盘中,每当专家讨论到一具体项目时,申请书或同行评议意见可根据专家要求通过多媒体展示,这样所有评审专家可对项目和同行评议意见有了较全面的了解。如果评审会会场硬件足够好,例如能直接登陆基金委评审系统,那么上述制作光盘的步骤也可省略。
  2. 2003年春季由于SARS突袭北京,根据委领导特事特办的指示精神,化学科学部提出基于ISIS系统网上二次评审预案。该预案主要包括(1)科学处将拟上会讨论的项目申请及同行评议综合意见根据二审专家的专业背景指派与主审专家。(2)科学处将主审专家的意见及科学处对每一项目的综合意见汇总后将所有上会项目二次指派给每位评审专家。(3)评审专家根据上述汇总意见结果投票。(3)科学处会同在京专家汇总投票结果并向各位专家通报最终结果。可以看出,上述预案的缺点是专家间的互动性很差,且处理出现的突发事件效率低。可以设想如果我们ISIS系统能在这方面再有所改观,例如,增设类似BBS形式的功能,那么至少可以尝试预开评审会,可以大幅度地缩短正式评审会上专家间讨论所花费的时间。
  3. 2002年已获批准的项目计划书已采用电子申报的方式,这为将来的项目管理和成果的申报等方面开辟了新的途径。可惜的是去年计划书电子申报的成功率并不高,有的资助单位已申报,但科学处并不能查找到。可能是申报时技术上出现问题。如果信息中心能在技术方面把关,同时科学处对计划任务书的内容把关,将不合格的计划书在网上退回。对于合格的计划书将根据批准号码自动归档。采取上述方式归档的文件可进一步扩展到年度进展报告、结题报告及其它材料,再附加上电子版的申请书和同行评议的综合意见。如果有一天我们的ISIS系统能完善到这种程度,可以乐观地说我们的工作效率又可提高一大步。这时科学处的工作人员可空出时间自我充电或者从事更细致的调查研究工作,以进一步提高我们的管理和业务水平,为基金事业多做贡献。

 

(化学科学部 杨俊林)