高校与工程科研院所联合培养博士生项目质量评估指标体系研究
&&&&2016 Issue (4): 60-66
高校与工程科研院所联合培养博士生项目质量评估指标体系研究
北京大学 教育学院, 北京 100871
基金项目: 中国工程院咨询项目“高校与工程研究院所联合培养博士生评估制度研究-高校与工程研究院所联合培养博士生质量评估的指标体系构建研究”（编号：2015-XY-31-30）
作者简介: 李敏(1985-),女,汉族,云南腾冲人,北京大学教育学院博士后;陈洪捷(1959-),男,汉族,陕西西安人,北京大学教育学院教授,博士生导师
高水平科学研究和高质量研究生教育互为支撑，相辅相成，是高校与工程科研院所联合培养博士生项目实施的初衷。随着联合培养博士生规模的不断扩大，构建科学的评估指标体系对项目实施质量进行评估显得日益重要。在深入调研和听取专家意见的基础上，从培养制度、合作基础、培养措施、培养质量和社会影响五个方面构建了评价高校与工程科研院所联合培养博士生项目质量的三级评估指标体系。
工程科研院所&&&&
联合培养博士生&&&&
质量评估&&&&
指标体系&&&&
一、 研究背景
高等学校和科研院所是我国重要的科研创新主体和人才培养基地，加强两者间科学研究和人才培养的深度合作，是提高国家自主创新能力的有效途径。高等学校与工程科研院所联合培养博士生的试点工作自2010年启动以来，参与试点的工程科研院所和高校数量稳步增长，学科专业范围逐步扩大，联合培养已经初步形成了一定的规模效应。2015年招生计划706人，是第一批联合培养项目招生计划的9.8倍(2010年招生计划为72人)；截至2015年，该项目已经覆盖41所高校，47个工程科研院所，共计114个联合培养项目①，为各高校、工程院所和大型国企培养和储备了一批科学创新能力和工程实践能力兼备的人才。
因此，随着我国高校与工程科研院所联合培养博士生规模的不断扩大，有必要对现行的项目质量进行一次整体评估，即检测联合培养博士生的质量和项目实施状况是否达到联合培养政策所设定的目标。同时，通过全面了解该项目的实施情况，找出不利因素，总结有益经验，对于提高我国联合培养博士生的质量将起到重要的推动作用，有利于进一步完善联合培养项目。更为重要的是，联合培养项目是我国博士生培养模式改革的重要创新，是探讨新型研究生培养模式的突破性举措。为我国培养具有实际操作能力和科学研究能力的高层次应用型工程技术人才提供了新的培养渠道和培养路径；为各教育主体间突破彼此的体制和机制障碍，通过优势互补，共同致力于提高博士研究生培养质量，最终实现互利共赢提供了可能性。如果这一培养思路和培养模式最终被证实是有效和有利的，即该模式所培养的博士研究生质量能够达到或超越预期水平，那就说明我国各教育主体间突破桎梏，共同参与高层次创新人才的培养，最终实现合作发展将成为现实。[]这也意味着联合培养作为一种典型的博士生培养模式将会具有重要的推广价值，能够对新型的博士研究生培养模式提供重要的参考和借鉴意义。因此，构建科学的评估体系对联合培养项目质量进行评价，对在未来协同创新的环境下，鼓励更多的创新主体发挥自身优势与主观能动性，积极参与到高层次人才培养中具有重要的战略意义。
二、 联合培养博士生项目质量评估指标体系设计的原则与重点
指标体系设计的原则
高校和工程科研院所联合培养博士研究生项目，是国家高层次人才培养模式的重大创新，具有鲜明的专业特色。实施联合培养项目的目的有两个，一是科研院所有较高水平的科研项目和科研条件，进行联合培养就是为了将博士论文的研究与现有的科研项目结合起来，以产出一批具有重大影响力的学术成果；二是科研院所普遍缺乏较为完善的课程体系，而高校有系统的课程设置和高水平的师资队伍，联合培养可有利于工程科研院所博士生理论知识的掌握和科研方法的训练。所以，联合培养的优势在于，可将高水平大学的学术训练与高水平科研院所的研究条件结合起来，促进博士生的学术发展和科研训练，提高其培养质量。
因此，指标体系设计的主要原则包括：
针对性原则
评估指标体系必须能够精准地把握联合培养项目的特色。即在评价时，需要针对联合培养模式本身是否具有优越性进行评价，这是评价联合培养项目的根本出发点。能够准确测量联合培养项目是否充分结合了高校和工程科研院所的学术科研优势，是否充分体现了项目的特色，是否完成了项目预期的目标，是否达到了项目的质量要求等。
实践性原则
评估指标体系必须能够以项目实施的实际环境为基础加以制定，具有实践性和可操作性。联合培养项目涉及高校和工程科研院所两个单位多个部门之间的合作，评估指标应做到兼顾各主体的实际工作状况，客观评价各主体的工作效能；同时，评估指标必须易于测量，能够真正运用于联合培养项目质量评估的实际工作当中，成为常态化的测量指标。
导向性原则
评估指标体系必须具有明确的导向作用。评估指标体系的构建不仅要能够准确测量当前项目的实际实施水平，更要具有超越目前项目实施水平的超前性和理想性，在客观评价当前项目实施质量的前提下，能够起到引领项目逐渐向理想状态改进的作用，以达到逐步提高联合培养博士生质量的目的。[]
指标体系设计的重点
根据联合培养项目的实施目的和创新性，对高校与工程科研院所联合培养项目质量进行评估的要点在于，联合培养模式是否体现出区别于一般培养模式的创新性和优越性，是否培养出了具有明显的项目特色和科研优势的学生。具体而言，评估应重点从以下几个方面展开：第一，应充分评估联合培养项目是否以合作课题或项目为基础展开，这是联合培养的基础；第二，联合培养模式是否将高校和科研院所的优势结合起来，既为学生提供了扎实的学术训练和理论学习，又为学生提供了一流的科研项目和科研条件，使博士论文紧密围绕工程研究前沿课题展开，实现资源的最优化配置；第三，联合培养项目实施状况是否良好，管理部门沟通是否顺畅，制度环境是否有利于项目的开展；第四，联合培养的导师是否认真负责地对博士生进行指导；第五，联合培养模式所培养出来的学生，在科研技能和适应工作的能力方面是否优于一般学生；第六，对联合培养所产生的社会效应和社会影响进行评估，以明确联合培养项目对博士生培养模式、学生报考意愿、双方单位等方面所带来的影响和改变。
三、 联合培养博士生项目质量评估指标体系的设计
根据指标体系设计的原则与重点，参照评估指标体系设计的一般准则与方法，以力图全面评估项目质量为出发点，课题组在进行实地调研和访谈的基础上，从投入、过程和产出三个教育活动阶段入手，列出了评估联合培养博士生项目的一系列关键要素；此后，召开了四轮专家咨询会，征询中国工程院、钢铁研究总院、北京科技大学、北京航天航空大学、北京理工大学和北京大学等相关专家和学者的意见，并进行了多次修改和完善，最终确定了联合培养博士生项目质量评估的五个一级指标：培养制度；合作基础；培养措施；培养质量；社会影响。并对这五个一级指标进行逐级分解，确立了高校和工程科研院所联合培养博士生项目质量的三级评估指标体系。
联合培养的长期发展需要有协调有序的顶层设计体系，培养制度是高校和工程科研院所推进联合培养的行动纲领，制定符合项目定位的联合培养制度和支持政策，是推动联合培养有效实施的重要前提。对培养制度的评估，主要从培养制度是否体现了项目的特色；是否有利于项目的顺利实施；是否调动了双方单位的积极性及体现了双方单位的分工与协作；是否有利于保障项目质量等角度展开。根据联合培养的特点，对培养制度的考察应从培养目标、培养方案、招生工作和管理服务四个方面展开。为培养制度三级评估指标体系。
(1) 培养目标
联合培养的人才培养目标应清晰明确，应体现高校和科研院所的合作需求，要能服务行业发展及单位发展。根据前期调研，高校的需求主要包括丰富的科研项目资源、可获得的科研数据和前沿科学研究成果转化平台、学生工程应用实践能力的培养等。工程院所丰富的科研项目和经费来源、丰富的一手科研数据、以实践应用和技术创新促进科研成果的转化等优势能够满足高校的需求。而工程院所的需求主要包括对课程资源、前沿理论指导、优质博士生生源、规范的学术论文指导的需求等。高校完善的覆盖多学科的课程体系；专注于基础前沿科学，既能为博士生培养提供理论指导，也能为工程院所的应用研究提供最新科学前沿发现；以及拥有大批优秀的博士生生源等优势能够满足工程科研院所的需求。双方能够建立起互利互惠的合作关系，是联合培养的基础。因此，对培养目标而言，应具体考察联合培养是否有明确的培养目标；培养目标是否紧密围绕联合培养项目的目的加以制定；培养目标是否具有项目特色，体现双方诉求等方面展开。
(2) 培养方案
根据项目的最初设想，联合培养项目应该制定专门的联合培养方案，对培养过程中各个环节作出明确的规定和要求；应制定培养和学位授予的工作细则，规定学生获得学位需掌握的知识框架和达到的能力要求，以保障培养质量；同时，应有配套的制度措施对学生的培养情况、学术水平等进行客观评价，以检验学生是否达到了联合培养的要求。为此，对培养方案而言，应具体考察对联合培养过程各环节是否有明确的规定和要求，如对课程学习、课题参与、综合考试、开题、答辩、论文、毕业资格等，是否有配套的要求与规定；是否制定培养标准，对联合培养博士生在读期间应当掌握的知识与技能进行具体规定；是否有完善的学生评价制度，以及学生评价制度是否有利于联合培养博士生质量的提高。
(3) 招生工作
招生工作的有序开展是联合培养项目顺利运行的保证。由于联合培养项目的特殊性，对学生的培养是由两个单位共同进行，招生工作同样应该集合两个单位的力量展开，并体现双方单位的招生需求和偏好。因此，对招生工作的评估，不仅要从制度上考察招生工作是否按照联合培养的工作要求科学开展，兼顾双方单位的诉求，也要关注招生过程的公平性和透明性。为此，对招生工作的评估应包括双方单位是否共同发布招生指南或简章；双方单位是否共同进行招生复试；双方单位是否成立了共同的招生工作组；招生工作是否透明公正。
表 1 培养制度三级评估指标体系
一级指标 二级指标 三级指标
培养制度 培养目标 是否有明确的培养目标
培养目标是否紧密围绕联合培养项目的目的加以制定
培养目标是否具有项目特色
培养方案 对培养过程各环节的质量是否有明确的要求
是否制订培养标准以规定联合培养博士生应当掌握的知识与技能
是否有完善的有利于提高联合培养质量的学生评价制度
招生工作 双方单位是否共同发布招生指南/简章
双方单位是否共同进行招生复试
双方单位是否成立了共同的招生工作组
招生工作是否透明公正
管理服务 双方单位是否共同制定了合作协议和联合培养计划
双方单位是否共同制定了专门的联合培养博士生管理制度
双方单位在实际工作中的协调与沟通是否顺畅
表 1 培养制度三级评估指标体系
(4) 管理服务
管理和服务制度的到位，是联合培养能够顺利开展的保障。联合培养项目的管理服务涉及到两个单位的分工与协作，既需要有明确的制度安排，也需要有切实的实施举措。在前期调研中，课题组发现项目直接参与者对项目不满意的最主要原因为联合培养管理制度的不完善。60%的博士生、37.5%的导师和88%的管理人员都认为联合培养的管理制度不健全，譬如对方单位学生的住宿、学生双重学籍、双方学制和时间进度不统一、双方毕业和学位要求不统一等具体问题，管理制度不健全导致管理过程耗费大量时间和精力。因此，在联合培养中，双方单位是否共同制定了合作协议和联合培养计划，共同商讨具体的分工合作事宜；双方单位是否共同制定了专门的联合培养博士生管理制度，包括学籍管理、住宿管理、学位授予、学制安排等；双方单位在分工协作过程中沟通是否顺畅、协调是否有效等问题都应纳入评估范围，以引导高校和工程科研院所逐步完善管理和服务制度。
联合培养的根本目的在于通过科教结合，促进双方进行全方位的科学技术研究合作与交流，催生有重大影响的创新成果。以合作项目为依托，是联合培养实施的基础。《高等学校和科研机构联合培养博士研究生工作暂行办法》(以下简称《暂行办法》)规定：“联合培养合作必须双方具有实质性人才培养和科学研究等方面的合作基础。”然而，前期调研结果显示，55%的联合培养项目没有以合作项目作为基础，缺少专门的培养经费。没有合作项目作为基础，联合培养工作中合作导师的共同指导很难落到实处，也无法实现以联合培养促进协同创新的初衷。因此，对联合培养双方单位合作基础的评估，是评估指标体系设计的重要环节，应从合作课题层次和合作紧密度进行评估。为合作基础三级评估指标体系。
(1) 合作课题层次
对合作课题层次的评估，主要是考察双方单位对联合培养的重视程度以及合作力度。如双方单位以国家重大专项、国家自然科学基金等重大项目为联合培养合作基础，不仅有利于实现联合培养与导师间科研深度合作的有机结合，也有助于合作导师针对科研项目实现共同指导；同时，通过科研项目经费可以解决联合培养的经费问题并形成对导师的实质激励。因此，对合作课题的层次的评估，应从合作基础的立项来源(国家级、省部级、市级)；合作项目的经费来源(纵向或横向)；合作项目的经费数量；合作项目的级别(重大专项、国家自然科学基金等)等方面开展。
(2) 合作紧密度
在对合作课题的层次进行考察的基础上，进一步评估双方单位在合作基础之上的合作紧密程度。对合作紧密程度进行评估，旨在确保双方单位在有合作项目的基础之上，能够切实有效地开展合作工作，并保证联合培养落到实处。因此，合作紧密度的考察不仅应包括联合培养项目是否以双方单位的合作项目为基础，还应包括联合培养项目是否以合作项目经费作为学生的培养经费；同时，联合培养项目合作紧密度的最直观体现就是双方单位的成果署名分配规则，因此，双方单位对联合培养项目所取得科研成果的共享程度也是评估的一个重要指标。
表 2 合作基础三级评估指标体系
一级指标 二级指标 三级指标
合作基础 合作课题层次 合作项目的立项来源(国家级、省部级、市级)
合作项目的经费来源(纵向或横向)
合作项目的经费数量
合作项目/课题的级别(自科、重大攻关等)
合作紧密度 联合培养项目是否以双方单位的合作项目为基础
联合培养项目是否以合作项目经费作为学生的培养经费
联合培养项目取得的成果共享程度
表 2 合作基础三级评估指标体系
培养措施是联合培养项目的关键评估环节，是联合培养过程质量的集中体现。根据联合培养的特点，对培养措施进行评估的关键点在于对学术课程、科研实践和导师的指导与协调的评估。联合培养项目的重点在于整合双方的资源优势，在课程设置、科研训练和导师的指导上进行统筹安排，集合双方单位的优势力量，共同开展培养活动，以达到提高学生理论与实践双重能力的目的。为培养措施三级评估指标体系。
(1) 学术课程
根据联合培养项目的要求，应由高校和科研院所共同为学生开设课程。但调研显示，目前的课程体系中，92%的课程主要由高校开设，仅有8%的课程主要由工程院所开设。在此，并不能主观判断课程主要由高校开设会影响培养质量，对于评估而言，需要客观反映当前的实际情况，也要听取学生对当前课程设置的意见，才能客观判断目前的课程体系是否为学生提供了充足的课程资源，是否保证了学生掌握知识的宽度和接受学术训练的强度。为此，应评估联合培养项目的课程设置是否涵盖学科要求，是否为学生提供了基础理论课、专业课程、方法论课程等完整的课程体系；双方单位开设课程的数量和占比情况；以及联合培养博士生对课程体系及双方单位开设课程的满意度。
(2) 科研实践
科研训练是博士生培养的重要环节。参与科研训练对于博士生培养科研能力、创新能力等均具有重要的影响。工程学科面向应用生产的属性更加强调了实践训练对于工程博士培养的重要性。因此，对学生参与科研实践的质量评估，主要从学生是否能够共享双方的实验条件和实验平台；学生参与课题的层次；学生在科研实践中承担的任务和担任的角色等方面进行。同时，根据《暂行办法》的要求，联合培养更要结合重大科研项目(纵向)，选取在本学科领域具有前沿性和尖端性的重大课题，撰写能在国际著名学术期刊发表的学术论文以及具有原创性理论、方法和技术的学位论文。因此，对博士论文选题是否来源于联合培养科研项目也应在评估之列。
(3) 导师的指导与协调
联合培养项目采取双导师制度，主要包括第一导师和第二导师。按照《暂行办法》的规定，导师组必须整合双方优势共同制定博士生的联合培养方案，并结合博士生学术兴趣和学术专长制定联合培养博士生的培养计划。同时，根据双方导师的特点与专长，对博士生进行科研训练、指导课程学习、培养学术规范与道德，以及进行就业指导等多方面的培养。对导师的指导与协调的评估，既要考察导师之间加强合作，对博士生进行共同指导的力度；也要考察双方导师对博士生指导的数量和质量。因此，可从双方导师是否共同制定学生的培养方案和计划；双方导师对学生的培养情况进行沟通的频次；双方导师共同对学生的学术科研情况进行指导的频次；学生对双方导师指导情况的满意度等方面展开。
表 3 培养措施三级评估指标体系
一级指标 二级指标 三级指标
培养措施 学术课程 课程设置是否系统完整
双方单位分别开设课程的数量和占比
博士生对双方单位开设课程的满意度
科研实践 学生是否能够共享双方的实验条件和实验平台
学生参与课题的层次
学生在科研实践中承担的任务和担任的角色
博士论文选题是否来源于联合培养项目
导师的指导与协调 双方导师是否共同制定学生的培养方案或计划
双方导师对学生的培养情况进行沟通的频次
双方导师共同对学生的学术科研情况进行指导的频次
学生对双方导师指导情况的满意度
表 3 培养措施三级评估指标体系
联合培养项目是国家促进博士生教育改革，提高博士生培养质量的突破口。联合培养是否能提高博士生质量是衡量项目设计是否合理有效的重要指标。因此，对博士生培养质量的考察是指标体系设计的重中之重。联合培养博士生的质量，集中体现在扎实的学术训练和过硬的科研实践能力上，而这两方面素养的高低直观体现在学业表现和工作表现上，即联合培养的博士生，学业质量和就业质量如何，在工作中的表现如何，是否与传统模式培养的普通博士生有较大差别等。联合培养博士生与普通博士生的能力差异，是联合培养项目是否值得推广的直接判断依据。为培养质量三级评估指标体系。
表 4 培养质量三级评估指标体系
一级指标 二级指标 三级指标
培养质量 学业质量 学生的学业成绩
该学年的博士学位授予情况
取得的学术成果
联合培养博士生与普通博士生在能力上存在差异的程度
联合培养博士生理论与实践的双重能力提高的程度
学生自我评价
就业质量 毕业生在联合培养单位(工程科研院所)就业的比例
毕业生就业单位的层次和类型
联合培养博士生就业竞争力优于普通博士生的程度
联合培养博士生在工作中能更快适应工作、接手工作的程度
用人单位的满意度
毕业生的就业满意度
表 4 培养质量三级评估指标体系
(1) 学业质量
对学业质量的考察主要涵盖三层维度：一是客观的学业表现。包括学业成绩、学位授予率和学术成果。学业成绩主要考察学生在学期间所修课程的成绩和学分数；对学位授予情况进行考察，主要是为了对该学年的博士学位授予情况进行评估，从整体上判断该届博士生的培养质量；取得的学术成果是对培养结果的评估，主要从博士生参与的科研项目量、以联合培养博士生署名发表的论文情况、以联合培养身份或单位申请的课题情况、申请专利中联合署名的比例等方面进行考察。二是导师组对学生的评价。导师对所培养博士生的个人情况较为了解，评价更为客观。主要判断联合培养博士生与传统模式培养的普通博士生在能力上存在差异的程度，以及在理论与实践的双重能力上提高的程度。三是学生的自我评价。由学生对自身的科研能力和培养的有效性进行客观评价。
(2) 就业质量
对就业质量的考察也包括三层维度：一是毕业生客观的就业情况。由于联合培养的目的之一是为工程科研院所提供人才，因此毕业生留在参与联合培养的工程科研院所就业的比例是培养质量获得认同的重要标志；同时，通过其他途径就业的毕业生，其就业单位的层次和类型也是就业质量判断的重要指标。二是就业单位对毕业生的质量判断。主要由用人单位对联合培养博士生的就业竞争力和在工作中是否能够更快适应、更快接手工作的能力，以及对工作表现的满意度等方面进行评价。三是毕业生对就业机会、就业环境、就业单位等满意度的判断。
联合培养工作的初衷在于探索博士生教育的新模式和新机制，促进国家创新体制改革和深化研究生教育改革。为此，对联合培养项目实施后的社会影响力进行评估，是判断联合培养模式是否具有推广价值，以及对新型研究生培养模式的构建是否具有参考意义的重要依据。联合培养项目的社会影响，主要包括对培养单位的影响和对研究生培养的外部环境产生的影响。为社会影响三级评估指标体系。
表 5 社会影响三级评估指标体系
一级指标 二级指标 三级指标
对培养单位的影响 联合培养项目是否有利于营造双方单位理论和实践相结合的学术氛围
联合培养项目是否深化了双方单位的合作深度
联合培养项目是否有利于双方单位产出更多的学术和科研成果
培养单位参与联合培养的合作意愿
双方单位是否都受益于联合培养项目，受益程度分别如何
对培养环境的影响 对博士培养模式改革创新的影响，是否给予更多的联合培养名额
是否有更多的学生报考联合培养项目(知名度和吸引力)
是否为我国培养出实用性更强的工程技术人才
联合培养对现有的大学博士生培养模式产生的影响(正面和负面)
表 5 社会影响三级评估指标体系
(1) 对培养单位的影响
对联合培养项目对培养单位产生的影响进行评估，旨在明确联合培养项目是否真正有利于联合培养参与单位的科研产出和人才培养，是否能够真正激发联合培养单位的培养热情，以印证联合培养的质量，进一步调整联合培养项目的实施。因此，主要考察联合培养项目是否有利于营造双方单位理论和实践相结合的学术氛围；是否深化了双方单位在项目合作、师资合作、教师科研合作、单位战略合作、学生学习合作等方面的合作深度；培养单位对参与联合培养的合作意愿；双方单位在学校发展、学科发展、学生发展、项目完成和信息共享等方面的受益程度等。
(2) 对培养环境的影响
培养环境是指联合培养项目实施的政策环境、报考环境、社会支持等外部环境。对培养环境影响力的评估，主要是为了考察联合培养的实施效果是否能够对研究生培养模式产生正面的影响，是否能够成为推动研究生教育改革的新兴力量。如果联合培养项目的实施，能够使更多的学生报考联合培养项目，能够使教育主管部门给予联合培养更多的招考名额，能够为我国工程技术领域培养出更多的实用型人才，能够激发研究生教育领域对联合培养模式的思考和借鉴，则可以说明目前联合培养项目的实施是成功的，能够培养出满足国家经济技术发展需求的高层次工程技术人才，具有重要的推广价值。这将会对我国研究生培养模式的改革产生不可估量的影响作用。
综上，课题组在深入调研的基础上初步设计了《高校与工程科研院所联合培养博士生项目质量评估指标体系》，根据不同的评估要素，由项目主管领导、管理行政人员、导师、学生、用人单位五个评价主体分别对联合培养博士生质量和项目实施质量进行评估。但在实际应用过程中，还存在部分指标难以量化、指标体系较为繁杂等问题；同时，还需要根据考察的侧重点，对指标体系赋予相应的权重。因此，对指标体系的完善和对权重的赋值将是下一步的研究需要深入探讨的问题。
根据“2015年高等学校与科研机构联合培养研究生十点工作专项招生计划”统计，数据来源：.
夏清泉.科研机构与高等院校联合培养研究生的机制研究[D].合肥:中国科学技术大学,2013:4.
刘平, 顾丽琴, 吴旭舟.
研究生培养质量评价指标体系的构建研究[J].
Research on Quality Evaluation Index System for Joint Doctoral Programs by Universities and Institutes of Engineering
CHEN Hongjie
Graduate School of Education, Peking University, Beijing 100871
High-level scientific research and graduate education share mutual and complementary support, which is the original intention of the joint doctoral programs initiated by universities and institutes of engineering. With the continuous expansion of joint doctoral programs, it becomes increasingly important to build a scientific evaluation index system to assess the quality of program implementation. Based on in-depth research and experts' opinions, this paper develops a tertiary evaluation index system with five indicators to assess the quality of joint doctoral programs by universities and institutes of engineering. The five indicators are training system, cooperation basis, cultivation measures, cultivation quality and social impact.
Key words:
universities&&&&
institutes of engineering&&&&
joint doctoral education&&&&
quality evaluation&&&&
index system&&&&