简介
技术就绪度(TRL)也称技术成熟度,是一种衡量技术发展成熟水平的指标。技术就绪度等级评价在大仪专项中被广泛应用,按一定的量化分级指标衡量仪器在各个研制环节的技术状态。建议项目单位在项目初期梳理满足技术就绪度等级所需完成工作,有序安排项目研制计划。
技术就绪度评价方法与常见问题介绍
鲍黎涛 科鉴可靠性
当前,大仪专项推行的技术就绪度评估和可靠性与工程化两项工作成为整个十三五重点研发计划的亮点,两项工作的顺利开展可较好地解决我国当前普遍存在的科研成果转化和落地的难题。
前面我们已经连续推送了三篇关于可靠性指标考核的文章,本文我们针对技术就绪度做专门讲解。
大仪专项在申报指南中明确要求立项时达到技术就绪度3级,中期达到技术就绪度6级、验收达到技术就绪度8或9级!具体要求见表1。
表1 2018年大仪专项申报指南对技术就绪度的要求
定义 | TRL等级 | 内涵 |
项目 立项 | TRL应 基本满足 3级要求 | 1)原理/理论方法应已清晰并可实现; 2)关键功能和特性已通过验证并具备相关证明材料; 3)项目具有明确的质量可靠性要求与考核验证计划(包括安规、电磁兼容、环境适应性、可靠性、软系统质量); 4)产业化方案考虑了质量与可靠性控制措施与手段; 5)核心部件和成套仪器应提出明确的可靠性指标(平均故障间隔时间低可接收值); 6)项目中技术就绪度有关工作(特别是质量与可靠性有关工作)具有明确的资源规划与资金预算; |
中期 检查 | TRL应 不低于 6级 | 1)完成了部件特别是核心部件研发并经过功能性能验证; 2)完成了成套仪器设备集成通过功能性能测试并现场可运行; 3)项目开发过程文档归档齐全输出了任务书规定的文件成果; 4)项目形成了明确的质量与可靠性工作计划并按照计划执行,完成了规定的可靠性工作项目并输出了相关文件成果; 5)项目基本完成了规定的质量与可靠性设计分析工作,开展了部分质量与可靠性测试与试验工作,文件资料齐全; 6)产品研发过程中的质量问题严格按照故障信息闭环管理系统(FRACAS)进行了故障归零管理并且文件记录详细可查。 |
项目 验收 | TRL 达到8级 | 1)产品技术状态基本固化,工程化后样机台数达到任务书规定要求; 2)产品完成应用开发并按照任务书计划在现场进行了使用,由用户出具了使用评估报告; 3)成套仪器及其研发部件通过第三方具有资质的独立实验室的功能性能测试和质量可靠性测试(涵盖安规、电磁兼容、环境适应性、可靠性以及异地测试、软系统质量测试等),达到任务书规定的要求,能够提供通过专家组评审的测试/试验大纲和第三方具有资质的独立实验室出具的测试/试验报告; 4)核心部件及成套仪器的可靠性指标(平均故障间隔时间低可接收值)通过实验室试验验证和现场使用评估,均达到了要求; 5)产业化准备充分到位,生产设施、仪器设备、保障工具、生产和工艺文件、质量与可靠性控制和检测手段、技术人员数量及技能已经达到生产要求且达到可生产状态; 6)*具备了生产和销售许可所需的资质和能力,建立了质量体系并获得独立第三方认证机构认证; 7)项目所有成果部件和仪器、成果文件、设备购置、检测试验、经费开支等方面均已符合任务书和相关管理规定要求; 8)项目实现了任务书规定的任务期内的销售合同额,具有相关合同证据材料和财务账目证据材料。 |
项目验收 | TRL 达到9级 | 1)技术状态固化,工程化后样机台数达到任务书规定要求,形成批产的终产品; 2)产品完成应用开发并按照任务书计划在现场进行了使用,由用户出具了使用评估报告; 3)项目成套仪器及核心部件通过第三方具有资质的独立实验室的功能性能测试和质量可靠性测试(涵盖安规、电磁兼容、环境适应性、可靠性以及异地测试、软系统质量测试等),达到任务书规定的要求,能够提供通过专家组评审的测试/试验大纲和第三方具有资质的独立实验室出具的测试/试验报告; 4)项目成套仪器及核心部件的可靠性指标(平均故障间隔时间低可接受值)通过实验室试验验证和现场使用评估,均达到要求; 5)产品产业化准备全部到位,所有生产设施、制造设备、仪器设备、工装设备、计量和分析设备等通过大批量生产验证,生产和工艺文件、质量与可靠性控制和检测全部通过大批量生产验证,技术人员数量及技能达到生产要求,具备稳定生产能力,实现批量生产; 6)*具备了生产和销售许可所需的资质和能力,建立了质量体系并获得独立第三方认证机构认证; 7)项目所有成果仪器及部件、成果文件、设备购置、检测试验、经费开支等方面均已符合任务书和相关管理规定要求; 8)项目成果使用说明书、用户手册、维护文档等所有文件齐全; 9)所有制造过程控制在6-σ或相当的质量水平,产线规模满足大批量生产需求; 10)项目形成大批量销售,实现了任务书规定的任务期内的销售合同额,具有相关合同证据材料和财务账目证据材料。 |
随着13.5大仪项目责任专家制的深入管理,通过责任专家们的集体智慧和结合全过程项目管理实践经验,技术就绪度自评估指南文件已在12.5指南文件基础上进行了较大修订,将技术就绪度评价准则更加简洁化和清晰化,很好地解决了要什么和如何评的问题。
技术就绪度的本质是要求按照产品研发流程开展研发工作,识别、管控和解决好关键技术要素,使项目技术就绪度等级达到目标要求。要达到技术就绪度级别要求需要做到亮点:
①加强关键技术要素识别、管控,确保关键技术问题得到有效解决,更好地解决国产化问题和卡脖子技术;
②形成一套设计、工程化、产业化成果文件,使科研成果物更加产品化(包括产品技术规格书、设计方案、工程化图纸、生产制造评估分析、成套工艺文件、实物照片视频及重大应用场景、销售证据等);
③在研发过程中重视质量与可靠性工作(包括功能性能测试、环境适应性验证、可靠性设计分析、可靠性摸底增长、可靠性指标验证等),确保研发成果物质量稳定可靠。
做好以上工作,技术就绪度就自然达到了。
1为什么要尽早梳理技术就绪度工作?
大仪专项指南中要求中期达到技术就绪度6级、验收达到技术就绪度8或9级。因为技术就绪度各个等级评价要素或对象不一样,且技术就绪度等级应逐级评价,原则上不应跨级或跳级评价(除非某一级*无对应对象及评价要素)。所以在中期检查前应逐项说明TRL4、TRL5及TRL6的符合性,结题验收前应逐项说明TRL7、TRL8及TRL9(部分核心部件项目结题要求技术就绪度9级)的符合性。
每一个技术就绪度等级需要有大量成果文件或材料支撑,项目牵头单位若在项目初期梳理好各TRL等级对应所需的成果物清单,并下发给各课题单位,有利于加强项目管理、提升成果物质量,同时避免在临近中期或结题时仓促准备成果材料而导致缺项漏项或材料质量低。
2过往项目就绪度自评价存在的问题
目前12.5项目结题验收和13.5项目中期检查前均开展了技术就绪度自评价工作,根据已有项目检查和验收经验,通常存在以下问题:
1) 项目前期未组织进行系统梳理和统筹。当前绝大多数单位存在这个问题,主要是缺乏经验,不知道怎么梳理和统筹。在项目前期,根据任务书指标表和技术就绪度自评估指南,结合项目任务书和实施方案,牵头单位应组织梳理项目目标成果物并明确责任单位和提交时间节点。在目标成果物梳理过程中,项目牵头单位应初步识别整个项目的关键技术要素,与各课题承担单位进行讨论并由课题承担单位进行必要补充,终确定项目关键技术要素。确定目标成果物清单时应高度关注关键技术要素对应的目标成果物,确保关键技术要素满足对应TRL等级要求,项目牵头单位应将终确定的目标成果物清单分发到各课题进行确认,督促各课题按节点提交。只有这个环节管理好了,项目牵头单位才有工程化和产业化的文件基础,否则,牵头单位的成果物可能会一大片空白!!!
2) 关键技术要素识别不准确和不充分。当研发的目标仪器并非牵头单位从事研制的主要产品时特别容易存在这个问题。解决这一问题的方式除了如上一条所述的初步识别并与各课题承担单位讨论确定关键技术要素外,还可通过两组一委专家或聘请行业内研制和使用目标仪器的专家对项目组确定的关键技术要素进行评审或确认,避免关键技术要素识别不准确和不充分,避免后续项目检查和评审环节被质疑。关键技术要素可包括核心部件、关键工艺、关键器件或材料国产化、核心算法等。关键技术要素识别不准确和不充分,可能导致遗漏的关键技术要素得不到充分管理和较好解决,成为卡住项目进度和达成项目目标的拦路虎。
3) 未逐级评价,直接跨越到目标级别评价。典型常见的错误是中期检查前只针对TRL6的要求进行符合性说明。由于TRL6是针对系统级(原理样机级)进行评价的,若只针对TRL6进行说明,会忽略TRL4(核心部件级)和TRL5(分系统级)的工作,导致关键技术要素(核心部件)研制不力,造成项目延误或目标实现困难。正确的评价方式应该是逐级分析TRL4(核心部件级)、TRL5(分系统级)、TRL6(系统级)。
4) 评价准则的删减较为随意,缺乏证据。对于技术就绪度评价指南中规定的各级别评价准则,具体到各单位的仪器,有一些条款可能不适用,典型的错误是在进行技术就绪度自评价时将部分条款直接删除。根据指南中的规定,应成立评价专家组,针对不适用的条款,应由评价专家组审查同意后方可删除,应将审查意见及记录进行存档,作为技术就绪度自评价报告的附件。
5) 证明文件材料错误或缺失,补做文件痕迹明显。出现这个问题的主要原因是课题单位对各技术就绪度等级的具体要求未理解透彻,导致提供了错误的证明材料,或产生缺项;另一方面,课题单位往往在临近检查前才开始清理技术就绪度评价材料,此时发现缺项,会来不及准备。部分证据文件明显为后补文件,并不是随着研发流程产生,文件质量明显偏低。
6) 文件质量不高。典型问题:①文件不规范,没有充分展开,措施没有落实。比如故障报告、分析和纠正措施系统(FRACAS),虽然形成了规范和记录表格,但没有按要求及时填写产生相关记录,没有实际地运行FRACAS系统。②工作未落地,仅能代表提了要求,不能代表执行了。比如供应商管控,虽然提了要求,但没有形成供应管理文件及协议等证明材料,比较空洞。
3技术就绪度评价流程
根据技术就绪度评价方法指南给出的仪器专项技术就绪度评价流程如图2所示。
图2仪器专项技术就绪度评价流程(指南给出)
根据《技术就绪度评价方法指南》,结合指南对被评单位(自评估工作组)、TRL评价组赋予的责任分工定义,科鉴可靠性给出符合指南、更详细、可操作的大仪专项自评估和评价操作方法如下:
1)建议在项目前期由项目牵头单位组织成立自评估工作组和TRL评价组,建议将自评估工作组名单和TRL评价组名单上报责任专家进行确认,征求责任专家意见并进行必要调整,在项目中期前和验收前,两个组交互工作共同做好技术就绪度自评估和评价工作。
2)由项目牵头单位组织课题承担单位成立项目技术就绪度自评估工作组(包括项目和课题负责人、质量负责人及核心管理骨干和技术骨干,均属于指南的被评单位范畴)共同进行技术就绪度自评估工作,其工作主要是确定评价标准细则、确定关键技术要素、编写自评价报告,并提交报告给TRL评价组审查。为保障自评估工作顺利开展,还可聘请外部熟悉技术就绪度评价工作的专业服务机构人员纳入自评估工作组中,起到指导、协助和提前把关自评估工作和报告的作用。
3)项目牵头单位聘请成立的项目技术就绪度评价组(即指南中的TRL评价组),主要由总体组和同行专家(建议优先在用户委员会和技术专家组中选择,其次可选择未列入支撑组的外部专业服务机构人员)组成,其工作主要是负责审查评价标准细则、审查自评估报告、核定TRL等级。TRL评价组给出项目技术就绪度等级核定结果、现场检查TRL问题清单。实际上TRL评价组为*高技术研究发展中心负责仪器专项技术就绪度评价的管理,发挥重要的把关和审查作用。
4)自评估工作组和TRL评价组应结合技术就绪度各等级的定义、评价准则及修改的细则,针对核心部件级、分系统样机级、系统样机级、工程样机级、产品鉴定级、产品应用级6个层次,从技术状态、制造状态、项目规划3个维度进行技术就绪度自评估和评价。自评价和评价的交互流程见图3。
图3 技术就绪度自评估与评价交互流程
5)TRL评价组审查完成后,项目牵头单位将TRL评价组终审定的项目技术就绪度等级、现场检查TRL问题清单,以及自评估组根据审查意见修改完善后的自评估报告,提交*高技术研究发展中心。
4技术就绪度自评价报告编写
一、项目概况
1.1 项目目标
【介绍项目的概况,包括项目研究目标、主要功能(包括主要组成、主要工作原理等)、主要技术指标、成果形式等。】
示例:
1.2 项目总体进展情况
【简要描述项目的研究与开发组织实施情况、现状。简要阐述项目研究状态、取得的成果、达到的技术指标、试验验证情况以及保障条件等。】
示例:
二、评价实施概况
2.1 评价工作组
成立自评估工作组和TRL评价组,专家信息见下表。
自评估工作组 | |||||
角色 | 姓名 | 职务/职称 | 专业及特长 | 工作单位 | / |
组长 |
|
|
|
|
|
成员 |
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
| |
|
|
|
|
| |
TRL评价组 | |||||
角色 | 姓名 | 职务/职称 | 专业及特长 | 工作单位 | 联系 |
组长 |
|
|
|
|
|
成员 |
|
|
|
|
|
|
|
|
|
| |
|
|
|
|
| |
|
|
|
|
|
【评价工作组的人员组成参见本文第3部分“技术就绪度评价流程”。】
2.2 评价工作执行情况
【说明评价工作启动情况、自评价阶段和评价工作总结阶段的时间进度、负责人、参与人、起始及结束日期、成果形式等。】
时间进度 | 工作内容 | 成果形式 | 负责人 |
X年X月 ~ X年X月 | 成立评价工作组,制定评价工作分工及计划 | 自评估工作组、TRL评价组成员名单; 技术就绪度评价分工表; 技术就绪度评价计划表。 |
|
X年X月 ~ X年X月 | 确定评价细则和关键技术要素 | 各等级评价细则; 关键技术要素清单。 |
|
X年X月 ~ X年X月 | 自评估工作组编制自评价报告 | 技术就绪度自评估报告 |
|
X年X月 ~ X年X月 | TRL评价组审查 | 审查意见; 问题清单。 |
|
X年X月 ~ X年X月 | 根据TRL评价组意见进行修改,并对就绪度自评价报告进行定稿 | 终版技术就绪度自评估报告 |
|
三、关键技术就绪度评价
3.1 项目结构分解
【给出完整的项目结构分解结果,可参考本文5.1节。】
3.2 关键技术元素清单
【给出关键技术元素清单。】
示例:
3.3 关键技术元素1
3.3.1 综述
【给出该关键技术就绪度的自评价结果,简要说明能该关键技术达到该TRL级别的理由。可参考技术就绪度等级评价细则,例举针对该关键技术完成的工作,说明其已经完成相应等级所要求的工作。针对核心部件,适用TRL4评价准则;针对分系统,适用TRL5评价准则;针对系统原理样机,适用TRL6评价准则……每一个关键技术完成自评价后,应填写如表2所示的自评价信息表】
表2 自评价信息表
TRL N(N即TRL等级) | |||
产品名称: | 给出被评对象名称 | ||
等级评价细则 | 评价细则的实现情况 | 证据名称 | 符合情况 |
对应等级 评价细则 | 对照评价细则逐条说明对评价细则要求的实现情况。 | 列出能够支撑实现情况的有关证据名称。 | 给出是否符合评价细则要求的结论:符合;基本符合;不符合。 |
|
|
|
|
|
|
|
|
自评价结果 | 经评价,该对象达到了TRL____级。 具体评价计算方法参见附录X | ||
存在的问题 | XXX | ||
主要问题和技术 风险分析 | 列出主要问题,并在此基础上进行技术风险分析,重点识别高技术风险因素。 | ||
技术风险 控制措施 | 针对高技术风险因素,从管理、技术、资金、周期等方面提出控制技术风险主要措施。 | ||
技术就绪度 提升建议 | 如何提升该对象的技术就绪度,给出合理化建议。 | ||
综合评价 | 综合总结上述各点,形成评价结论。 | ||
填表人 |
| 填表日期 |
|
3.3.2 确定等级的分析说明
【针对自评价结果,对照相应的技术就绪度等级评价细则,逐条说明符合情况,详细说明关键技术能达到该TRL级别的理由。】
3.3.3 技术发展风险分析
【说明存在的主要问题,并对技术风险进行分析。】
示例:
3.3.4 后续工作需要关注的问题
针对技术发展风险,列出后续工作需要关注的问题,包括:
(1)技术风险控制措施;
(2)提升技术就绪度的建议。
示例:
3.4 关键技术元素2
……
四、项目综合评价
【根据各关键技术就绪度的评定等级,综合分析项目的技术状态、存在的主要技术问题,形成评价结论,并提出后续工作建议。】
示例:
附件:证据材料
【将技术就绪度自评价过程中引用的所有报告以附件的形式列出,由于证据材料繁多,为方便查找,可按类别进行归类,如成套设计文件、成套工艺文件、成套软件开发文件、自测试文件、第三方测试文件、用户开发与证明文件、可靠性与维修性信息、项目管理文件、财务管理文件。应列出详细成果文件清单,供TRL评价组查询证据。】
5技术就绪度成果物管理
5.1产品构型树
在梳理技术就绪度成果物之前,课题单位应对产品做结构分解(WBS)工作,按系统-分系统-核心部件-功能模块对项目进行分解,针对这些对象开展具体工作。
5.2技术就绪度评价要求对应证据文件梳理
根据各级别的内涵要求,梳理出相应的证明材料清单。TRL4~TRL9对应的证明材料可参考表3~表8进行准备。
【技术就绪度评价方法指南中虽然列出了每一项检查内容的分值,但并未对合格分数做出规定,建议每个TRL等级的总分达到80分以上。】
表3 TRL4证据文件梳理
TRL四级——核心部件级 | ||||||
编号 | 维度 | 检查内容 | 满足程度 | 分值 | 证明材料 | 开展模式 |
4.1 | 技术状态 | 完成各功能部件原理样机开发 | □*符合(完善的基于核心模块的功能部件开发方案,包括硬件、软件、可靠性、环境适应性等,形成实物) □符合(基本完善的基于核心模块的功能部件开发方案,初步形成实物) □不符合(未完成实物) | 10 | 1.《核心部件技术规格书》——涵盖技术指标、软硬件、接口要求、质量要求等; | 自行开展 |
4.2 | 各功能部件通过仿真或实验室(简化环境或可控环境下)功能性能测试 | □*符合(测试结果满足各项功能要求) □符合(测试结果满足各项主要功能要求) □不符合(测试结果不满足要求或未开展测试) | 30 | 《核心部件功能性能测试大纲》 | 第三方测试 | |
4.3 | 通过可靠性分析验证功能部件原理样机预期可靠性水平 | □*符合(可靠性预计过程合理,结果满足要求,有文件证明) □符合(可靠性预计过程合理,结果不满足要求,但有合理改进方向,有文件证明) □不符合(未开展) | 20 | 《核心部件可靠性指标预计报告》 | 可第三方支撑 | |
4.4 | 初步制定软件系统架构,完成了核心软件模块的编码,实现预期功能 | □*符合(系统架构完善,软件编码规范,完成基础测试) □符合(系统架构基本完善,软件编码基本规范,未完成基础测试) □不符合(无) | 20 | 1.《核心部件软件需求分析》; | 自行开展 | |
4.5 | 制造状态 | 确定部件制造需求(包括部件生产所需设备、测试工装用具、人员技能等) | □*符合(部件制造需求考虑充分,已具备能力) □符合(部件制造需求考虑比较充分,具备部分能力,并制定了完善计划) □不符合(未分析) | 10 | 1.《核心模块制造需求分析报告》——涵盖所需场地、设备、工装夹具、测试仪器设备、人员技能的分析。 | 可自行开展 |
4.6 | 确定部件关键制造工艺 | □*符合(完成部件关键工艺识别,有归档文件证明) □符合(基本完成部件关键工艺识别,有文件证明) □不符合(未开展) | 10 | 核心部件工艺文件——涵盖工艺流程、关键工艺识别(原因说明)、关键工艺清单、各个关键工艺控制要求。 | 可自行开展 |
表4 TRL5证据文件梳理
TRL五级——分系统级 | ||||||
编号 | 维度 | 检查内容 | 满足程度 | 分值 | 证明材料 | 开展模式 |
5.1 | 技术状态 | 完成中等逼真程度的分系统级原型样机设计 | □*符合(完善的开发方案,包括硬件、软件、可靠性、环境适应性等,形成实物) □符合(基本完善的基于核心模块的功能部件开发方案,初步形成实物) □不符合(未完成实物) | 10 | 1.《分系统技术规格书》——涵盖技术指标、软硬件、接口要求、质量要求等; | 自行开展 |
5.2 | 分系统级原型样机通过仿真或试验验证(接近于真实应用条件的实验室环境)测试 | □*符合(测试结果满足各项功能要求) □符合(测试结果满足各项主要功能要求) □不符合(测试结果不满足要求或未开展测试) | 30 | 《核心部件功能性能测试大纲》 | 第三方测试(如在指标表中) | |
5.3 | 开展分系统级原型样机可靠性设计、试验工作 | □*符合(开展了FMEA、可靠性仿真、可靠性强化试验等工作,薄弱环节得到改进) □符合(开展了FMEA、可靠性仿真、可靠性强化试验等部分工作,薄弱环节尚未改进) □不符合(未开展) | 20 | 1.《分系统可靠性建模与指标分配报告》; | 可第三方支撑 | |
5.4 | 完成了分系统级软件模块的编码,实现预期功能 | □*符合(软件编码规范,实现预期功能) □符合(软件编码基本规范,基本实现预期功能) □不符合(无) | 10 | 1.《分系统软件代码集》; | 可自行开展 | |
5.5 | 完成对单项软件模块的“Bug”测试 | □*符合(测试充分且修复部份Bug) □符合(测试基本充分,Bug拟定修复计划) □不符合(无) | 20 | 《分系统软件测试报告》——应包含问题报告与纠正措施表、回归测试。 | 第三方测试(如在指标表中) | |
5.6 | 制造状态 | 确定分系统级原型样机关键制造工艺 | □*符合(形成相关工艺设计文件,受控) □符合(形成相关工艺设计文件,未受控) □不符合(无) | 5 | 分系统工艺文件——涵盖工艺流程、关键工艺识别(原因说明)、关键工艺清单、各个关键工艺控制要求。 | 可自行开展 |
5.7 | 完成分系统样机所需生产线的评估(包括部件生产所需设备、测试工装用具、人员技能等) | □*符合(完成评估,并已具备能力) □符合(完成评估,具备部分能力,并制定完善计划) □不符合(无) | 5 | 《分系统生产评估报告》——包括所需场地、设备、工装夹具、测试仪器、人员技能等需求) | 可自行开展 |
表5 TRL6证据文件梳理
TRL六级——系统级 | ||||||
编号 | 维度 | 检查内容 | 满足程度 | 分值 | 证明材料 | 开展模式 |
6.1 | 技术状态 | 完成系统级原型样机设计,样机技术状态接近终状态 | □*符合(样机结构、对外接口、主要运行环境应力明确,功能性能达到设计要求) □符合(样机结构、对外接口、主要运行环境应力基本明确,功能性能基本达到设计要求) □不符合(未完成) | 10 | 1.《系统技术规格书》——涵盖技术指标、软硬件、接口要求、质量要求等; | 自行开展 |
6.2 | 系统级原型样机通过功能性能测试(接近于真实应用条件的实验室环境) | □*符合(测试结果满足要求) □符合(绝大部分测试结果满足要求) □不符合(测试结果不满足要求或未开展测试) | 30 | 《核心部件功能性能测试大纲》 | 第三方测试 | |
6.3 | 完成系统级软件开发,并通过测试 | □*符合(测试充分且修复部分Bug) □符合(测试基本充分,拟定Bug修复计划) □不符合(无) | 20 | 1.《系统软件代码集》; | 第三方测试(如在指标表中) | |
6.4 | 完成可靠性摸底测试 | □*符合(完成测试,薄弱环节得到改进) □符合(完成测试,薄弱环节得到分析) □不符合(测试不规范,故障未处理,或测试未开展) | 15 | 1.《系统环境试验大纲、报告、视频照片》; | 第三方测试(如在指标表中,不在表可自测试) | |
6.5 | 制造状态 | 明确终生产质量与可靠性控制水平 | □*符合(有相应指标要求,指标有依据) □符合(有相应指标要求,指标无依据) □不符合(测试不规范,故障未处理,或测试未开展) | 5 | 《系统产品出厂测试要求》——有明确定量和定性要求、测试试验要求、故障处理要求。 | 自行开展 |
6.6 | 基本确定系统级原型样机工艺流程,工装夹具制造工艺成熟 | □*符合(完成夹具制造,充分验证工艺,并形成归档文件) □符合(完成夹具制造,基本验证制造工艺,有文件证明) □不符合(未完成) | 10 | 《系统工艺文件》——涵盖工艺流程、关键工艺清单、各个关键工艺控制要求。 | 可自行开展 | |
6.7 | 项目规划 | 建立可靠性、维修性数据收集系统 | □*符合(建立FRACAS或完整数据信息收集系统,并有可靠性强化试验、可靠性摸底试验等过程数据记录) □符合(建立初步FRACAS或完整数据信息收集系统,未收集数据) □不符合(无) | 10 | 1.《故障报告、分析和纠正措施系统(FRACAS)运行规范》; | 可第三方支撑 |
表6 TRL7证据文件梳理
TRL七级——工程样机级 | ||||||
编号 | 维度 | 检查内容 | 满足程度 | 分值 | 证明材料 | 开展模式 |
7.1 | 技术状态 | 完成工程样机,技术状态基本固化 | □*符合(工程样机整体结构和接口都高度接近终产品状态,无设计更改) □符合(工程样机整体结构和接口接近终产品状态,可能还有少部分设计更改) □不符合(未完成) | 10 | 1.《系统技术规格书》——涵盖技术指标、软硬件、接口要求、质量要求等,与工程样机状态一致; | 自行开展 |
7.2 | 完成工程样机功能性能验证测试 | □*符合(第三方完成测试,测试结果符合要求) □符合(第三方或自测试,测试结果主要功能性能符合要求) □不符合(未完成) | 30 | 《系统功能性能测试大纲》 | 第三方测试 | |
7.3 | 完成工程样机可靠性、环境适应性等指标验证测试 | □*符合(第三方完成测试,测试结果符合要求) □符合(第三方或自测试,测试结果部分符合要求,不符合部分有改进方案) □不符合(未完成) | 20 | 1.《系统环境试验大纲、报告、视频照片》; | 第三方测试 | |
7.4 | 工程样机在应用单位开展应用实验 | □*符合(有多台开展应用) □符合(有应用) □不符合(未完成) | 10 | 1.《用户应用报告——XX公司》; | 用户提供并签字盖章。尽可能多。 | |
7.5 | 在使用环境中的处理器上运行软件程序 | □*符合(无影响功能Bug出现) □符合(出现的绝大部份Bug已修复) □不符合(未完成) | 10 | 《系统软件测试报告》 | 第三方测试 | |
7.6 | 制造状态 | 设定制造工艺基线,初步验证工艺流程 | □*符合(有归档文件证明) □符合(有初步文件证明,未归档) □不符合(未完成) | 5 | 1.工程化工艺方案——涵盖工艺流程、关键工艺清单、各个关键工艺控制要求; | 自行开展 |
7.7 | 在生产条件下验证工装夹具和检验/测试设备,完成小批量试生产准备 | □*符合(产线、人员、测试设备、工装夹具、工艺规范等均充分准备到位) □符合(产线、人员、测试设备、工装夹具、工艺规范等基本准备到位) □不符合(未完成) | 5 | 批产准备工作评估分析报告——涵盖产线、人员、测试设备、工装夹具、工艺规范。 | 自行开展 | |
7.8 | 项目状态 | 应用开发基本完成,可靠性、维修性数据收集系统运行良好 | □*符合(应用现场或实验过程的可靠性、维修性数据得到完整收集和分析) □符合(收集部分应用现场或实验过程数据,开展了初步分析) □不符合(无) | 10 | 1.《应用开发方案》; | 自行开展 |
表7 TRL8证据文件梳理
TRL八级——鉴定级 | ||||||
编号 | 维度 | 检查内容 | 满足程度 | 分值 | 证明材料 | 开展模式 |
8.1 | 技术状态 | 终产品集成完成 | □*符合 □符合 □不符合 | 10 | 1.《系统技术规格书》——涵盖技术指标、软硬件、接口要求、质量要求等,与终样机状态一致; | 自行开展 |
8.2 | 产品在现场实际环境条件下充分试验运行正常 | □*符合(现场运行良好,可靠性高) □符合(现场应用良好,偶尔有不影响用户使用的故障) □不符合(无) | 20 | 1.《系统环境试验大纲、报告、视频照片》; | 第三方测试 | |
8.3 | 完成所有软件测试/验证与确认 | □*符合(有归档文件证明) □符合(有初步文件证明,未归档) □不符合(无) | 20 | 《系统软件测试报告》。 | 第三方测试 | |
8.4 | 制造状态 | 建立产品关键原材料供应链 | □*符合(除特殊情况外,每种关键原材料2家以上供应商) □符合(供应商可正常供货) □不符合(无) | 20 | 1.系统物料清单(包括元器件、材料)(BOM表)【六级时就有】; | 自行开展 |
8.5 | 所有的制造设备、工装、计量和分析系统就绪,批量生产准备完毕 | □*符合 □符合 □不符合 | 20 | 系统生产能力评估报告。 | 自行开展 | |
8.6 | 项目规划 | 完成产品使用维护说明书,完成软件用户手册 | □*符合(有归档文件证明) □符合(有文件证明,未归档) □不符合(无) | 10 | 1.《系统使用维护说明书》; | 自行开展 |
表8 TRL9证据文件梳理
TRL九级——产品级 | ||||||
编号 | 维度 | 检查内容 | 满足程度 | 分值 | 证明材料 | 开展模式 |
9.1 | 技术状态 | 仪器产品成功交付用户完成实际任务 | □*符合(有销售合同,交付用户使用,并在完成实际任务过程中充分验证功能、性能、可靠性等) □符合(有销售合同,交付用户使用,基本完成任务) □不符合(无) | 40 | 1.《用户应用报告——XX公司》; | 用户提供并签字盖章。尽可能多。 |
9.2 | 制造状态 | 稳定生产,产品合格率和返修率在控制水平内 | □*符合(有销售合同、返修率统计等文件证明,水平较高) □符合(有销售合同、返修率统计等文件证明) □不符合(无) | 60 | 1.销售合同、发票汇总清单以及明细证据; | 自行开展 |
5.3以目标成果文件为中心的项目管理
在梳理完各级别对应的证明材料后,由于不同评价项目的证明材料可能是一样的,所以可以将证明材料进行制表汇总,按不同对象下发到各课题承担单位进行编写或准备,同时也便于进行项目管理。以目标成果文件为中心的项目管理可以见下表9。
表9 以目标成果文件为中心的项目管理
序号 | 证据 索引号 | 类别 | 文件名称 | 文件要素 | 核心部件 | 分系统 | 系统 | 工程样机 | 对应级别 | 中期检查 | 结题验收 | 责任单位 |
1 | 4.1;5.1;6.1;7.1;8.1 | 硬件 | XX技术规格书 | 涵盖技术指标、软硬件、接口要求、质量要求等; | √ | √ | √ | √ | 4/5/6/7/8 | √ | √ |
|
2 | 4.1;5.1;6.1;7.1;8.1 | 硬件 | XX设计方案 | 4、5、6级课题单位提供; | √ | √ | √ | √ | 4/5/6/7/8 | √ | √ |
|
3 | 4.1;5.1;6.1;7.7;8.1 | 硬件 | 设计图纸 | 4、5、6级设计图纸; | √ | √ | √ | √ | 4/5/6/7/8 | √ | √ |
|
4 | 4.1;5.1;6.1;7.1 | 硬件 | XX设计方案评审意见 | 包括评审意见、签字表等 | ○ | ○ | ○ | ○ | 4/5/6/7 | √ | √ |
|
5 | 4.1;5.1;6.1;7.1; | 硬件 | XX实物照片 |
| √ | √ | √ | √ | 4/5/6/7 | √ | √ |
|
6 | 4.2;5.2;6.2;7.2 | 硬件检测 | 功能性能测试大纲和报告 | 经过评审,第三方测试(缺失国内无法测试指标,仿真分析、补充计算分析报告) | √ | √ | √ | √ | 4/5/6/7/8 | √ | √ |
|
7 | 5.3 | 硬件 | 可靠性指标分配 |
| ○ | ○ | ○ |
| 5/6 | ○ | ○ |
|
8 | 4.3;5.3 | 硬件 | 可靠性预计报告 | 可第三方支撑 | √ | ▲ |
|
| 4/5 | ▲ | ○ |
|
9 | 5.3 | 硬件 | 故障模式影响危害分析 |
|
| ▲ |
|
| 5 | ▲ |
|
|
10 | 5.3 | 硬件 | 可靠性强化试验 |
|
| ▲ |
|
| 5 | ▲ | ○ |
|
11 | 5.3 | 硬件 | 可靠性仿真报告 |
|
| ▲ |
|
| 5 | ▲ |
|
|
12 | 4.4;5.4;6.3 | 软件 | 软件需求分析 |
| ○ | ○ | ○ |
| 4/5/6 | √ | √ |
|
13 | 4.4;5.4;6.3 | 软件 | 软件源代码集 |
| √ | √ | √ |
| 4/5/6 | √ | √ |
|
14 | 4.4;5.4;6.3 | 软件 | 软件安装包 |
| √ | √ | √ |
| 4/5/6 | √ | √ |
|
15 | 4.4;5.5;6.3;8.3 | 软件检测 | 软件测试报告 |
| √ | √ | √ | √ | 4/5/6 | √ | √ |
|
16 | 5.5;6.3 | 软件检测 | 软件测试问题清单及回归测试证据 |
|
| √ | √ |
| 5/6 | √ | √ |
|
17 | 4.5;5.7; | 生产工艺 | 制造/生产需求分析报告 | 涵盖所需场地、设备、工装夹具、测试仪器设备、人员技能的分析。 | √ | √ | ○ |
| 4/5/6 | √ | √ |
|
18 | 4.6;5.6;6.6;7.6 | 生产工艺 | 工艺文件 | 涵盖工艺流程、关键工艺识别(原因说明)、关键工艺清单、各个关键工艺控制要求。 | √ | √ | √ | √ | 4/5/6/7 | √ | √ |
|
19 | 6.6 | 生产工艺 | 工艺验证报告 | 夹具图纸、实物照片、工艺验证结果。 |
|
| √ |
| 6 | √ | √ |
|
20 | 6.7;7.8 | 检测 | 《故障报告、分析和纠正措施系统(FRACAS)运行规范》 |
|
|
| √ | √ | 6/7 | √ | √ |
|
21 | 6.7;7.8 | 检测 | 研发及测试过程故障信息报告表、分析纠正措施表、故障统计汇总结果 |
|
|
| √ | √ | 6/7 | √ | √ |
|
22 | 6.5 | 检测 | 出厂测试要求 | 有明确定量和定性要求、测试试验要求、故障处理要求。 |
|
| √ |
| 6 | ○ | √ |
|
23 | 9.2 | 检测 | 出厂测试报告 |
|
|
|
|
| 9 | ○ | √ |
|
24 | 7.1 |
| 成套设计图纸 |
|
|
|
| ○ | 7 |
| ○ |
|
25 | 7.6 |
| 成套工艺图纸 |
|
|
|
| ○ | 7 |
| ○ |
|
26 | 7.3;8.2 | 检测 | 环境试验大纲和报告 |
| √ |
|
| √ | 7/8 | √ | √ |
|
27 | 7.3;8.2 | 检测 | 安全性测试大纲和报告(如有) |
|
|
|
| ○ | 7/8 | ○ | √ |
|
28 | 7.3;8.2 | 检测 | 电磁兼容测试大纲和报告(如有) |
|
|
|
| ○ | 7/8 | ○ | √ |
|
29 | 7.3;8.2 | 检测 | 维修性评估大纲和报告(如有) |
|
|
|
| ○ | 7/8 | ○ | √ |
|
30 | 7.3;8.2 | 检测 | 可靠性指标考核大纲和报告 |
|
|
|
| √ | 7/8 | ○ | √ |
|
31 | 7.4;9.1 | 应用 | 用户应用报告 |
|
|
|
| √ | 7/9 | ○ | √ |
|
32 | 7.4;9.1 | 应用 | 用户应用证明 |
|
|
|
| √ | 7/9 | ○ | √ |
|
33 | 7.4;9.1 | 应用 | 用户应用场景照片 |
|
|
|
| ○ | 7/9 | ○ | ○ |
|
34 | 7.4;9.1 | 应用 | 重大应用媒体报道 |
|
|
|
| ○ | 7/9 | ○ | ○ |
|
35 | 7.6 | 生产工艺 | 生产过程控制文件 |
|
|
|
| √ | 7 |
| √ |
|
36 | 7.8 | 应用 | 应用开发方案 |
|
|
|
| √ | 7 |
| √ |
|
37 | 8.4 | 生产工艺 | 物料清单 | BOM表包括元器件、材料 |
|
|
|
| 8 |
| √ |
|
38 | 8.4 | 生产工艺 | 供应商及其主供货物清单 | 应包含所有关键原材料,且均具有两家以上供应商。 |
|
|
|
| 8 |
| √ |
|
39 | 8.5 | 生产工艺 | 生产能力评估报告 |
|
|
|
|
| 8 |
| √ |
|
40 | 8.6 | 应用 | 使用维护说明书 |
|
|
|
|
| 8 |
| √ |
|
41 | 8.6 | 应用 | 软件用户手册 |
|
|
|
|
| 9 |
| √ |
|
42 | 9.1;9.2 | 销售 | 销售合同和发票 |
|
|
|
|
| 9 |
| √ |
|
43 | 9.2 | 生产工艺 | 产线质量报告 |
|
|
|
|
| 9 |
| √ |
|
说明 | 1.本表格从第三方测试和技术就绪度角度梳理需要的文件。 | √必须要 |
6 结束语
技术就绪度指南中明确定义了各个级别的要求特别是质量可靠性的要求,可以促使课题单位系统开展项目工作,特别是突破关键技术要素和落实可靠性,是确保成果工程化和产业化的一种手段。项目初期尽早梳理技术就绪度工作并落实,项目研制过程中及时找出问题并整改,后的评级结果自然得到。建议牵头单位针对技术就绪度要求编制专门的项目管理计划,按级别和节点完成各项工作,寻找专业的第三方机构出具检测报告,有序推进技术就绪度的等级。
免责声明
- 凡本网注明“来源:化工仪器网”的所有作品,均为浙江兴旺宝明通网络有限公司-化工仪器网合法拥有版权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:化工仪器网”。违反上述声明者,本网将追究其相关法律责任。
- 本网转载并注明自其他来源(非化工仪器网)的作品,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。
- 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。