回顾性数据为临床提供支持、推出标准数据库,上市后临床、技术黑箱、产品重大变更申报、中美审批差别,中国新一代医疗AI产品审批道阻且长。令人高兴的是,标准测试数据库正在建立,标准数据集(眼底部分)用时3个月就已经建设完成,部分企业很快将拿到中检院出具的注册检验结果。肺结节标准数据库也已经启动。
进入2018年,医疗人工智能行业的发展速度依旧迅猛。在第一季度,汇医慧影、推想科技、深睿医疗、Airdoc、视见医疗等企业都宣布完成了新一轮的融资,金额几乎都在亿元级别。联影也发布了自己的开放的智能AI平台,全面渗透医疗AI领域。
据了解,虽然行业发展迅猛,但是有个问题一直制约着行业的发展,那就是国内还没有一家公司的新一代医疗AI产品获得医疗器械注册证。这一方面是由于医疗AI作为一种全新的产品,拥有一定的智能,但是之前并无审批此类产品的经验和标准数据库。另一方面,国内医疗AI企业的产品还在打磨阶段,医疗是一个严谨的行业,事关民众安全。
值得说明的是,之前拿了认证的产品大多是基于之前CAD产品审批方式获得的,与最近流行的新一代医疗AI产品有些不同(本文探讨新一代医疗人工智能产品)。
没有认证就没有市场准入资质,虽然各个创业公司有自己合理合法的营收渠道和高额的融资,但是AI公司数据、人才、算力、运营成本昂贵,如果以医疗AI产品为主营业务的公司迟迟拿不到市场准入资质,那公司的长远发展必将面临挑战。
利用深度学习技术研发的医疗AI产品为何拿不到认证,问题出在哪里,获得认证还需要解决那些问题,各家医疗AI公司,监管部门等机构做了哪些准备,中美的审批有何区别。动脉网试着去解开这些谜题。
1、中国为什么不能像美国那样发放认证
2018年4月初,FDA批准通过了IDx公司研发的首个应用于一线医疗的自主式人工智能诊断设备——IDx-DR 的软件程序,它可以在无专业医生参与的情况下,通过查看视网膜照片对糖尿病性视网膜病变进行诊断。
动脉网了解到,这个看似简单的诊断,IDx 却整整走了21年。IDx 是一家专注于开发临床自主诊断算法的公司,单就和 FDA 在如何评估系统并确保其准确性和安全性方面的沟通,IDx就花了7年。
西门子医学影像分析首席专家周少华博士曾向记者介绍,美国的监管体系是这样的。
FDA分三类监管医疗设备,其根据是设备的可能使用及其给病人带来的风险。第一类class I是低风险设备如医用手套;第二类class II是中等风险设备如CT机;第三类class III是最高风险设备如支架。
Al影像系统有两种:computer-aided detecTIon (CADe) 和 computer-assisted diagnosTIc (CADx) 。CADe 用于检测不正常状况abnormaliTIes,而CADx评估疾病的存在与否,如疾病的严重性、分类或预测。
FDA 对于监管CADe软件有很多经验,并提供510(k) 的指示标准,如何做临床表现评价。但是,FDA历来把CADx系统作为class III。
(510(k)文件是向FDA递交的上市前申请文件,目的是证明申请上市的器械与不受上市前批准(PMA)影响的合法上市器械同样安全有效,即为等价器械(substanTIally equivalent)。申请者必须把申请上市的器械与现在美国市场上一种或多种相似器械对比,得出并且支持等价器械的结论。)
但是据了解目前获得FDA审批的医疗AI 产品多是走的class II。也就是说通过降低门槛来过审批。而中国从目前的情形来看是将新一代医疗AI定位为三类医疗器械,所以审批上会有不同。
2、建议各家公司考虑认证三类医疗器械
汇医慧影联合创始人郭娜表示,美国近期批复的几款AI产品全都是走的ClassII的认证流程,通过跟传统CDSS(临床决策支持系统)做等同对比证明安全有效性。中国药监局的法规相对来说更严格,对临床评价的路径控制非常严格,按目前法规,基本上国内的AI产品都得走临床试验这条评价路径,耗时会比较长。目前药监局没有发出这种降低审批标准的信号,按新的分类目录,直接给出诊断治疗建议的辅助决策软件都属于三类,如果仅仅给出量化数值,像骨密度,那就是按二类医疗器械来管理,市场上大部分的AI产品都属于三类。
雅森科技告诉动脉网,虽然经过近两年的工作已取得了二类证,其仍在根据最新规定的变化在筹备三类证的许可。2017年9月4日,CFDA发布的新版《医疗器械分类目录》医用软件中包含的辅助诊断,主要是针对之前已经出现的辅助诊断产品,比如CAD系统等。但这类并不包含自动诊断系统,对最近流行起来的人工智能软件产品的界定并不完善。
这个分类目录是相关部门根据之前辅助诊断类产品的分类、审批、发证的经验和问题重新制定的。而对于新一代医疗人工智能产品,之前并没有先例可寻。现阶段虽然有人工智能公司申报药监局认证,但是目前还没有一家公司拿到三类医疗器械。
动脉网从各家公司了解到,目前雅森、汇医慧影、推想、深睿、Airdoc、依图医疗等几个大公司都在积极进行三类医疗器械的申报。依图医疗表示,他们的全产品矩阵都在做三类认证。另外,Airdoc送检了中国第一台装载待检人工智能AI软件的服务器。
3、用于审批的标准数据库正在逐步建立
医疗人工智能产品没有获得审批的一部分原因是用于审批的标准数据库还在建设中。
由于各个地区、医院的数据标准并不同。一家公司在北京两家大医院做的临床实验即使完美,但是并不代表产品可以在某县级医院中使用,甚至由于过拟合的现象,导致在其他医院无法使用。而如何验证医疗AI产品的鲁棒性(普遍适应性),建立标准测试数据库是现阶段监管部门正在做的事情。
目前的标准测试数据库建设是按照病种进行的。据中检院官方微信发布的信息显示,2018年3月26日,标准测试数据集(眼底部分)建设完成。肺结节的标准数据库建设方案也已经定稿,近期就可以建设完成。
动脉网与企业交流和统计了解到,目前行业内有9家公司参与了标准测试数据库的建设。以肺影像为例,肺结节图像数据采集将不少于5家医院,每家企业2000张,图像采集设备统一为GE,西门子等大厂商符合DICOM3.0协议标准图像,必须取得伦理委员会许可使用。采取二轮背对背主治医师标定方式。预计图像数量超过1万例。
某从事眼底糖网病研究,并参与中检院眼底数据库建设的医疗AI公司告诉动脉网,他们很快将拿到中检院出具的注册检验结果。
参与标准测试数据库建设的第二军医大学长征医院影像医学与核医学科主任刘士远介绍,标准测试数据库建设为了保证公平性,使建立的数据库能够得到大多数企业和机构的认可,在建设过程中会遵循以下三个原则:
第一是广泛性,数据要来自全国各地不同的医院,不能只局限于北上广深这些大城市的医学数据。
第二是兼容性,以肺部图像为例,目前建立标准测试数据库的时候会考虑不同层厚的CT图像,有5毫米图像,也有1-2毫米图像,甚至亚毫米图像。
第三是医学图像的标记要标准化。刘士远教授表示,搜集一定数量的图像并不难,难的是为数据打标签。从事标准测试数据库标注的医生都是从做过医疗AI研究的医生中招募。招募以后按照标准的标注方案对医生进行培训,然后再去标注。最终形成没有公司痕迹、没有机器痕迹的标准检测数据库。
4、重新定义重大变更来解决快速迭代问题
医疗AI产品面临一个情况,就是产品性能,算法模型,应用界面都会快速更新,这种情况下,传统增项或者升级审批,显然无法满足行业的发展需要。
如果新的认证规则没有出现,按照传统的审批流程,医疗影像AI产品迭代周期是3-5天,企业每周都要去政府机构报备,企业和政府都会受不了。这种情况下难免会出现“偷懒”现象,企业虽然在不断的更新系统,但是不按照正规程序报备,这是行业不愿意看到的现象。
华光创新(北京)技术服务有限公司副总经理索娜告诉动脉网,当前的审批技术指导原则给出了一个明确的版本命名的举例。一般命名为S、Y、Z、B四个代码,S指重大增强,Y指轻微增强,Z指纠正更新和构建,B指轻微的缺陷修补。如果是S、Y、Z发生变化,需要注册的变更,如果是B发生变更,这是不需要修补的。企业可以依照这样的规则,命名自己的表更,来适应法规的要求,从而不被频繁的变更所累。
我们认为,这个问题的核心是重大变更的定义。我们沿用重大变更需要报备的传统,但是把重大变更做一下规范。
第一,数据库的变更。如果产品的数据库出现10%-20%(具体规范没有出来以前这个数字尚不确定)的变更,那么研究结果出来以后,企业可以去相关部门报备,提出变更需求;
第二,算法的变更。如果算法框架变化,那就可以提出变更请求。目前很多企业的算法都是基于开源的算法进行优化升级得到的,为了做好本地化也包含有一些前处理软件等周边系统。由于算法的变更很难量化,目前这一条还在商讨之中。
5、人工智能的技术黑箱问题有待进一步商榷
经常在一些场合听到,深度学习技术存在黑箱的嫌疑,输入与输出结果之间原因无法解释,而按照科学论证的观念,存在技术黑箱的话在认证过程中会相对困难一些。
目前国内很多公司用的是国际上开源的技术,国内一些优秀的人工智能公司是可以解释其中的一些原理,一共用了多少层,每层在做什么。但是相当一部分公司还不具备这样的能力,这也可以从侧面看到同行之间的一些差距。
索娜表示,没有建立审查指导原则的产品主要依靠主审人员个人的知识和监管部门组成的专家委员会的经验知识对产品进行技术审评,主要审查产品安全性和可靠性。
我们认为,审批部门并不一定要特别在意这个问题,但是企业要做好回答的准备。对于传统的软件系统,质监部门也没有要求必须把每一步都要讲清楚,质检部门优先考虑的是安全和有效。质检部门摸清技术原理是为了确定黑盒测试的方案,所以企业要知道如何回答相关问题。
6、除了标准数据库外,还需要注意的几个问题
是否可以考虑先上市后临床
目前大多数医疗人工智能公司的发展都卡在了审批这个地方。医疗软件注册审批的流程大概是这样的:
从这个流程图,我们可以看到,在获得药监局认证之前,要先获得体系认证,体系认证需要3-6个月。三类医疗器械认证需要2-3年,在审批之前要等到标准数据库的建立,数据库的建立需要一定的周期。
以糖网为例,2017年12月24日,中检院官方微信公众号公布关于召开AI标准测试数据集(眼底部分)建设会议通知,2018年3月26日,中检院官方微信公众号公布,标准测试数据集(眼底部分)建设完成,一个病种共花费了3个月的时间。从中检院的官微发布的信息推测,他们是按照病种进行来建立数据库,与 FDA 在如何评估系统并确保其准确性和安全性方面的沟通,IDx就花了7年时间相比,审批部门的速度已经非常快了(中间还有一个春节)。
但是每个公司涉及的病种一般在10个左右,算上临床实验的时间,审批的过程在3-4年的时间。这个过程是由于医疗和AI本身的严谨、安全性质决定的,这是审批机构和企业无法改变的现实。可是又有多少企业可以等待这么长时间呢?我们是否可以考虑一种新的市场准入方式?
为了企业和行业的持续发展,在保证安全性和稳定性的前提下,是否可以学习药企走先上市后临床审批的方式,让行业先发展起来。
(广义上讲,药物上市后所开展的所有临床研究均称为上市后研究,狭义讲,上市后临床研究是由生产企业、医疗机构或社会团体自行组织与药品有关的应用研究。)
回顾性数据为临床提供支持
动脉网了解到,根据数据收集方式,我们可以将临床研究分为前瞻性数据收集的研究和回顾性数据收集研究。所谓前瞻性数据收集的研究就是指预先制定研究方案,并且根据研究方案收集未来的数据。回顾性数据收集的研究则是指制定研究方案后,回顾性地收集过去的数据。换而言之,二者的区别主要在于到底手机的是将来的数据还是过去的数据。前瞻性数据收集研究的优点是能较好地控制的数据质量,研究的说服力强,缺点是研究产出周期较长,花费较高;回顾性数据收集研究的优点是研究产出周期短,且花费极低。
目前,我们走的是前瞻性研究,为了鼓励行业发展,当一些产品比如眼底、肺结节医疗AI产品获批后,其他产品采用回顾性研究,为临床提供支持,减少企业在临床审批过程中的时间和费用。
企业要多与监管部门沟通
医疗人工智能智能行业是一个新兴行业,很多规范没有形成不可避免,很多企业也才刚刚成立2-3年的时间,大家也不必急功近利,医疗本就是一个慢行业,企业和监管机构都要慢慢熟悉行业规则,这毕竟是前无古人的行业。
在这个过程中,企业要积极与质控部门联系,双方要深入沟通,互相了解需求,尽快做出成熟的方案,以便行政部门做决策。