一般来说,先验是一个概率分布。如果具体到机器学习模型,那么先验知识可以被认为是在模型开始看到任何数据之前被推算出来的分布。先验知识能够指导生成模型找到更好的解,相当于提供了更多的监督信息。现有的结合领域先验知识的生成方法,可以分类为两种:
- 利用先验知识设计专用的网络,先验知识指导的是“如何去学习”,好处是效果好,坏处是通用性差。
- 利用先验知识设计正则化项,先验知识指导的是“学习要达到什么效果”,效果可能稍次,好处是通用性强。这也是这篇文章所提出的方法。
目前在医学影像的分析中,如何有效借鉴临床先验知识得到了越来越多的关注。由于医学影像标注难度大、数据获取成本高的特点,传统依赖于大量数据得到高准确率的深度学习模型受到了一定程度的限制,而以临床专家经验为代表的先验知识能够在一定程度上弥补数据不足带来的不确定性,为医学影像诊断提供更多的可解释性。
参考文献
[1] https://www.quora.com/Is-there-a-way-to-encode-prior-knowledge-in-deep-neural-networks
[2] https://medium.com/@xamat/data-as-prior-innate-knowledge-for-deep-learning-models-23898363a71a