基于有向图模型的多模态新闻图像检索研究

不同模态特征描述网络新闻数据各具优势。为充分利用不同模态特征的优点,提高网络新闻图像检索准确率,提出了一种基于有向图理论模型的多模态特征融合检索方法。首先对新闻图像进行预处理,提升新闻图像兴趣点对比度,之后对新闻文本提取关键词,然后对新闻图像进行场景辨别,结合图像人物特征,将文本、场景、人物特征依据有向图理论模型进行融合,形成基于有向图理论模型的多模态融合检索。在10万条新闻数据上测试,实验结果表明,本文提出的方法检索准确率达到了69%,查全率达到70%,效果提升了5%。     

新闻图像中重要人物的自动检测和识别研究

针对网络新闻图像中人物的不同表情、光照、姿势等因素带来的视觉空间差异造成的人脸检测效果差的问题,提出滑动窗口自适应方法和肤色特征相融合,检测新闻图像中的人脸。针对单样本条件下的人脸识别问题,提出有监督的双向二维局部保持投影法,提取人脸特征。结合图像子特征加权方法,先将人脸图像分块,子图像的子集作为一个子特征统计权重,采用人为投票的方式进行识别。实验选取雅虎新闻图像和新华网新闻图像。结果表明,滑动窗口自适应算法在不同类别新闻图像中人脸检测率提高了3%到10%,人脸识别率在一定范围内提高了5%。