基于异构信息双向传播的网络视频分类方法
2022-06-09
表4和图3比较了仅采用关键帧均值和方差信息与在帧层次上的视觉特征聚类的结果。基于关键帧均值和方差信息进行分类是指将每个视频样本中所有关键帧特征量中的每个分量求均值和方差，最终串联成一个向量并用于分类；利用帧层次上的视觉特征聚类进行分类是指直接根据式（5）进行分类，不采用支持向量机。由实验结果可见，帧层次上的视觉特征聚类带来的分类结果比采用关键帧均值和方差表示的分类结果更好，平均提高了约10%的准确率。由于一个视频可能包含多个镜头，故其关键帧的视觉特征分布是多峰的。只采用均值和方差对视频进行建模实际上是将关键帧分布假定为单高斯分布，这与实际情况不符。而对关键帧进行聚类考虑了多峰分布的特性，能够更准确地对关键帧的分布进行建模，进而带来更准确的分类结果。
4结语
本文提出了一种基于文本模态和视觉模态异构信息双向传播的网络视频分类方法。该方法基于K均值方法将视频关键帧聚类成多个簇，在帧层次上对视频数据进行建模。以视觉特征空间中的相似性为媒介，将每个簇中代表性关键帧的文本信息传播至该簇作为其文本解释，并将每个簇的文本解释传播至每个关键帧，完成文本和视觉模态的双向信息传播；最后基于支持向量机对网络视频进行分类。经过信息双向传播，文本数据中包含了视觉特征属性，两类异构数据得到了密切的融合。实验结果表明通过异构信息的双向传播，本文方法提高了网络视频分类的平均准确率达7%左右，很好地提升了分类性能。
参考文献：
[1]刘安文，支琤，张瑞，等.基于语义概念的视频检索系统的设计与实现[J].图象图形学报.2008，13（10）：2055-2058.
[2]YANGL，LIUJ，YANGX，etal.MultimodalityWebvideocategorization[C]//Proceedingsofthe2007InternationalWorkshoponMultimediaInformationRetrieval.NewYork：ACM，2007：265-274.
[3]CUIB，ZHANGC，CONGG.ContentenrichedclassifierforWebvideoclassification[C]//SIGIR10：Proceedingsofthe33rdInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval.NewYork：ACM，2010：619-626.
[4]ZHANGX，SONGYC，CAOJ，etal.LargescaleincrementalWebvideocategorization[C]//WSMC09：Proceedingsofthe1stWorkshoponWebscaleMultimediaCorpus.NewYork：ACM，2009：33-40.
[5]WUX，ZHAOWL，NGOCW.TowardsGooglechallenge：combiningcontextualandsocialinformationforWebvideocategorization[C]//MM09：Proceedingsofthe17thACMInternationalConferenceonMultimedia.NewYork：ACM，2009：1109-1110.
[6]CHENZN，CAOJ，SONGYC，etal.WebvideocategorizationbasedonWikipediacategoriesandcontentduplicatedopenresources[C]//MM10：Proceedingsofthe18thACMInternationalConferenceonMultimedia.NewYork：ACM，2010：1107-1110.
[7]LEUNGJ，LIC，IPTK.Commentarybasedvideocategorizationandconceptdiscovery[C]//Proceedingsofthe2ndACMWorkshoponSocialWebSearchandMining.NewYork：ACM，2009：49-56.
[8]WANGZS，ZHAOM，SONGY，etal.YouTubeCat：learningtocategorizewildWebvideos[C]//CVPR2010：Proceedingsofthe2010IEEEConferenceonComputerVisionandPatternRecognition.Piscataway：IEEE，2010：879-886.
[9]WUX，NGOCW，ZHUYM，etal.BoostingWebvideocategorizationwithcontextualinformationfromsocialWeb[J].WorldWideWeb，2012，15（2）：197-212.
[10]KANUNGOT，MOUNTDM，NETANYAHUNS，etal.Anefficientkmeansclusteringalgorithm：analysisandimplementation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，24（7）：881-892.
[11]CAOJ，ZHANGYD，SONGYC，etal.MCGWEBV：abenchmarkdatasetforWebvideoanalysis，ICTMCG-09-001[R].Beijing：ChineseAcademySciences，InstituteofComputingTechnology，2009.
[12]CHANGC，LINC.LIBSVM：alibraryforsupportvectormachines[EB/OL].（2001-01-01）[2013-01-09].http
表4和图3比较了仅采用关键帧均值和方差信息与在帧层次上的视觉特征聚类的结果。基于关键帧均值和方差信息进行分类是指将每个视频样本中所有关键帧特征量中的每个分量求均值和方差，最终串联成一个向量并用于分类；利用帧层次上的视觉特征聚类进行分类是指直接根据式（5）进行分类，不采用支持向量机。由实验结果可见，帧层次上的视觉特征聚类带来的分类结果比采用关键帧均值和方差表示的分类结果更好，平均提高了约10%的准确率。由于一个视频可能包含多个镜头，故其关键帧的视觉特征分布是多峰的。只采用均值和方差对视频进行建模实际上是将关键帧分布假定为单高斯分布，这与实际情况不符。而对关键帧进行聚类考虑了多峰分布的特性，能够更准确地对关键帧的分布进行建模，进而带来更准确的分类结果。
4结语
本文提出了一种基于文本模态和视觉模态异构信息双向传播的网络视频分类方法。该方法基于K均值方法将视频关键帧聚类成多个簇，在帧层次上对视频数据进行建模。以视觉特征空间中的相似性为媒介，将每个簇中代表性关键帧的文本信息传播至该簇作为其文本解释，并将每个簇的文本解释传播至每个关键帧，完成文本和视觉模态的双向信息传播；最后基于支持向量机对网络视频进行分类。经过信息双向传播，文本数据中包含了视觉特征属性，两类异构数据得到了密切的融合。实验结果表明通过异构信息的双向传播，本文方法提高了网络视频分类的平均准确率达7%左右，很好地提升了分类性能。
参考文献：
[1]刘安文，支琤，张瑞，等.基于语义概念的视频检索系统的设计与实现[J].图象图形学报.2008，13（10）：2055-2058.
[2]YANGL，LIUJ，YANGX，etal.MultimodalityWebvideocategorization[C]//Proceedingsofthe2007InternationalWorkshoponMultimediaInformationRetrieval.NewYork：ACM，2007：265-274.
[3]CUIB，ZHANGC，CONGG.ContentenrichedclassifierforWebvideoclassification[C]//SIGIR10：Proceedingsofthe33rdInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval.NewYork：ACM，2010：619-626.
[4]ZHANGX，SONGYC，CAOJ，etal.LargescaleincrementalWebvideocategorization[C]//WSMC09：Proceedingsofthe1stWorkshoponWebscaleMultimediaCorpus.NewYork：ACM，2009：33-40.
[5]WUX，ZHAOWL，NGOCW.TowardsGooglechallenge：combiningcontextualandsocialinformationforWebvideocategorization[C]//MM09：Proceedingsofthe17thACMInternationalConferenceonMultimedia.NewYork：ACM，2009：1109-1110.
[6]CHENZN，CAOJ，SONGYC，etal.WebvideocategorizationbasedonWikipediacategoriesandcontentduplicatedopenresources[C]//MM10：Proceedingsofthe18thACMInternationalConferenceonMultimedia.NewYork：ACM，2010：1107-1110.
[7]LEUNGJ，LIC，IPTK.Commentarybasedvideocategorizationandconceptdiscovery[C]//Proceedingsofthe2ndACMWorkshoponSocialWebSearchandMining.NewYork：ACM，2009：49-56.
[8]WANGZS，ZHAOM，SONGY，etal.YouTubeCat：learningtocategorizewildWebvideos[C]//CVPR2010：Proceedingsofthe2010IEEEConferenceonComputerVisionandPatternRecognition.Piscataway：IEEE，2010：879-886.
[9]WUX，NGOCW，ZHUYM，etal.BoostingWebvideocategorizationwithcontextualinformationfromsocialWeb[J].WorldWideWeb，2012，15（2）：197-212.
[10]KANUNGOT，MOUNTDM，NETANYAHUNS，etal.Anefficientkmeansclusteringalgorithm：analysisandimplementation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，24（7）：881-892.
[11]CAOJ，ZHANGYD，SONGYC，etal.MCGWEBV：abenchmarkdatasetforWebvideoanalysis，ICTMCG-09-001[R].Beijing：ChineseAcademySciences，InstituteofComputingTechnology，2009.
[12]CHANGC，LINC.LIBSVM：alibraryforsupportvectormachines[EB/OL].（2001-01-01）[2013-01-09].http：//www.csie.ntu.edu.tw/cjlin/libsvm.