智能媒资检索系统设计与实现
倪亮 陈阳 甘耀
咸宁广播电视台
引言:在全媒体时代,媒资是媒体的重要战略资源,其科学管理与使用有助于媒体实现可持续发展。当前随着存储和管理技术日渐提升,媒体实施媒资管理时,数据再利用成为核心内容,而媒资检索是数据再利用的实现基础。因此,设计媒资管理系统过程中,媒资检索系统为重中之重。目前,在媒资管理系统中,检索媒资编目信息时,采用结构化查询语言,但这种传统方法存在诸多弊端,如媒资内容维度难以被编目完全涵盖、编目标注人员存在主观偏差等。针对这些问题,本文探索、设计了一种智能化的媒资检索系统,期望提高检索效率。
1 智能媒资检索系统功能需求分析
基于编目信息检索方式的不足,设计智能媒资检索系统时,应主要具备以下功能:
第一,语音检索。收集用户输入的语音,快速地匹配和检索相应的关键词、题名等,实现精确定位。能够转化同期声,变为字幕。在新媒体端,稿件支持快速发展,并辅助人工编目,同时提示存在的敏感词汇。
第二,人脸检索。人脸图像上传到搜索栏后,后台将人脸特征值提取出来,并匹配特征值索引库内的人脸特征值,当有对象被匹配到,相应人物素材能快速地呈现出来,但若未能匹配到,系统会以“未命名”来标记人脸,当工作人员维护时发现“未命名”后,会补充相关的信息。
第三,视频检索。视频导入后,分析其中的内容,把信息要素提取出来,包含关键帧、音频文字等,再根据信息要素检索有关联的信息和要素,同时关键词位置自动定位。
第四,图像检索。利用图像文件搜索后,系统提取其中的关键帧,接着进行关联素材的快速检索,包含文稿、图片、视频等,同时视频中出现关键词的位置可自动定位。
第五,自动快速分类。数据库多种多样,包含事件库、人物库等,归一化处理这些数据库。媒体素材存储到系统后,分类多维度进行,并通过多维库关联,有效地扩展素材的分类维度。由此一来,检索后,能匹配出多个维度的关键词。
2 智能媒体检索系统的设计与实现
2.1 媒资内容分析
(1)文本内容分析:分析方法为自然语言处理,切分整个文本的数据,变成多组有意义的字词。其处理步骤如下:一是建立词典,单字和单词均包含其中,建立依据为应用背景;二是中文分词,分解全文本,成为单字和单词;三是数据清洗,分解后,单字、单词仔细分析,将无意义的去除,之后集合剩余的字词,作为全文数据特征,而文本特征量即为具体的出现频率。
(2)音频内容分析:分析时,需转化其中的语音内容,变为文本信息,之后再按照文本内容分析方法完成分析工作。具体来说,先检测音频文件,提取出其中的语音内容,语音起止时间检测时,判定方法为静音点检测融合场景切换检测;提取后,利用语言识别技术识别文字内容,完成文本的转化;最后将文本特征量分析出来[1]。
(3)图像内容分析:与文本和音频相比,图像中的信息更多更直观,同时,针对同一图像,由于人的认知存在差异,其描述的内容各不相同。因此,分析图像内容过程中,不仅要考虑地点、物体等高层语义内容,还要考虑颜色、形状等底层视觉特征。高层语义内容分析时,可通过人脸检测识别技术,自动检测图像中的人物,将人脸特征量获得。底层视觉特征所描述的是图像中的形状、颜色等元素,属于最基本特征,提取底层视觉特征量时,采用颜色直方图、尺度不变特征等方法。
(4)视频内容分析:相比前三种媒资类型,视频内容分析的复杂程度更高,但从视频内容的构成来看,又包含前三种类型。因此,分析视频内容时,只需先提取出其中的文本、音频和图像,再根据具体方法分析即可。在视频中,文本出现的形式为字幕,其有固定的位置,通过光学字符识别,可将字幕内容直接识别出来;提取音频时,方法与音频分析方法相同,在此不再赘述;提取图像数据时,主要检测视频的关键帧[2]。
2.2 媒资内容索引
文本特征量、人脸特征量等内容分析出来后,媒资内容索引即可建立,确保检索能顺利开展。设计索引时,采用方法为倒排索引法,例如文本特征量,由两部分组成整个索引,一部分是单词项,词典内每个单词都记录在其中,另一部分是文件列表,单词的相关信息、所有文件序号均记录在此。
2.3 媒资内容检索
用户将图片、文字等媒资检索数据输入系统后,系统先分析其中的内容,将媒资特征量提取出来,接着查找相应的媒资内容索引,同时按照相似度对全部的查找结果排序。
2.4 系统实现
媒资检索系统设计时,采用的架构为浏览器/服务器,支持同时被多个客户端访问。在整个系统中,利用以太网连接各个组成部分,包含 Web 服务器、检索客户端、存储管理服务器等。而实现整个系统过程中,遵循 J2EE体系,开发采用 SSH 框架,于检索分析服务器集群上搭建核心检索模块,封装所有的算法,让其变成独立软件包,并独立运行于服务器上,Web 服务器向算法软件包分配任务时,使用形式为任务调度。
结束语:媒体发展过程中,媒资管理具有重要作用,而为能充分发挥媒资的利用价值,需要科学、合理地设计媒资检索系统。媒资检索系统设计时,应改变传统编目检索的方法,通过各种先进技术的运用,使系统具备智能化的特点,同时支持图片、文字等多种内容的检索,以将检索效率进一步提高,同时提升检索的精度,进而增强媒资再利用效果,实现媒体可持续发展。
参考文献:
[1]于兵. 人工智能为新媒体媒资管理插上智慧的翅膀 [J]. 广播电视网络, 2022, 29 (05): 82-84.
[2]徐莉. 面向媒体融合的智能化多模态检索系统分析 [J]. 电视技术,2021, 45 (02): 1-3.