随着大量多媒体数据的出现以及对信息检索领域研究的不断深入，传统的文本检索已经不能满足人们的需要，基于内容的视频检索(Content-Based Video Retrieval，CBVR)能帮助用户在海量的视频数据中准确、快速的找到自己所需信息已经成为检索领域研究的热点。CBVR从视频内容本身出发，通过特征匹配完成视频数据的检索。由于视频数据结构的复杂性，如何完成对视频数据的组织、表达及索引，如何解决底层特征与高层语义之间的特征映射、如何完成网络环境下的视频检索是研究的难题。本文以视频检索的相关背景与技术为基础，对视频检索中的视频索引、语义映射及网络视频数据包的获取三个方面进行了深入的研究，本文主要研究内容如下：1．在分析视频数据结构的基础上，给出了一种基于高层语义的分层结构，将视频底层特征与高层语义相结合，在检索时，通过多视图之间的协同检索缩减检索范围，从而提高了检索的效率。2．在分层结构的基础上，进一步将检索内容分为多目标信息帧与单一信息帧进行处理，在完成与高层语义库的比对后，分别建立多目标索引与单一信息索引，最后将两者融合，完善了视频索引结构。3．为更好的完成分类及相关反馈，对基于SVM的相关反馈算法进行了改进，实验证明，改进算法能更好的利用有限的反馈信息，完成视频数据的标注。4．充分利用网络视频流交互过程的特征，设计了一种线性Hash函数与异或位移操作相融合的网络视频流数据包提取算法。实验证明，该算法具有更好的时间性能。5．在前期工作的基础上，以体育视频为例，设计了一个基于内容的视频检索系统框架，并通过实验验证该系统具有很好的检索效率。