本文以《基于云平台的网络影视在线教育培训系统》研究项目为背景,探索社会热点与网络教学相融合的新模式,实现根据最新热点推荐相关网络课程的目标。针对新闻内容的获取问题,本文重点对网络爬虫技术进行了分析和研究,设计并实现了基于Scrapy爬虫框架的新闻站点抓取方案,达到快速抓取结构化新闻数据的目的。针对海量新闻的持久化存储问题,本文应用基于Hash的Mongo DB分片技术,实现多台服务器间的负载均衡,有效缓解了数据库服务器的存储压力。对于社会关注热点的提取问题,应用基于TF-IDF算法的关键词抽取方法实现对新闻特征的提取,并综合新闻自身权重及关键词TFIDF值,实现热点获取并保证其准确性及有效性。针对相关课程推荐的问题,利用Solr搜索引擎技术,根据热点检索教学平台中的相关主题课程并做推荐,实现热点与网络教育的有机结合,最终达到调动学生积极性并提高教学效果的目的。论文首先详细阐述了网络爬虫、No SQL数据库、文本分析等相关技术。其次,根据课程推荐系统的项目需求,对Scrapy爬虫框架进行了深入研究,对Redis和Mongo DB数据库进行了重点分析,设计并实现了针对新闻门户网站的定向爬虫。然后,对热点提取方法及Solr搜索引擎技术展开了探索,完成了对新闻热点的获取,并实现热点相关课程的推荐。最后,对系统做了整体测试及结果分析,并对论文中的各项工作进行了总结。