Webshell是黑客通过成功入侵网站服务器后留下的后门文件。该类后门文件因其不易被发现,同时可以使黑客浏览网站关键文件,甚至修改删除数据库重要文件,对于网络安全是一种极大的威胁。更加高效的webshell检测方法可以帮助网络安全运维人员更好地维护网站的正常运作。传统攻击检测方法已不足以应对当前复杂的网络环境,使用基于机器学习的webshell检测方法是更好的选择。目前,基于机器学习的webshell检测方案中存在特征提取仍需优化的问题,这使得webshell检测的准确率有待提高。为此,本文提出一种基于细粒度特征的webshell检测方案（WD-FDF方案）。为排除加密混淆技术的干扰,提取出操作码并引入自然语言处理方法对其分析、动态特征向量化;再结合静态统计特征形成107维的细粒度特征向量集合,为训练机器学习算法提供优化的数据;最后对比不同算法表现选择合适算法形成完整检测方案。模拟实验结果表明,该方案能够准确区分正常网页与webshell,准确率高达99.574%。在WD-FDF方案的基础上,本文设计实现了 WebshellHunter系统——一款webshell检测系统。在保留传统规则匹配方法可以准确检测出已知攻击的基础上,该系统引入机器学习检测模型以解决未知攻击的检测难题:通过优化的数据集离线训练、测试机器学习模型后使其具备良好的区分能力及泛化性,在线检测时可以快速高效地对攻击检测做出准确判断。此外,本系统提供用户图形化界面,支持用户自定义扫描路径,提供完整的检测报告帮助用户分析webshell具体类型。最后系统测试结果证明该系统具有优秀的检测率和误报率,良好用户体验和推广应用价值。针对机器学习算法本身的安全脆弱性,本文从机器学习模型的数据层面展开研究,以K-means算法为研究对象,提出一种基于边界数据的投毒攻击方案。首先分析K-means算法相关特性及其存在的安全问题;其次利用“数据漂移”思想和K-means算法特性,通过聚类标签和损失函数变化,设计了基于聚类间边界数据的投毒攻击方案;最终将攻击方案与网络攻击检测的应用场景相结合,实验结果表明该攻击方案引起K-means算法模型的误报,误报率高达16.75%,对K-means算法的可用性产生了较大的影响。