随着计算机技术的快速发展,网络安全受到了前所未有的考验。缓冲区溢出攻击是威胁计算机安全的主要攻击方式。此类攻击数量繁多、危害性大,因而对缓冲区溢出问题的研究有着深远的意义。近年来,缓冲区溢出研究主要集中在两个方面:如何快速检查程序是否存在此种漏洞及出现位置,以及如何做到对存在缓冲区溢出漏洞的程序进行保护。前者集中在Fuzzing测试上,目前存在随机性强、误报率高、检测时间过长的问题;后者保护方案中的StackGuard技术被发现存在canary值被猜测攻击的可能。鉴于以上问题,本文从缓冲区溢出漏洞检测和保护两个方面进行了如下研究:(1)针对缓冲区溢出漏洞挖掘现状,本文对Fuzzing漏洞挖掘技术进行了改进。为解决目前Fuzzing测试存在随机性强与盲目性等问题,本文引入静态文件分析的程序执行流程控制思想,提出一种利用遗传算法来进行漏洞发现的方法。该方法通过总结缓冲区溢出攻击特征,设计出对应的遗传算法适应度函数,智能引导数据到漏洞程序的危险区域。仿真实验结果表明,与模拟退火算法相比,该方法具有较快的收敛速度和较高完备性。(2)针对缓冲区溢出保护手段的研究现状,本文重点对StackGuard模型进行了改进。StackGuard模型使用异或操作算法仅加大了canary值生成的复杂度,一旦canary值被算出,存放在局部函数堆栈中的canary值便可以被覆盖绕过。本文针对此问题,提出了改进后的模型A-GS。将canary脱离函数堆栈的局部变量空间,放置在堆栈之外的领空使得canary值无法通过覆盖攻击的方式被猜测改写;摒弃canary值的异或生成算法,改为原始返回地址,缩短了检测时间;在多级调用方面,将父函数canary值一并存放到子函数堆栈顶部,避免了多级调用过程中可能存在canary值被再次覆盖绕过的问题。实验结果表明,A-GS模型的代码执行效率与StackGuard模型相仿,同时可以有效阻止在StackGuard中,针对canary值猜测的覆盖绕过攻击。