物联网时代赋予物件网络身份,促使家居生活、办公和工业生产得到了较大改善。以6LoWPAN网络为代表的无线个域网作为物联网的组成之一,其低功耗、支持IPv6、自组织和广连接等特点能够适配诸多应用场景。6LoWPAN网络节点通常是由处理、存储、通信以及能源受限的嵌入式设备组成,其薄弱的安全防护能力容易遭到个域网侧与互联网侧的攻击,借助入侵行为检测技术建立安全屏障,可以有效抵御恶意网络攻击。本文针对6LoWPAN安全问题较为突出的网络层和应用层开展入侵检测技术研究,主要包括四个方面的内容。第一,深入分析入侵与检测的对抗场景,借鉴生物演化中的博弈现象,将其各个要素与演化博弈进行一一对应,抽象出具有有限理性的入侵者群体与检测者群体,并将0day漏洞的出现类比于生物突变机制。第二,根据群体间信息的不对称性,将共同掌握的博弈信息定义为公共知识,将0day为代表的潜在安全威胁定义为潜行知识,采用CVSS v3.0标准量化策略成本与收益,在公共知识信息之上构建入侵检测演化博弈模型(Intrusion-Detection Evolutionary Game Model,IDEGM),通过计算群体复制动态的方程组得到公共知识演化稳定检测策略。第三,为了能检测潜在的入侵行为,定义策略鱼鳔因子γ以指示潜行知识策略是否应该被选取,通过策略之间的原子相关性可以计算γ,最后结合IDEGM设计最佳检测策略选取算法(Optimal Detection Strategy Selection Algorithm,ODSSA)。第四,针对网络层RPL协议的选择转发、陷洞、女巫等攻击和应用层MQTT协议的DoS、远程代码执行、任意内存读取等CVE漏洞,根据ODSSA得到的最佳稳定策略设计原型系统。其中,首次基于开源IDS Suricata扩展了MQTT协议的检测引擎,并提出自适应节能算法(Adaptive Energy Saving Algorithm,AESA)对RPL检测引擎SVELTE做了改进。为验证算法理论和原型系统对入侵行为的检测有效性,以及引入演化博弈对检测率、整体效用和系统资源占用的影响,搭建了实验环境并设计实验测试方案。由实验结果,本文设计的原型系统能够维持90%以上的检测率且将虚警率控制在6%以内,引入博弈决策能够平均提高策略效用值达3.5%,并能够降低检测系统对CPU、内存资源的占用率。最后得出结论,本文提出的检测模型和原型系统能够高效地检测6LoWPAN网络中的入侵行为。