石墨烯是由单层碳原子通过sp2杂化紧密堆积成的具有蜂窝状晶格结构的二维碳材料。石墨烯自2004年发现以来,由于其具有特殊的纳米结构以及优异的性能,已在材料科学、物理学、化学、生物和医学等诸多领域显示出了巨大的应用潜能,引起了各领域科学工作者的广泛关注。具有单原子层厚度二维材料石墨烯的成功制备,似乎违背了二维晶体不能稳定存在的传统观点。虽然近期理论模拟和透射电镜实验结果都认为微观扭曲是石墨烯在有限温度下能够稳定存在的根本原因,但石墨烯表面纳米级别的扭曲能在多大程度上稳定其二维结构,或者说什么因素能引发石墨烯的平面状结构发生转变,到目前为止,还没有统一的理论能够完整的描述,相关的基本物理和化学问题也亟待解决。而且,目前对于石墨烯的性质和应用研究都是以其二维平面状结构为基础的。由于尺寸或外界环境引起的卷曲、折叠或其他形变,会导致石墨烯失去其理想的机械、光学和导电等特性。因此研究石墨烯的不稳定性及相变条件、过程及机制是一个非常重要的课题,对石墨烯的实际应用至关重要。本论文以石墨烯和纳米粒子为重点研究对象,旨在通过分子动力学模拟(molecular dynamics simulation, MD)的方法对石墨烯和纳米粒子之间的相互作用进行深入的研究和探讨,揭示纳米粒子诱发的石墨烯不稳定性,分析石墨烯的自卷曲包覆行为及结构演化机制,并探索相互作用机理。论文的主要内容和主要结果如下：(1)通过分子动力学模拟研究了石墨烯和金属Ni纳米线之间的自组装行为,探讨了石墨烯手性和金属纳米线的尺寸、形状对石墨烯稳定性及结构的影响。发现Ni纳米线能够帮助石墨烯克服能垒,并提供驱动力激发石墨烯在其表面快速的自卷曲。势能曲线显示石墨烯的自卷曲是一个能量降低的过程。利用这种自卷曲行为,实现了石墨烯包覆金属纳米线从而获得了石墨烯卷与金属纳米线的复合纳米结构。石墨烯与金属纳米线的自组装行为从理论上提供了一种简便地制备金属／碳核壳结构的方法,与传统的制备方法相比较,这种自组装方法可在室温下进行,并且两种组成部分的尺寸、结构等可以被精确控制。该方法远比把金属填充到碳纳米管里更简便,这对石墨烯的实际应用具有非常重要的意义。(2)在上一部分的基础上,进一步研究了石墨烯与金属Fe纳米线之间的相互作用,探讨了石墨烯尺寸、石墨烯和纳米线的相对位置对石墨烯稳定性及结构的影响。结果表明石墨烯的平面状二维结构是不稳定的,处于亚稳态,当其亚稳态被打破的时候,其结构就会发生突变。体系势能的降低表明石墨烯在Fe纳米线表面的自卷曲是自发的,且体系在这个过程中越来越稳定。石墨烯的自卷曲和最终形成的纳米复合结构可以通过石墨烯和Fe纳米线的相对位置、初始角和石墨烯的宽度进行控制。利用分子动力学模拟结合密度泛函理论和热力学揭示了石墨烯和金属纳米线之间的相互作用机理。推导出了石墨烯发生相变的条件及驱动力,提出的热力学模型可以预测由Fe纳米线诱导的石墨烯结构转变过程,并利用该模型解释了石墨烯不稳定性及自卷曲包覆行为。(3)系统研究了石墨烯纳米带与单壁碳纳米管之间的相互作用,探讨了石墨烯纳米带的宽度和碳纳米管的手性及尺寸对石墨烯纳米带形态的影响,并解释了相互作用机理,加深了对二维材料结构稳定性的认识。实现了石墨烯纳米带对碳纳米管外壁自发的螺旋缠绕以及对碳纳米管内受限空间有效填充。石墨烯纳米带螺旋依附在碳纳米管管壁形成了牢固的复合结构。当碳纳米管的空腔被石墨烯纳米带填满以后,石墨烯纳米带的头部会被先前形成的螺旋结构的内部空间捕获,在碳纳米管的一端形成双层的螺旋结构。两根石墨烯纳米带则在碳纳米管外壁及内腔中形成类似双链DNA的双螺旋结构。石墨烯纳米带形成的螺旋结构非常类似于自然界中常见的螺旋。石墨烯纳米带螺旋的形成是范德华相互作用、错位面对面π-π堆积和石墨烯纳米带边缘悬键共同作用的结果。螺旋结构的产生是能量最小、结构最稳定、最大限度占有空间的客观要求。石墨烯纳米带对碳纳米管螺旋缠绕的速度明显低于其螺旋填充碳纳米管的速度。碳纳米管的直径和手性对石墨烯纳米带缠绕速度的影响很小,但是螺旋填充的速度受碳纳米管直径的影响非常明显。从理论上证明了石墨烯纳米带可以作为传送带在纳米尺度空间实现药物及其他物质的有效输运。本论文的研究结果对于在原子层次深入理解石墨烯的热力学稳定性和结构转变、探索石墨烯的奇异性质具有重要意义,为开发利用石墨烯和纳米颗粒形成的复合材料,以及将石墨烯的应用扩展到其他领域提供了重要的理论指导。