本文针对机器人学研究中模块化自组机器人这一新兴领域,研究了机器人设计和自组织算法设计问题。目前的模块自组织机器人结构较为简单,体型偏大,大多自组织机器人难以实现自组织任务,效率低下。所以对模块自组织机器人硬件结构进行改进,以及在此基础上进行多机器人自组织控制问题是一个值得探讨和亟待研究的新课题。首先,本文设计的机器人,兼具了自装配和自重构的特点,进行了模块化自组织机器人的机械结构整体方案的设计。设计了模块机器人的壳体,机械传动方式,转动关节驱动结构以及模块连接结构,明确了零部件的选型。基于SolidWorks进行虚拟样机的设计以及建模,设计一种同构模块自组织机器人。其次,对模块自组织机器人的控制及视觉定位系统进行设计。包括控制系统硬件的设计以及控制系统电路的设计,完成了相关硬件产品的选型并最终搭建完成五个实验样机。利用OpenMV机器人视觉模块完成了对AprilTag中的ID识别及其一系列相对应的视觉定位实验。之后,依据强化学习理论,结合强化学习在做决策方面的优势以及多模块自组织机器人多种编队的特点,介绍了学习与规划决策复用框架体系思想,将该模块化的思想融入分层强化学习中,模块化的算法与模块化的机器人有机的嵌合在一起。结合自身的课题,提出了基于未知环境基于强化学习路径规划算法,该算法为分层强化学习的下层算法,将其用Python语言实现,并给出仿真结果。接着详细描述了基于PS机制的强化学习算法,并结合自身的课题对该算法进行了一定的改良,将改良后的算法用于分层强化学习的上层多体决策过程中,并对改进后的基于PS机制的强化学习算法与原算法进行了对比。最后基于搭建的自组织机器人的五个子模块实物样机与上位机监控界面,在自行创建的实验环境下,对设计的新型模块自组织机器人进行了一系列的实验。包括自组织机器人识别以及目标寻找实验,自组织机器人移动导航实验,自组织机器人对接以及释放实验,自组织机器人装配实验,多模块机器人的菱形、蛇形编队实验以及基于强化学习的模块机器人对接实验和决策实验。本课题为将来的控制研究工作提供了相应的硬件平台和算法基础。