在夸克模型中,强子由一对正反夸克或三个夸克组成；而描述强相互作用的基本理论——量子色动力学（QCD）——预言胶球、混杂态和多夸克态这些新型强子的存在。因此在实验上寻找新型强子对检验和发展QCD具有重要意义,也是许多高能物理实验的重要物理目标之一。北京谱仪Ⅲ （BESⅢ）的工作能区在2 GeV至4.6 GeV,为τ-粲能区物理的详细研究提供了条件和机遇。J/ψ衰变一直被认为是寻找和研究新型强子的理想场所。利用BESⅢ实验采集的世界上最大的J/ψ数据样本,本论文开展了J/ψ衰变中新型强子的寻找和研究,并对轻介子η’衰变作了深入的研究。首先,本文利用BESⅢ采集的1.31×109个J/ψ事例,在J/ψ→γ3（π+π-）过程中确认了X（1840）的存在；同时,首次在3（π-+π-）不变质量谱上pp质量阈附近观测到了显著的“快速下降”形状,并采用了两种参数化方式对3（π+π-）不变质量谱进行拟合。第一种方案采用Flatte形式描述X（1840）的谱形,拟合给出g2pp/g02=3.68±0.57（stat.）;gpp2/g02代表X（1840）衰变中pp衰变道的耦合强度和其它衰变道耦合强度之和的比值,说明X（1840）和pp衰变道有很强的耦合。第二种方案采用相干涉的Breit-Wigner函数描述X（1840）的谱形,拟合给出X（1840）的质量为M=1821.0±5.1±4.9 MeV/c2,宽度为Γ =71.1±12.0±13.9 MeV,级联衰变分支比为B（J/ψ→γX）·B（X→ 3（π+π-））=（1.29±0.09±0.22）×10-5;与X（1840）发生干涉的共振态的质量、宽度、分支比分别为M = 1877.3±3.4±3.0 MeV/c2,Γ = 33.4±7.3±4.5 MeV, B（J/ψ→γX）·13（X→3（π+π-）） = （0.76±0.05±0.14）×10-5,其统计显著性大于3σ。这两种方案都能合理地描述不对称的3（π+π-）不变质量谱,且以大于3σ的统计显著性观测到X（1840）和pp质量阈存在关联的迹象,这说明可能存在一个与质子-反质子耦合很强的粒子。其次,利用BESⅢ采集的1.31×109个J/ψ事例,对η’→γπ+π-的衰变机制进行研究。分别采用模型依赖和模型无关的两种参数化方式描述π+π-不变质量谱：模型依赖的研究表明仅考虑ρ（770）共振态的贡献或ρ（770）与ω两者的贡献,均不能描述实验数据。引入ρ（1450）共振态或者box anomaly的贡献后,模型能够较好地描述数据。但由于二者在η’衰变中的分布非常相似,目前,还不能完全确定额外的贡献是完全来自p（1450）或box anomaly.模型依赖拟合测得的ρ（770）共振态的质量、宽度与Crystal Barrel实验组的结果一致。本论文还对η’衰变到γρ（770）的分支比和η’通过ω、ρ（1450）（box anomaly）衰变到γπ+π-的级联分支比进行了测量,其中ρ（1450）（box anomaly）的级联分支比的测量为世界上的首次测量。模型无关的研究表明在认为η’→βπ+π-过程为P波贡献主导下,P波函数的二次展开项及ω贡献的引入都是必须的,ω信号的统计显著性大于34σ。最后,利用BESIII于2009年采集的2.25×108个J/ψ事例,对J/ψ→γη’,η’→π+π-l+l-（l=e,μ）衰变过程进行了研究。在π+π-e+3不变质量谱上观测到一个清楚的η’信号,通过质量谱的拟合和详细的系统误差分析,我们测量了其衰变分支比为召（η’→π+π-e+3-）=（2.11±0.12±0.14）×10-3。该测量结果与理论预言值吻合得很好,同时也与CLEO实验组的测量结果在误差内一致,且测量精度得到显著提高。而在π+π-μ+μ-不变质量谱上没有观测到明显的η’信号,因此给出了分支比上限B（η’→π+π-μ+μ-）在90%的置信水平上小于2.9×10-5。