目前正在研发的VVC、AV1、AVS3等新一代编码标准提高编码效率的手段主要是通过更多模式或更复杂的变换来提高压缩效率。本质上是在用巨大的时间复杂度换取有限的空间复杂度。本文则从主观视觉质量的角度探寻提高编码效率的可能性。传统视频编码技术一直使用客观评价指标作为失真衡量方法,仍然难以代替人眼主观效果评判。本文以基于主观效果的视频编码优化技术为研究主题,重点研究人眼主观感受指标的建模。进一步使用主观指标优化传统编码的率失真优化过程和码率控制过程,从而使重建视频取得更好的人眼主观效果。主要研究内容分为三部分:（1）分析了传统提取人眼主观感知指标的方法和优化视频编码过程的方法。结合自由能原理在人眼视觉中的应用,提出了三个人眼主观感知指标,并能在较短的时间复杂度计算出来,使其能够应用在视频编码领域。所提出的主观感知指标能够更接近人眼的主观感受,能够使用它降低视频的视觉冗余信息。（2）分析了传统编码的率失真技术原理,利用主观感受指标优化率失真过程。率失真过程可以认为是在在失真和码率上做一个抉择,而传统的率失真使用的失真指标一直都是客观指标。提高失真中的主观指标权重能让率失真优化选择更合适的编码模式,从而编码出人眼视觉质量更高的图像。（3）分析了 HEVC编码器码率控制算法的原理、优点和存在的问题。通过对运动强度和场景切换进行预测,优化了帧级比特分配的过程。通过对显著性区域和结构纹理内容的检测,优化了 CTU级比特分配的过程。开启码率控制编码时,帧级和CTU级分配的比特能够和图像的复杂度更加匹配,从而获得主观视觉效果的提升。全文工作以HEVC标准的HM16.17参考软件和x2653.4商用编码器进行测试。大规模的测试结果表明:所提出的基于主观感知的率失真优化算法在RA模式下显著区域PSNR-Y和SSIM-Y指标分别提升了 0.40%和2.00%,整体区域PSNR-Y指标降低了了 0.59%,SSIM-Y指标提升了 0.72%。所提出的基于主观感知的码率控制算法在RA模式下PSNR-Y指标提升了 0.73%,SSIM-Y指标提升了1.38%,码率控制误差在0.47%。在LD模式下PSNR-Y指标提升了 0.30%,SSIM-Y指标提升了 0.82%,码率控制误差在0.23%。