随着人工智能（Artificial Intelligence,AI）技术的发展,神经网络被广泛应用于各类任务中。但由于神经网络对硬件性能要求较高,传统的本地端设备受成本、算力、内存、功耗等因素的影响,还不足以承担起完整的网络推理任务,所以这些网络大多运行于云端高性能服务器上,由本地端设备获取信息后上传至云端服务器完成计算。这意味着,任务的完成时间不仅依赖于云端计算能力,还依赖于网络通信状况。在通信状况较差的情况下,原始数据的上传可能会消耗大量时间,导致任务无法及时完成。因此,对于低时延神经网络推理任务,如何降低由于通信和计算能力不足对推理时延与精度带来的影响是需要解决的问题。以此为动机,本文从算法层面与硬件层面两个角度对该问题展开研究。具体内容如下:对于通信受限状况下神经网络低时延推理问题,本文使用云边协同的分层神经网络结构,在此基础上提出一种基于阈值的数据量化和退出（Threshold-based Data Quantization and Exit,TDQE）方法对分层点数据进行优化处理。为了最大化利用通信资源,本文对分层点数据进行分类处理:不同程度的量化后上传或者在本地提前退出。为了获得可靠的分类阈值,将该问题建模成一个通信约束下的精度优化问题,并通过线性规划方式进行求解,为了降低量化对精度带来的不良影响,进一步调整了数据的量化范围,并且对两者进行了联合优化。基于优化方案,本文提出实际场景下的数据分类处理实施算法,包括TDQE网络构建算法与数据实时分类处理算法。与两种传统方法相比,TDQE方法更好地实现了实时性与准确性的平衡。对于计算受限状况下神经网络低时延推理问题,本文对图像处理任务中经常使用的边缘检测算子进行运行速率调优。首先,使用C语言对边缘检测算子进行功能实现,包括构建C语言版本的开发框架和测试框架、定义基本的数据类型、实现相关的工具函数、完成边缘检测算子的功能开发、完成功能准确性测试等过程。然后对算子进行硬件层面优化:将单指令多数据（Single Instruction Multiple Data,SIMD）加速思想应用到边缘检测算子的加速上,使用ARM NEON指令集对边缘检测过程中计算量集中的卷积操作进行优化,并内联至原算子,以便在适配的硬件平台上进行调用;此外,使用开放计算语言（Open Computing Language,OpenCL）框架对边缘检测算子进行并行加速,使用OpenCL C编程语言编写内核函数完成计算单元逻辑处理,算子运算过程中OpenCL框架可在硬件上实现数据并行处理。实验结果表明,使用SIMD方式和OpenCL框架对边缘检测算子进行加速后,有着更高的运行效率。最后为了测试所提算法在实际场景中的效果,本文借助HiLens平台进行了实验。选择具备AI推理能力的多媒体终端设备和高性能服务器作为硬件环境,在HiLens平台支持的开发框架与开发环境下进行任务开发,对分层神经网络TDQE方法在通信受限状况下的性能表现与边缘检测算子两种方式下的性能优化效果进行实验。实验结果表明,TDQE方法相对于两种传统算法有更好的实时性与准确性表现,同时经过加速后的边缘检测算子有着更高的运行效率,即上述优化算法在实际硬件应用中取得了更好的性能表现。