论文部分内容阅读
随着人机交互技术的发展，用户界面经历了批处理、命令行、图形用户界面的变迁。基于WIMP范式的图形用户界面由于其所见即所得的直接操作方式，成为并且仍是主流用户界面。然而，随着计算机应用的普及，WIMP界面的不足也日益凸显出来，基于鼠标/键盘的单焦点交互方式没有充分利用人们丰富的感知器官，无法在信息空间和物理空间之间建立自然的映射。基于多点触控技术的计算机输入、输出同位，能同时响应多个输入焦点，允许用户更加自然地使用多个手指直接操作数字对象。这种交互方式使人们摆脱了传统鼠标、键盘的束缚，是一种更自然的交互方式。近几年，多点触控技术发展迅速，已被广泛应用于多种类型的数字设备上，如手持智能设备、笔记本电脑、垂直显示屏等。交互桌面(Interactive Tabletops and Surfaces，简称ITS)是基于围桌协作理念发展起来的一种多点触控交互形式，可作为多用户面对面信息交流的媒介，在军事、教育、娱乐、设计等领域有着广阔的应用前景。
ITS用户界面与传统的WIMP界面有很大的不同，具有一系列鲜明的特征，包括:水平显示、多用户协同工作并行输入、多指手势/数字笔等灵活多样的多通道交互方式、等等。这些特点使得原本适用于WIMP界面的界面设计方法及开发工具难以直接应用于ITS用户界面。构造ITS用户界面面临一系列挑战:其一，用户界面设计缺少具体的理论和方法指导。ITS用户界面设计人员多是凭借经验或直觉对界面进行设计，这给界面的可用性带来了很大隐患;其二，用户界面开发缺少适合的工具。ITS界面构造涉及图像处理、模式识别等多个领域、学科的交叉，是一项复杂的系统工作。基于WIMP范式设计的界面工具不能有力地支持ITS用户界面的开发，开发人员不得不做大量的底层算法实现。需要适用于ITS界面开发的界面工具以降低系统开发门槛、提高系统开发效率;其三，具体的交互设计过程中还有一些基本的关键技术尚待解决。如双手非对称交互所需触点左右手信息的提取问题，基于多触点输入的用户意图理解问题以及基于多指手势的多用户同位信息共享交互技术的设计与实现。
本文正是从以上问题出发，围绕ITS用户界面，从理论、方法与应用三个层面展开深入研究。总体研究思路为:理论层面上，通过研究ITS用户界面特点，提出用户界面范式OCAL，并建立了基于OCAL范式的ITS用户界面模型ITSUIM，对ITS界面的组成作了形式化描述。方法层面上，在ITSUIM模型的指导下，提出ITS用户界面软件框架，并实现了基于该软件框架的界面工具MTBuilder;此外，还对该软件框架的底层关键技术触点信息提取做了深入研究，提出一种不需辅助硬件设备的触点左右手识别方法。应用层面上，将上述理论与方法应用于城市规划原型系统，对本文方法的有效性进行验证。
本文的主要创新点在于:
1.提出了一种用户界面范式OCAL和相应的界面模型ITSUIM针对ITS用户界面设计缺少理论指导的问题，本文在对ITS用户界面交互特征深入分析的基础上，提出了OCAL界面范式，其中OCA表示Objects、Containers、Adonrners，是交互输出基本元素;L表示Languages，是交互输入方式的抽象。该范式从信息呈现方式和交互方式两方面体现了ITS用户界面特点，符合交互桌面的交互特征;建立了基于OCAL界面范式的ITS界面模型ITSUIM，给出了ITS用户界面组成元素用户模型、领域模型、任务模型、表征模型、对话模型，该模型能够有效地描述ITS用户界面。该部分研究内容为ITS用户界面的设计提供了指导，同时也是本文后续研究内容的理论基础。
2.提出了一个界面软件框架并实现了一个基于该框架的界面工具MTBuilder针对ITS用户界面开发难的问题，提出了一个基于ITSUIM模型的ITS界面软件框架。该框架通过触点信息提取模块获取用户输入的交互信息，并使用界面组件管理机制和多指手势交互机制对可旋转界面组件及并发多指手势进行管理。基于该软件框架及交互机制，我们设计实现了MTBuilder界面开发工具。用户可以用MTBuilder来建立整体的软件体系架构和交互机制，并按照领域需求为系统添加MTBuilder所提供的交互组件。该界面工具的使用有助于用户将精力集中在领域功能的实现上。
3.提出了一种基于手的解剖结构模型的多触点左右手识别算法多触点信息的提取是上述软件框架的一个重要模块，是多点触控交互技术实现的基础。触点左右手信息对于多指手势识别、丰富交互技术尤其是双手非对称交互技术有重要意义。针对现有ITS界面的多触点信息提取缺少触点左右手归属信息的问题，本文在触点检测的基础上，基于手的解剖结构特征提出一种不需辅助硬件设备的触点左右手归属判定方法。实验评估表明该方法可有效识别触点的左右手信息。此外对基于触点左右手信息的ITS双手非对称交互技术做了初步的研究。该算法实现被集成到多触点跟踪包EMTDriver中，应用程序开发人员可以很方便地使用触点的左右手信息。
4.研究成果在典型应用领域城市规划中的应用针对目前城市规划系统对协同编辑支持不够的问题，本文对ITS在城市规划领域的应用做了初步探索。首先对城市规划领域的交互需求做了详细的分析;在此基础上，基于OCAL范式进行交互设计，其中包含多指手势交互技术、双手非对称交互技术、基于个人小窗口的同位协同等多项ITS交互技术;最后基于上述软件框架及工具平台实现了城市规划原型系统。应用实例表明，本文研究成果既具有理论价值又具有应用价值。