论文部分内容阅读
摘要：本文展现了一种全新的报警响应方法——语音交互，操纵员可通过语音交互系统了解当前电厂中报警产生的原因以及报警有关的信息并逐步指导操纵员对当前发生的报警进行合理而有序的响应；同时支持以语音导航的方式将报警响应所需的显示画面显示在操作站上。本文尝试使用VoiceXML标记语言和语音交互平台初步搭建了集成语音识别和语音合成技术的报警语音信息查询系统。
关键词：语音交互，人机接口，报警响应，VoiceXML
Abstract: this paper reveals a kind of brand-new alarm response method-speech interactive, manipulate member can through the speech interactive system in power plant to know the alarm the causes and alarm the relevant information and guidance to the current control member gradually happened on the reasonable alarm and orderly response; At the same time support to the voice navigation way will alarm the display pictures show response in operating site. This paper tries to use VoiceXML markup language and speech interactive platform preliminarily constructed the integrated voice recognition and speech synthesis technology alarm speech information query system.
Keywords: speech interactive, man-machine interface, alarm response, VoiceXML
中图分类号：TU74文献标识码：A 文章编号：
1概述
人机接口是确保核电厂安全而稳定运行的重要环节，操纵员通过人机接口监视、分析和控制电厂各个系统和设备的运行状态[4]。而未来人机接口将朝着“动用人类各种感官，实现人和计算机的全面沟通”的方向发展，这也符合计算机领域对人机交互自然性越来越重视的理念[8]。同时，随着核电厂全数字化技术的不断发展，相比常规核电厂控制室，全数字化电厂的操纵员需要监控更多的信息和设备，从而使操纵员的工作负荷随之加重。因此，如何继续提高人机交互效率也是发展的重点。现有人机接口输入端的鼠标/键盘组合虽能够以很优化的方式互相配合，但若要进一步提高操纵员的工作效率和交互自然性，则有必要引进新的交互方式。
最新的人机交互方式主要有语音识别、手势识别、视线跟踪等，其中以语音识别的研究时间最长且最为成熟，目前已经在很多领域达到了实用化的程度。语言作为人类日常生活中最常用和最有效的交流方式，有着良好的自然性；而直接的输入方式也决定了其具有很高的效率[2][4]。尤其是在紧急情况下，用语言下达命令无疑更加快捷。
1.1語音交互技术
近年来，语音交互技术取得了长足的进展。面向特殊应用的中小词汇量语音识别技术已经比较成熟，产生了诸如车载导航系统[9]、手机语音拨号系统、电话查询系统等实际应用（见图1-1）。
2002年美国核管会发布的NUREG0700 Rev.2核电厂人机接口评审导则中对采用语音交互技术的人机接口提出了详细的性能要求，并明确了使用语音交互技术可有效的减轻操纵员工作负荷和提高工作效率[1[4]。2005年，IEEE Does speech technology have a place in the control room对语音交互技术在控制室内的应用进行阐述和分析[2]。为了实现语音交互的目的，本文采用VoiceXML标记语言（语音扩展标记语言Voice Extensible Markup Language）实现人机交互。
图1-1 车载语音交互（左）和手机智能语音交互（右）
Fig.1-1 Human-machine Speech Interaction in Vehicle Navigation (left) and in Mobile Phone (right)
1.2VoiceXML
VoiceXML是万维网联盟（W3C）发布的基于XML语言规范基础之上的网络标记语言，通过VoiceXML可创建声音、语音的XML应用程序，以此来描述语音对话的整个过程。[3]本文采用C/S架构来集成语音服务和数据服务。文档和数据服务器处理来自客户应用(VoiceXML 解释器环境中的解释器)发来的数据请求，并以VoiceXML 文档作为回应，返回给解释器来解释执行。VoiceXML解释器环境可以和解释器协作并行地监视处理用户的输入，语音交互平台接受解释环境和解释器的控制。VoiceXML的基本结构见图1-2。
图1-2 VoiceXML基本结构图[3]
Fig.1-2 Fundamental Structure for VoiceXML
2报警系统
2.1报警系统的功能特性
报警系统是核电厂控制室的重要人机接口之一，它及时提醒操纵人员有关核电厂运行状态的变化或运行状态偏离要求的工况，从而使操纵人员有时间采取有效的动作与纠正措施，以避免不必要的限制设施或安全设施驱动，如紧急停堆等[5]。
随着数字化仪控系统引入核电站，一方面计算机数据处理能力和图形化显示技术的提高使得报警系统的智能化从技术上成为可能，呈现在操纵员面前的是与其它人机接口资源高度集成的报警系统。另一方面，报警数量的增加、报警信息的丰富和多样化的人机界面也会给操纵员增加额外的工作负荷。尤其是在瞬态和事故发生时，大量的报警信息将操纵员“淹没”，致使操纵员无法从报警系统立即获取有效信息来采取响应行动，容易发生误操作事件。
2.2语音报警响应的优越性
由于语音报警响应采用了最为自然和高效的人机交互方式进行报警相关信息查询以及工艺流程显示画面的快速导航，因此可有效地减少操纵员的工作负荷，提高报警响应动作的执行效率。同时，考虑到语音交互技术现阶段可能存在一些意想不到的问题。本文在原有数字化电厂报警系统功能和特性的基础上，初步提出了基于语音交互技术对次要或优先级较低且不会产生严重后果的报警信息进行响应的应用探索。
3报警语音响应系统功能
3.1显示画面的快速导航
通过分析语音交互技术目前的进展情况，确认其完全具备在人机界面中应用的可行性。通过与其他输入工具（键盘和鼠标）进行比较，在自然性和操作效率上的优势证实其具有实用价值[2][4]。操纵员可使用语音交互系统获取与当前报警有关的显示画面（包括工艺流程显示画面、软操显示画面、功能/任务画面等），通过语音输入报警点的点名或描述，系统将自动在控制室某一显示终端或大屏幕显示与该报警有关的显示画面，处理流程如下图3-1所示：
图3-1显示画面语音导航处理流程
Fig.3-1 Speech Navigation Workflow for Process Display
3.2 报警信息的语音查询
为了使操纵员能够及时对产生的报警进行响应，应为操纵员或就地/现场运行人员提供以下与当前报警发生报警有关的信息：
报警发生的时间
报警名称和类型
报警整定值和当前值
报警相关的描述
当前报警的重要性（优先级）
允许的报警响应时间
系统或设备产生报警潜在原因
需要执行的纠正动作
为了将上述内容及时提供报警响应人员，本文建立报警语音查询的处理流程如下所述：操纵员通过语音交互系统访问响应报警所需信息，语音交互系统识别操纵员的“人声”通过图1-3中给出解释环境中语音识别模块将语音转换文本，并将文本信息转换计算机命令获取报警系统服务器中电厂数据和报警响应信息；报警系统服务器负责从电厂数据网获取报警有关的信息，最终，语音交互系统根据人机接口层的要求将报警系统提供的一系列信息通过语音合成模块合成“人声”有选择的反馈至人机接口层。
4报警语音响应系统的应用
根据第3章节提出报警语音响应的功能要求，本章尝试使用VoiceXML（以下简称VXML）语言并结合Voxeo语音交互平台（Voxeo是交互式语音应答领域的产品开发商和服务提供商）搭建了集成语音识别和语音合成技术的报警语音响应信息查询的初步应用。
4.1系统架构
平台以C/S三层结构框架设计，前端是操纵员（用户），中间端为VXML处理服务器，后端是报警响应所需数据和文本信息。1）与位于工作站上的操纵员直接通过键盘或鼠标输入相类似的，VXML用户通过语音输入终端（话筒或电话）呼叫报警语音响应系统来访问该应用程序（见图4-1）；2）在VXML服务器收到用户的呼叫后，通过HTTP请求把文件发送和下载到本机进行执行，根据特定应用的需要，VXML服务器可能会发出多个HTTP请求获取和应用有关的其他数据或文本信息，例如操纵员手动操作步骤等。3）然后由VoiceXML解释器组件（图1-3）解释和执行VXML脚本语言并把结果转换成语音传送给用户。
在执行过程中，操纵员可能需要通过语音和VXML服务器进行交互，比如报警类型的选择（选择High或Low的报警响应信息）或者对查询结果进行筛选等。本文给出的VXML服务器通过呼叫控制组件（CCXML Browser），自动语音识别组件（ASR），语音合成组件（TTS）来实现操纵员与电厂报警响应信息的交互。CCXML、ASR和TTS组件功能如下：
ASR (自动语音识别)：是指计算机把用户的语音自动识别成文字信息，便于计算机的进一步处理，从而使得用户可以通过自然语言来控制计算机的执行。
TTS(语音合成)：是由计算机把文本转换为数字语音格式，这种声音听起来会感觉有些机械和不自然，但是输出内容灵活，不受任何限制。
CCXML(呼叫控制XML)：定义了一种提供接收呼入呼叫（包括中间呼叫处理事件）、拨打呼出呼叫（包括呼叫处理分析）以及创建会议呼叫的XML方案。
图4-1 基于VoiceXML的报警语音响应系统的基本架构
Fig.4-1 The Infrastructure for Alarm Speech Response System based on VXML
5总结和展望
本文通过采用VoiceXML语言方便地在现有报警系统的基础上快速而简洁的搭建报警的语音交互应用，通过快速查询与当前报警有关的所有信息，使操纵员根据语音交互系统给出的报警响应提示内容，逐步确认和纠正电厂系统和设备异常工作状态，从而确保电厂的安全而平稳的运行。此外，为了满足报警及时响应、减少操纵员工作负荷的要求，本文还探讨了针对人机接口显示画面快速导航功能的语音应用。通过该功能使用户可以方便和快速的访问报警有关的任意显示画面信息而无需执行过多操作步骤，进而减少了操纵员的工作负荷。
6参考文献
Bill Hollifield and Eddie Habibi, Alarm Management Handbook: A Comprehensive Guide, PAS,2006
Kenneth Huber, Does Speech Technology Have a Place in the Control Room[C], IEEE, 2005
W3C, Voice Extensible Markup Language (VoiceXML v2.1) [EB/O], http://www.w3.org/TR /2007/ REC- voicexml21-20070619/
NUREG0700 Rev.2, Human-System Interface Design Review Guidelines, U.S. Nuclear Regulatory Commission, 2002
IEC 62241, Nuclear power plants Main control room Alarm Functions and Presentation, 2004
ANSI/ISA 18.2, Management of Alarm Systems for the Process Industries, 2009
庾錫昌，基于VoiceXML的语音交互平台的设计与实现[J]，计算机工程与设计，2007
朱全胜等，语音识别技术应用于EMS人机交互初探[J]，电力系统自动化，2008
刘旺，车载导航人机语音交互系统的实现[J]，电子产品世界，2007
张淑慧，报警系统设计方法综述[J]，核科学与工程，2008
注：文章内所有公式及图表请以PDF形式查看。
关键词：语音交互，人机接口，报警响应，VoiceXML
Abstract: this paper reveals a kind of brand-new alarm response method-speech interactive, manipulate member can through the speech interactive system in power plant to know the alarm the causes and alarm the relevant information and guidance to the current control member gradually happened on the reasonable alarm and orderly response; At the same time support to the voice navigation way will alarm the display pictures show response in operating site. This paper tries to use VoiceXML markup language and speech interactive platform preliminarily constructed the integrated voice recognition and speech synthesis technology alarm speech information query system.
Keywords: speech interactive, man-machine interface, alarm response, VoiceXML
中图分类号：TU74文献标识码：A 文章编号：
1概述
人机接口是确保核电厂安全而稳定运行的重要环节，操纵员通过人机接口监视、分析和控制电厂各个系统和设备的运行状态[4]。而未来人机接口将朝着“动用人类各种感官，实现人和计算机的全面沟通”的方向发展，这也符合计算机领域对人机交互自然性越来越重视的理念[8]。同时，随着核电厂全数字化技术的不断发展，相比常规核电厂控制室，全数字化电厂的操纵员需要监控更多的信息和设备，从而使操纵员的工作负荷随之加重。因此，如何继续提高人机交互效率也是发展的重点。现有人机接口输入端的鼠标/键盘组合虽能够以很优化的方式互相配合，但若要进一步提高操纵员的工作效率和交互自然性，则有必要引进新的交互方式。
最新的人机交互方式主要有语音识别、手势识别、视线跟踪等，其中以语音识别的研究时间最长且最为成熟，目前已经在很多领域达到了实用化的程度。语言作为人类日常生活中最常用和最有效的交流方式，有着良好的自然性；而直接的输入方式也决定了其具有很高的效率[2][4]。尤其是在紧急情况下，用语言下达命令无疑更加快捷。
1.1語音交互技术
近年来，语音交互技术取得了长足的进展。面向特殊应用的中小词汇量语音识别技术已经比较成熟，产生了诸如车载导航系统[9]、手机语音拨号系统、电话查询系统等实际应用（见图1-1）。
2002年美国核管会发布的NUREG0700 Rev.2核电厂人机接口评审导则中对采用语音交互技术的人机接口提出了详细的性能要求，并明确了使用语音交互技术可有效的减轻操纵员工作负荷和提高工作效率[1[4]。2005年，IEEE Does speech technology have a place in the control room对语音交互技术在控制室内的应用进行阐述和分析[2]。为了实现语音交互的目的，本文采用VoiceXML标记语言（语音扩展标记语言Voice Extensible Markup Language）实现人机交互。
图1-1 车载语音交互（左）和手机智能语音交互（右）
Fig.1-1 Human-machine Speech Interaction in Vehicle Navigation (left) and in Mobile Phone (right)
1.2VoiceXML
VoiceXML是万维网联盟（W3C）发布的基于XML语言规范基础之上的网络标记语言，通过VoiceXML可创建声音、语音的XML应用程序，以此来描述语音对话的整个过程。[3]本文采用C/S架构来集成语音服务和数据服务。文档和数据服务器处理来自客户应用(VoiceXML 解释器环境中的解释器)发来的数据请求，并以VoiceXML 文档作为回应，返回给解释器来解释执行。VoiceXML解释器环境可以和解释器协作并行地监视处理用户的输入，语音交互平台接受解释环境和解释器的控制。VoiceXML的基本结构见图1-2。
图1-2 VoiceXML基本结构图[3]
Fig.1-2 Fundamental Structure for VoiceXML
2报警系统
2.1报警系统的功能特性
报警系统是核电厂控制室的重要人机接口之一，它及时提醒操纵人员有关核电厂运行状态的变化或运行状态偏离要求的工况，从而使操纵人员有时间采取有效的动作与纠正措施，以避免不必要的限制设施或安全设施驱动，如紧急停堆等[5]。
随着数字化仪控系统引入核电站，一方面计算机数据处理能力和图形化显示技术的提高使得报警系统的智能化从技术上成为可能，呈现在操纵员面前的是与其它人机接口资源高度集成的报警系统。另一方面，报警数量的增加、报警信息的丰富和多样化的人机界面也会给操纵员增加额外的工作负荷。尤其是在瞬态和事故发生时，大量的报警信息将操纵员“淹没”，致使操纵员无法从报警系统立即获取有效信息来采取响应行动，容易发生误操作事件。
2.2语音报警响应的优越性
由于语音报警响应采用了最为自然和高效的人机交互方式进行报警相关信息查询以及工艺流程显示画面的快速导航，因此可有效地减少操纵员的工作负荷，提高报警响应动作的执行效率。同时，考虑到语音交互技术现阶段可能存在一些意想不到的问题。本文在原有数字化电厂报警系统功能和特性的基础上，初步提出了基于语音交互技术对次要或优先级较低且不会产生严重后果的报警信息进行响应的应用探索。
3报警语音响应系统功能
3.1显示画面的快速导航
通过分析语音交互技术目前的进展情况，确认其完全具备在人机界面中应用的可行性。通过与其他输入工具（键盘和鼠标）进行比较，在自然性和操作效率上的优势证实其具有实用价值[2][4]。操纵员可使用语音交互系统获取与当前报警有关的显示画面（包括工艺流程显示画面、软操显示画面、功能/任务画面等），通过语音输入报警点的点名或描述，系统将自动在控制室某一显示终端或大屏幕显示与该报警有关的显示画面，处理流程如下图3-1所示：
图3-1显示画面语音导航处理流程
Fig.3-1 Speech Navigation Workflow for Process Display
3.2 报警信息的语音查询
为了使操纵员能够及时对产生的报警进行响应，应为操纵员或就地/现场运行人员提供以下与当前报警发生报警有关的信息：
报警发生的时间
报警名称和类型
报警整定值和当前值
报警相关的描述
当前报警的重要性（优先级）
允许的报警响应时间
系统或设备产生报警潜在原因
需要执行的纠正动作
为了将上述内容及时提供报警响应人员，本文建立报警语音查询的处理流程如下所述：操纵员通过语音交互系统访问响应报警所需信息，语音交互系统识别操纵员的“人声”通过图1-3中给出解释环境中语音识别模块将语音转换文本，并将文本信息转换计算机命令获取报警系统服务器中电厂数据和报警响应信息；报警系统服务器负责从电厂数据网获取报警有关的信息，最终，语音交互系统根据人机接口层的要求将报警系统提供的一系列信息通过语音合成模块合成“人声”有选择的反馈至人机接口层。
4报警语音响应系统的应用
根据第3章节提出报警语音响应的功能要求，本章尝试使用VoiceXML（以下简称VXML）语言并结合Voxeo语音交互平台（Voxeo是交互式语音应答领域的产品开发商和服务提供商）搭建了集成语音识别和语音合成技术的报警语音响应信息查询的初步应用。
4.1系统架构
平台以C/S三层结构框架设计，前端是操纵员（用户），中间端为VXML处理服务器，后端是报警响应所需数据和文本信息。1）与位于工作站上的操纵员直接通过键盘或鼠标输入相类似的，VXML用户通过语音输入终端（话筒或电话）呼叫报警语音响应系统来访问该应用程序（见图4-1）；2）在VXML服务器收到用户的呼叫后，通过HTTP请求把文件发送和下载到本机进行执行，根据特定应用的需要，VXML服务器可能会发出多个HTTP请求获取和应用有关的其他数据或文本信息，例如操纵员手动操作步骤等。3）然后由VoiceXML解释器组件（图1-3）解释和执行VXML脚本语言并把结果转换成语音传送给用户。
在执行过程中，操纵员可能需要通过语音和VXML服务器进行交互，比如报警类型的选择（选择High或Low的报警响应信息）或者对查询结果进行筛选等。本文给出的VXML服务器通过呼叫控制组件（CCXML Browser），自动语音识别组件（ASR），语音合成组件（TTS）来实现操纵员与电厂报警响应信息的交互。CCXML、ASR和TTS组件功能如下：
ASR (自动语音识别)：是指计算机把用户的语音自动识别成文字信息，便于计算机的进一步处理，从而使得用户可以通过自然语言来控制计算机的执行。
TTS(语音合成)：是由计算机把文本转换为数字语音格式，这种声音听起来会感觉有些机械和不自然，但是输出内容灵活，不受任何限制。
CCXML(呼叫控制XML)：定义了一种提供接收呼入呼叫（包括中间呼叫处理事件）、拨打呼出呼叫（包括呼叫处理分析）以及创建会议呼叫的XML方案。
图4-1 基于VoiceXML的报警语音响应系统的基本架构
Fig.4-1 The Infrastructure for Alarm Speech Response System based on VXML
5总结和展望
本文通过采用VoiceXML语言方便地在现有报警系统的基础上快速而简洁的搭建报警的语音交互应用，通过快速查询与当前报警有关的所有信息，使操纵员根据语音交互系统给出的报警响应提示内容，逐步确认和纠正电厂系统和设备异常工作状态，从而确保电厂的安全而平稳的运行。此外，为了满足报警及时响应、减少操纵员工作负荷的要求，本文还探讨了针对人机接口显示画面快速导航功能的语音应用。通过该功能使用户可以方便和快速的访问报警有关的任意显示画面信息而无需执行过多操作步骤，进而减少了操纵员的工作负荷。
6参考文献
Bill Hollifield and Eddie Habibi, Alarm Management Handbook: A Comprehensive Guide, PAS,2006
Kenneth Huber, Does Speech Technology Have a Place in the Control Room[C], IEEE, 2005
W3C, Voice Extensible Markup Language (VoiceXML v2.1) [EB/O], http://www.w3.org/TR /2007/ REC- voicexml21-20070619/
NUREG0700 Rev.2, Human-System Interface Design Review Guidelines, U.S. Nuclear Regulatory Commission, 2002
IEC 62241, Nuclear power plants Main control room Alarm Functions and Presentation, 2004
ANSI/ISA 18.2, Management of Alarm Systems for the Process Industries, 2009
庾錫昌，基于VoiceXML的语音交互平台的设计与实现[J]，计算机工程与设计，2007
朱全胜等，语音识别技术应用于EMS人机交互初探[J]，电力系统自动化，2008
刘旺，车载导航人机语音交互系统的实现[J]，电子产品世界，2007
张淑慧，报警系统设计方法综述[J]，核科学与工程，2008
注：文章内所有公式及图表请以PDF形式查看。