Context-based Human-Machine Interaction Framework for Arti ficial Social Companions

Abstract

This thesis addresses the problem of auto-adaptation of interfaces and interaction strategies in human-machine interaction by formulating an approach that looks into the complete combinations of components available to implement a functionality and considers context information at each moment to optimize the sequence of components (e.g. algorithms) that implement a given functionality. Our main purpose was to understand how agent’s performance is affected when interaction workflows are incorporated in its information model and decision-making process. The research question being addressed can be stated as: What approach can we follow to achieve adaptive interaction functionalities in artificial social companions? We believe that part of the solution to this problem is to incorporate redundancy and fall-back strategies in terms of interaction functionalities that result in the agent’s self-adaptation to its context (e.g. user model and environment conditions). Therefore, our hypothesis is that, we can overcome limitations of current interaction functionalities by integrating contextual information to improve algorithms accuracy when performing under very different conditions, to select most adequate algorithms to provide a given functionality, and to adapt interfaces and interaction patterns according user intentions and emotional states. In Human-Machine Interaction, we aim to define a general human model that may lead to principles and algorithms allowing more natural and effective interaction between humans and artificial systems. In the case of artificial social companions, systems must incorporate features that allow an agent to be capable of delivering a sociable experience with the user. The associated technological challenges include active perception features, mobility in unstructured environments, understanding human actions, detect human behaviours and predict human intentions, access to large repositories of personal and social related data, adapt to changing context. These features are paramount for applications in the field of Active and Assisted Living (AAL), where the primary goal is to provide solutions that help people through ageing, by promoting active and healthy living. Our hypothesis, assume that any agent's architecture can be described as a network topology of algorithms and we can find redundant sequences of algorithms (i.e., paths in the network) that implement the same functionality. In these conditions, auto-adaptation will be facilitated by introducing a decision process that considers the context at a given moment to select the best sequence of algorithms, in which requirements are satisfied by the current context. To test this hypothesis, we are proposing a framework that captures the expected behaviour of the agent into descriptive scenarios, then translates these into the agent’s information model and use the resulting representation in probabilistic planning and decision-making to control interaction. Our expectation was that adopting this framework could reduce errors and faults on agent’s operation, resulting in an improved performance while interacting with the user. We designed and implemented two different approaches of artificial social companions. In both systems, we implemented various degrees of human interaction and autonomy that aimed to perform cognitive-like functions and accomplish real-time time goals in terms of interaction and self-sufficiency. This means, user and agent could interact through multiple modalities, which included speech commands, gestures, touch screen, and human interface devices (e.g. keyboard and computer mouse). In both cases, we dedicated most of our efforts developing perception capabilities, user interfaces and integration of these core components that resulted in two fully functional systems. The results, from our different experiments, confirmed that our approach can improve agent's performance, maintaining precision while improving specificity. Although, we consider that designing and implementing interaction workflows in artificial social companions is still challenging and it worth more research. We believe this study will contribute to the field of Human-Machine Interaction, with specific application to Artificial Social Companions for Active and Assisted Living. It will help overcoming the limitations imposed by approaches that use pre-defined static models for agent's behaviour resulting in non-natural interaction, which will result in improving the usability of these systems.

Esta tese aborda o problema da auto-adaptação de interfaces e estratégias de interação na interação homem-máquina, formulando uma abordagem que analisa as combinações completas de componentes disponíveis para implementar uma funcionalidade considerando o contexto em cada momento para otimizar a sequência de componentes (e.g. algoritmos) que implementam uma determinada funcionalidade. O nosso objetivo principal foi entender como o desempenho do agente é afetado quando integramos planos de interação no seu modelo de informação e na sua camada de decisão. A questão que foi abordada pode ser enunciada como: Qual abordagem podemos seguir para alcançar funcionalidades de interação adaptativa em companheiros sociais artificiais? Acreditamos que parte da solução para este problema é incorporar estratégias de redundância e tolerância a falhas, em termos de funcionalidades de interação, que resultem na auto-adaptação do agente ao seu contexto (por exemplo, modelo do utilizador e condições ambientais). Portanto, a nossa hipótese é que podemos superar as limitações das abordagens atuais para interação, integrando informações de contexto para melhorar a performance dos agentes a operarem em condições muito diferentes, selecionando os algoritmos mais adequados para fornecer uma determinada funcionalidade e adaptar a interação de acordo com as expectativas do utilizador. Na Interação Homem-Máquina, pretendemos definir um modelo do utilizador que possa levar a uma interação mais natural e efetiva entre humanos e sistemas artificiais. No caso de companheiros sociais artificiais, os sistemas devem incorporar recursos que permitam que um agente seja capaz de fornecer uma experiência social com o utilizador. Os desafios tecnológicos associados incluem percepção ativa, mobilidade em ambientes não estruturados, compreensão de ações humanas, detecção de comportamentos humanos e predição de intenções humanas, acesso a grandes repositórios de dados pessoais e sociais, adaptação ao contexto. Esses recursos são relevantes para aplicações no campo do Vida Ativa e Assistida (AAL), onde o principal objetivo é fornecer soluções que ajudem as pessoas durante o seu envelhecimento, promovendo uma vida ativa e saudável. Na nossa hipótese, assumimos que a arquitetura de qualquer agente pode ser descrita como uma rede de algoritmos e onde conseguimos encontrar sequências redundantes (isto é, caminhos na rede) que implementam a mesma funcionalidade. Nessas condições, a auto-adaptação será facilitada pela introdução de um processo de decisão que considere o contexto num momento determinado para selecionar a melhor sequência de algoritmos, para os quais os requisitos são satisfeitos pelo contexto atual. Para testar esta hipótese, propomos uma abordagem que captura o comportamento esperado para o agente através da descrição de cenários de operação, traduzindo e incorporando esses cenários para o modelo de informação do agente e, posteriormente, utilizando a representação resultante no planeamento probabilístico e controlo de ações na interação. A nossa expectativa foi que a adoção desta abordagem poderia reduzir erros e falhas na operação do agente, resultando num desempenho melhor ao interagir com o utilizador. Assim, implementamos duas abordagens diferentes de companheiros sociais artificiais. Em ambos os sistemas, implementamos vários graus de interação com o utilizador. Isso significa que o utilizador e o agente podem interagir através de múltiplas modalidades, que incluem comandos de fala, gestos, ecrã táctil e dispositivos de interface humana (por exemplo, teclado e rato de computador). Em ambos os casos, dedicamos a maior parte dos nossos esforços no desenvolvimento de capacidades de percepção, interfaces com utilizador e a integração desses componentes principais, que resultaram em dois sistemas totalmente funcionais. Os resultados, das experiências realizadas no âmbito deste estudo, confirmaram que a abordagem proposta pode melhorar o desempenho do agente, mantendo a sua precisão e melhorando a sua especificidade. Apesar dos resultados promissores, assumimos que conceptualizar e implementar abordagens para interação entre utilizadores e companheiros sociais artificiais ainda é um desafio merecedor de mais investigação. Acreditamos que este estudo contribuirá para o campo de Interação Homem-Máquina, específicamente na aplicação de Companheiros Sociais Artificiais no domínio da Vida Ativa e Assistida. A abordagem proposta poderá ajudar a superar as limitações impostas pela utilização de modelos estáticos, pré-definidos, para o comportamento do agente, resultando numa interação não natural; contribuindo assim para a melhoria da usabilidade desses sistemas.