Partially Observable Markov Decision Processes: Applicability to Interactive Systems and Approaches to the Intractability Problem

Am Freitag, den 16.05. besucht uns als Gast des Projekts READY
(SFB 378) Pascal Poupart von der University of Toronto. Pascal
ist dort in der Gruppe von Craig Boutilier tätig, einer der weltweit
führenden Forschungsgruppen auf dem Gebiet von probabilistischer
Inferenz und Planung. Pascal hat bereits als Doktorand Artikel auf
den wichtigsten Tagungen auf diesem Gebiet veröffentlicht.

Pascal hat seinen für den Freitagnachmittag angesetzten Vortrag
so gestaltet, dass er für Kollegen unterschiedlicher Forschungs-
richtungen hier in Saarbrücken relevant und zugänglich sein
wird (s. Titel und Abstract unten).

Alle Interessenten sind zum Vortrag herzlich eingeladen.

Zeit: Freitag, den 16.05. um 14:30h s.t.

Raum: "Turing" (Raum -2.17, DFKI-Neubau)

Titel:

Partially Observable Markov Decision Processes: Applicability to
Interactive Systems and Approaches to the Intractability Problem

Abstract:

POMDPs (Partially observable Markov decision processes)
provide a rich framework to model sequential decision tasks with
uncertainty. A wide range of application domains such as spoken
dialogue systems, user modeling, preference elicitation, stochastic
resource allocation, robot navigation, helicopter control, maintenance
scheduling, etc., can be tackled using POMDPs. In the first part of
this talk, I will introduce POMDPs and explain (with some references
to spoken dialogue systems and user modeling applications) how
POMDPs can be used to find an optimal and adaptive course of
action to further complex concurrent goals while taking into account
any uncertainty that may impact the decision process.

In a second part, I will examine some computational issues with
POMDPs that prevent current solution algorithms from being able
to handle large scale problems. For many domains, the exponential
growth of state spaces is an important source of intractability. I will
then analyze the problem of compressing POMDP state spaces in
a way that minimally impacts decision quality. Several algorithms
will be proposed to obtain lossless and lossy compressions.

This is joint work with Craig Boutilier.

--
Thorsten Bohnenberger email: #email not disclosed#
Univ. des Saarlandes WWW: http://w5.cs.uni-sb.de/~bohne
Postfach 15 11 50 phone: +49 681 302 2016
D-66041 Saarbrücken fax: +49 681 302 4136