Universidade de Lisboa Repositório da Universidade de Lisboa

Repositório da Universidade de Lisboa >
Faculdade de Ciências (FC) >
FC - Teses de Doutoramento >

Please use this identifier to cite or link to this item: http://hdl.handle.net/10451/1549

Título: The combination of neural estimates in prediction and decision problems
Autor: Freitas, Paulo Sérgio Abreu, 1972-
Orientador: Rodrigues, António José Lopes, 1958-
Palavras-chave: Estatística e Investigação Operacional
Teses de doutoramento
Issue Date: 2008
Resumo: In this dissertation, different ways of combining neural predictive models or neural-based forecasts are discussed. The proposed approaches consider mostly Gaussian radial basis function networks, which can be efficiently identified and estimated through recursive/adaptive methods. Two different ways of combining are explored to get a final estimate model mixing and model synthesis , with the aim of obtaining improvements both in terms of efficiency and effectiveness. In the context of model mixing, the usual framework for linearly combining estimates from different models is extended, to deal with the case where the forecast errors from those models are correlated. In the context of model synthesis, and to address the problems raised by heavily nonstationary time series, we propose hybrid dynamic models for more advanced time series forecasting, composed of a dynamic trend regressive model (or, even, a dynamic harmonic regressive model), and a Gaussian radial basis function network. Additionally, using the model mixing procedure, two approaches for decision-making from forecasting models are discussed and compared: either inferring decisions from combined predictive estimates, or combining prescriptive solutions derived from different forecasting models. Finally, the application of some of themodels and methods proposed previously is illustrated with two case studies, based on time series from finance and from tourism.
A previsão de séries temporais é um problema comum em muitas aplicações, e é habitual que as variáveis observadas apresentem comportamento não estacionário, isto é, distribuição e correlações não constantes no tempo. Mesmo em casos mais difíceis como esses, é desejável poder dispor de modelos relativamente simples e robustos, com boa capacidade preditiva, e estimados por métodos computacionalmente eficientes. Assim, muitos autores entre os quais Granger (1989), Prémio Nobel de Economia em 2003 defendem que é conveniente afastarmo-nos da visão mais clássica, em que se supõe ser (sempre) razoável procurar identificar um modelo como sendo o melhor', e onde os processos de identificação e optimização desse modelo único requerem normalmente uma computação exigente e algo exaustiva. Nesses processos, muitas escolhas têm de ser feitas, que podem não ser as mais adequadas, nomeadamente a escolha do critério mais apropriado para a selecção da estrutura (ou tipo), da dimensão (ou grau de complexidade) e da parametrização do modelo. Em alternativa ao paradigma clássico, múltiplos modelos normalmente sub-optimais podem ser explorados e combinados entre si, de forma a ultrapassar ou minimizar o risco de escolha e identificação de um único modelo não apropriado, mesmo que optimizado, que é limitado nas suas capacidades em relação às características dos próprios dados. Esta abordagem alternativa tem a potencial vantagem de melhorar os resultados, quer em termos de eficiência computacional, quer em termos de eficácia, ou capacidade preditiva. Os esquemas de combinação originalmente propostos na literatura sobre previsão de séries temporais têm sido estendidos no contexto da aplicação de redes neuronais supervisionadas. No trabalho conducente a esta dissertação, pretendeu-se estudar diferentes formas de combinar estimativas de modelos preditivos obtidas, maioritariamente, a partir de redes neuronais. Em todos os casos, foram considerados modelos paramétricos lineares, com a possibilidade de incluir parâmetros variáveis no tempo, de forma a poderem ser estimados recursivamente. Os modelos neuronais que considerámos no estudo foram as redes de funções de base radiais Gaussianas, e foram discutidas várias formas de as treinar' através de métodos de estimação recursiva e identificação adaptativa. Foram exploradas, essencialmente, duas formas de combinar linearmente estimativas preditivas com o objectivo de melhorar a eficiência e eficácia dos resultados finais: a mistura de modelos e a síntese de modelos. No contexto da mistura de modelos, foi proposta uma extensão da formulação mais conhecida para combinação linear de estimativas usando modelos distintos, de forma a poder lidar com correlações significativas possivelmente existentes entre as sequências de estimativas preditivas dos modelos individuais. Para o efeito, foi apenas considerado o caso de dois modelos, mas a ideia pode ser generalizada a mais modelos. Mais especificamente, foi incorporada na combinação linear usual um termo não linear, constituído pelo produto, ponto a ponto, das duas sequências de estimativas preditivas dos modelos individuais. Verificámos a existência de melhoria significativa na combinação estendida se (e só se) a sequência de estimativas adicional (associada ao termo não linear) e a sequência de erros resultante da combinação linear clássica estiverem fortemente correlacionadas. No contexto da síntese de modelos, foi proposta uma abordagem para a identificação de modelos compostos aditivamente por um modelo de regressão dinâmica (nomeadamente, regressão de tendência dinâmica ou regressão harmónica dinâmica) e por uma rede neuronal (rede de funções de base radiais Gaussianas), com vista à modelação e previsão de séries não estacionárias. Para esse efeito, justificamos a opção pela realização inicial de uma pré-filtragem usando um modelo de regressão dinâmica, em alternativa aos procedimentos clássicos de pré-processamente para estacionarização da série, e antes da identificação da componente neuronal. Posteriormente, é proposta a estimação simultânea dos modelos componentes, fazendo uso de parte dos valores dos hiperparâmetros identificados na fase de pré-filtragem, principalmente os que dizem respeito ao modelo neuronal. A identificação do modelo de regressão dinâmica deve ser feita de uma forma criteriosa, já que tem por finalidade modelar exclusivamente grande parte, ou mesmo todos os efeitos de baixa frequência visíveis no periodograma (ou espectro empírico) da série. Recomenda-se que essa identificação deva ser feita por avaliação da capacidade preditiva desse submodelo para horizontes temporais relativamente longos. Caso contrário, corre-se o risco de haver interferência entre os dois submodelos (o de regressão dinâmica e o neuronal) na modelação dos efeitos que dizem respeito às altas frequências. A partir dos resultados das experiências computacionais efectuadas, com séries simuladas, verificou-se que as abordagens clássicas de pré-processamento podem ser bastante falíveis. Concluiu-se que a metodologia híbrida, constituída por um modelo de regressão dinâmica e uma rede neuronal, pode ser considerada como uma abordagem genérica na aplicação a problemas de previsão de séries temporais não estacionárias e com correlações não lineares, útil em especial sempre que não haja certeza sobre qual o verdadeiro' processo gerador da série. Numa fase posterior, a metodologia de mistura de modelos foi estudada no contexto de problemas iterados de decisão optimal sob risco, onde as decisões são avaliadas por funções de custo mais realistas, assimétricas, em vez das habitualmente usadas para identificação e estimação de modelos preditivos, incluindo as baseadas no critério de mínimos quadrados. Foram descritas e ilustradas duas abordagens: a inferência de uma decisão optimal a partir de uma previsão resultante da combinação de previsões; ou, a combinação de soluções prescritivas, cada uma obtida a partir de uma previsão diferente. Conjectura-se que é preferível combinar primeiro as previsões e, só depois, tomar as decisões finais com base nessas previsões combinadas. A ideia fundamental é de que o modelo preditivo pode ser mais convenientemente estimado, com base no critério dos mínimos quadrados, enquanto que o critério usualmente considerado para avaliação do modelo prescritivo se baseia em funções não diferenciáveis, o que dificulta o processo de estimação, e requer o uso de métodos de optimização não linear, mais difíceis de praticar. Em particular, para que os pesos da combinação linear de soluções prescritivas fossem estimados, com base em funções assimétricas de tipo idêntico àquelas consideradas neste estudo, tivemos de recorrer a métodos de programação linear mais complexos (nomeadamente, métodos de ponto interior), com a desvantagem de desconhecermos versões recursivas dos mesmos, tornando impraticável a actualização adaptativa desses pesos para novas observações futuras. Embora seja conveniente realizar um estudo mais exaustivo e profundo, os resultados das experiências entretanto realizadas indicaram que nenhuma das abordagens (combinar as soluções prescritivas ou as soluções preditivas) domina a outra, dependendo o seu desempenho relativo da função de custos assimétricos considerada, do horizonte temporal que se considere para a previsão, e, ainda, das características da própria série temporal. Finalmente, foi ilustrada a aplicação de alguns modelos e métodos propostos e discutidos nesta dissertação através do estudo de dois casos, relacionados com a análise do índice da Bolsa de Valores de Lisboa PSI20, e com a análise de uma série de turismo, relativa ao número de hóspedes entrados na Região Autónoma da Madeira. No primeiro caso, limitámo-nos a aplicar a metodologia de pré-filtragem, considerando um modelo híbrido de regressão de tendência dinâmica combinado com uma rede neuronal. No segundo caso, a aplicação de modelos híbridos de regressão harmónica dinâmica e redes neuronais é complementada com a ilustração da metodologia de mistura de modelos, no contexto da tomada de decisões baseadas em previsões.
Descrição: Tese de doutoramento em Estatística e Investigação Operacional (Análise de Sistemas), apresentada à Universidade de Lisboa através da Faculdade de Ciências, 2008
URI: http://hdl.handle.net/10451/1549
Appears in Collections:FC - Teses de Doutoramento

Files in This Item:

File Description SizeFormat
16498_PhD_PauloFreitas.pdf976,67 kBAdobe PDFView/Open
Statistics
FacebookTwitterDeliciousLinkedInDiggGoogle BookmarksMySpaceOrkut
Formato BibTex mendeley Endnote Logotipo do DeGóis 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

 

  © Universidade de Lisboa / SIBUL
Alameda da Universidade | Cidade Universitária | 1649-004 Lisboa | Portugal
Tel. +351 217967624 | Fax +351 217933624 | repositorio@reitoria.ul.pt - Feedback - Statistics
DeGóis
  Estamos no RCAAP Governo Português separator Ministério da Educação e Ciência   Fundação para a Ciência e a Tecnologia

Financiado por:

POS_C UE