Um Estudo Quantitativo sobre a Variabilidade dos Tempos de Execução de Programas em Experimentos Computacionais

Nome do Aluno: 
Local: 
Sala de defesas do PPGCO (sala 7), 1º piso, Bloco 1B, Campus Santa Mônica
Banca examinadora: 
Prof. Dr. Rivalino Matias Júnior (Orientador) – FACOM/UFU
Prof. Dr. Lúcio Borges de Araújo – FAMAT/UFU
Prof. Dr. Autran Macedo – FACOM/UFU
Prof. Dr. Paulo Romero Martins Maciel – CIN/UFPE

Na pesquisa experimental em Ciência da Computação muitos trabalhos dependem da correta mensuração e da análise dos tempos de execução de programas de computador. Observa-se que nem todos consideram que repetidas execuções do mesmo programa possam produzir tempos de execução significativamente diferentes em termos estatísticos. Em virtude disso, realizou-se um estudo quantitativo sobre a variabilidade dos tempos de execução de programas, com o objetivo de estabelecer um protocolo para análise quantitativa comparativa de tempos de execução de programas em experimentos computacionais. Assim sendo, três experimentos foram configurados e executados de modo a permitirem a observação de alguns fatores presentes no ambiente computacional, em especial, relacionados com o sistema operacional. Os fatores escolhidos foram: o Runlevel, a Otimização do compilador, o Tamanho de uma Variável de Ambiente, o Número de Threads e as Estratégias de Alocação de Threads. Os resultados obtidos com o protocolo RTA demonstram que esses fatores são capazes de influenciar os tempos de execução dos programas, levando a conclusões equivocadas. Em alguns casos, a diferença estatística entre dois tratamentos de um experimento chegou a100% das comparações. Além disso, observou-se que a distribuição dos tempos de execução nem sempre é aderente a uma distribuição Gaussiana. Observou-se, também, que, em análises de significância com múltiplos tratamentos, o problema conhecido como familywise error rate deve ser considerado e deve ser tratado, pois ele também pode levar a conclusões equivocadas. Assim, essas observações enfatizam o uso de um ambiente experimental controlado e o uso de uma metodologia estatística para a análise estatística de múltiplas comparações.