Satellite simulators are used to support space mission analysis and satellite verification, validation and operation. Used in different phases of a space mission and in different missions, these systems have an evolutionary characteristic, requiring an infrastructure that supports evolution and adaptation, while preserving resilience and dependability attributes. This work presents a methodology to define, instantiate and represent benchmarks for assessing and comparing resilience attributes of satellite simulation infrastructures based on the High Level Architecture (HLA), a standard widely used in the context of simulators development. In practice, the methodology includes the benchmark specification process, a language for benchmark representation and dissemination, and a framework for developing benchmark tools. The applicability of the presented methodology and benchmark elements is demonstrated through the instantiation of a resilience benchmark and a robustness benchmark. The resilience benchmark is used to evaluate HLA infrastructures in relation to the resilience of performance attributes when the infrastructure is exposed to changes in simulation scale, usage and distribution. The robustness benchmark demonstrates the flexibility of the methodology and representation language in instantiation and conducting benchmarks that aim to assess the infrastructures robustness, a special case of resilience. The benchmark implementation and the experiments demonstrated the feasibility of the proposed benchmarking approach. The experiments results portrayed, in a simple and effective way, the resilience and robustness of the evaluated infrastructures providing guidelines for choosing HLA products in different evaluation contexts and change scenarios.
Simuladores de satélite são utilizados como ferramentas de apoio às tarefas de análise de missões espaciais e de verificação, validação e operação de satélites. Usados em diferentes fases de uma missão espacial e em diferentes missões, esses sistemas têm características evolutivas no que tange a mudanças em seus requisitos, inserção de novos modelos e reconfigurações, exigindo uma infraestrutura de simulação que suporte essa evolução, preservando os atributos de dependabilidade e resiliência. Esta tese propõe uma metodologia para a definição, instanciação e representação de benchmarks de resiliência e uma abordagem de benchmarking para avaliar e comparar atributos de resiliência no domínio de infraestruturas de simuladores de satélite baseadas em \emph{High Level Architecture} (HLA), um padrão amplamente utilizado no contexto de desenvolvimento de simuladores. A metodologia proposta inclui o processo de especificação de benchmarks de resiliência, uma linguagem para representação e disseminação desses benchmarks e um \emph{framework} para o desenvolvimento de ferramentas. A aplicabilidade da metodologia e dos elementos definidos na especificação do benchmark está demonstrada por meio da instanciação de dois benchmarks concretos - resiliência e robustez. O primeiro benchmark avalia infraestruturas de simulação HLA relativamente à resiliência dos atributos latência e rendimento quando essas infraestruturas são expostas a mudanças na escala, em aspectos de uso e na distribuição da simulação. O segundo benchmark, visto aqui como um caso particular de benchmarks de resiliência, demonstra a capacidade e flexibilidade da metodologia e da linguagem de representação na instanciação e execução de benchmarks que têm como objetivo avaliar a robustez das infraestruturas HLA. A implementação dos benchmarks e a execução dos experimentos demonstraram a viabilidade da abordagem comparativa apresentada e os resultados obtidos foram capazes de expressar quantitativamente, de forma simples e eficaz, a resiliência e robustez das infraestruturas HLA avaliadas, fornecendo diretrizes para a escolha de produtos em diferentes contextos de avaliação e cenários de mudanças.
