• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE Transactions on Parallel and Distributed Systems >Cutting Latency Tail: Analyzing and Validating Replication without Canceling
【24h】

Cutting Latency Tail: Analyzing and Validating Replication without Canceling

机译：减少延迟时间：无需取消即可分析和验证复制

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Response time variability in software applications can severely degrade the quality of the user experience. To reduce this variability, request replication emerges as an effective solution by spawning multiple copies of each request and using the result of the first one to complete. Most previous studies have mainly focused on the mean latency for systems implementing replica cancellation, i.e., all replicas of a request are canceled once the first one finishes. Instead, we develop models to obtain the response-time distribution for systems where replica cancellation may be too expensive or infeasible to implement, as in “fast” systems, such as web services, or in legacy systems. Furthermore, we introduce a novel service model to explicitly consider correlation in the processing times of the request replicas, and design an efficient algorithm to parameterize the model from real data. Extensive evaluations on a MATLAB benchmark and a three-tier web application (MediaWiki) show remarkable accuracy, e.g., 7 (4 percent) average error on the 99th percentile response time for the benchmark (respectively, MediaWiki), the requests of which execute in the order of seconds (respectively, milliseconds). Insights into optimal replication levels are thereby gained from this precise quantitative analysis, under a wide variety of system scenarios.
机译：软件应用程序中响应时间的可变性会严重降低用户体验的质量。为了减少这种可变性，通过复制每个请求的多个副本并使用第一个请求的结果来完成，请求复制成为一种有效的解决方案。先前的大多数研究主要集中在实现副本取消的系统的平均延迟上，即，第一个请求完成后，请求的所有副本都会被取消。相反，我们开发了一些模型来获取系统的响应时间分布，在这些系统中，副本取消可能过于昂贵或难以实施，例如在“快速”系统（例如Web服务）或旧系统中。此外，我们引入了一种新颖的服务模型来明确考虑请求副本的处理时间中的相关性，并设计一种有效的算法来根据实际数据对模型进行参数化。在MATLAB基准测试和三层Web应用程序（MediaWiki）上进行的广泛评估显示出显着的准确性，例如，基准测试（分别为MediaWiki）的第99个百分位数响应时间上的平均错误为7％（4％），这些请求的执行时间为秒的顺序（分别是毫秒）。通过这种精确的定量分析，可以在各种各样的系统情况下获得对最佳复制水平的见解。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号