JLChenBlog

详解计算机、以及编程中的回车换行

计算所秋季学期所内课程 ICT-系统性能量化分析 本系列内容为笔者学习该课程的记录 内容来自课堂PPT，PPT参考课程、教材、论文等等 系统性能量化分析 **课程编号：**80132081236001 **学 时：**20 **学 分：**1.0 **课程属性：**专业研讨课 主讲教师： 教学目的、要求 要求同学认真参加课堂听讲，课后安排一定的时间复习，并自学阅读老师布置的相关资料，认真准备和参加交流讨论会。 预修课程 无 教 材 MIT 6.172 《Computer Systems: A Programmer’s Perspective》 《computer architect ...

系统性能量化分析-6-课堂分享-Spark性能评估 https://journalofbigdata.springeropen.com/articles/10.1186/s40537-021-00499-7 用于 Hadoop 集群上 Spark 大数据作业性能表征的并行化模型 Amdahl’s Law 衡量：提升一个系统的一个部分的性能对整个系统有多大影响？ 对于多内核系统或者分布式系统系统 nexec 是处理器（或执行器）的数量， f 是串行作业百分比 加速比上限： 1f\frac1{f}f1​ 考虑到单个处理器运行某个工作负载需要时间 t，在多个处理器上运行的预测运行时 ...

排队模型及其实践

性能模型（Amdahl&Little’s Law） Amdahl’s Law 提升一个系统的一个部分的性能对整个系统有多大影响？ 当提升系统的一部分性能时，对整个系统性能的 影响取决于: – 1、这一部分有多重要 – 2、这一部分性能提升了多少 ·对于一个计算中占总时间比为fff的一部分而言， 将该部分的性能提升 s 倍，整个计算的总体性能提升为 \operatorname{Speedup}(f,s)&=\frac1{(1-f)+\frac fs} \\&=\frac1{1-f(1-\frac {1}{s})} \\&=\frac{s}{s+(1-s)f} · 这里 Speedu ...

Roofline: an insightful visual performance model for multicore architectures Samuel Williams, Andrew Waterman, David Patterson 发表于2009年的ACM通讯，受到广泛关注 探索多核架构下软硬件的性能优化问题，提供理论上界 1. 问题：如何做多核系统的设计/优化 一名资深程序员日常会面临的诸多问题 下一代多核架构选择∶众多小核vs少量大核 面对已知负载，买机器是选择强算力还是高访存带宽 面对已有硬件，优化程序性能的方向和路径怎么定? 2. 基本思想：对应用和硬件 ...

性能评测

为什么要量化分析； 为什么要量化分析：量化才能分析 摩尔定律，HPC TOP500 软件属性重要性排序：很多属性比性能更重要 性能是计算的货币。你通常可以通过性能“购买所需的属性 早期程序设计，受限于机器资源 程序必须依照机器来规划 如果没有认真的进行性能工程，许多程序将无法“适应” 摩尔定律继续提高计算 机的性能 但是现在性能看起来像 具有复杂的缓存结构、 宽向量单元、GPU、 FPGA等的巨大的多核 处理器 通常，必须调整软件以 有效地利用硬件! 案例：矩阵乘法 不同编程语言：python，Java，C：解释型和编译型 循环，i,j,k的 ...

交叉熵的一些理解、疑问

svn迁移到git-保留commit-history-转载总结