怎样优化Pentium系列处理器的代码

Copyright © 1996, 2000 by Agner Fog. Last modified 2000-07-03.
云风 (Cloud Wu) 译 http://www.codingnow.com 翻译中...(13.3%)

 

目录

  1. 简介
  2. 文献
  3. 高级语言中调用汇编函数
  4. 调试及校验
  5. 内存模式
  6. 对齐
  7. Cache
  8. 第一次 vs 重复运行
  9. 地址生成互锁(AGI) (PPlain 及 PMMX)
  10. 配对整数指令 (PPlain 及 PMMX)
    1. 完美的配对
    2. 有缺陷配对
  11. 将复杂指令集分割为简单指令 (PPlain 及 PMMX)
  12. 前缀 (PPlain 及 PMMX) 以下待译...
  13. PPro, PII 及 PIII 流水线综述
  14. 指令解码 (PPro, PII 及 PIII)
  15. 取指令 (PPro, PII 及 PIII)
  16. 寄存器重命名 (PPro, PII 及 PIII)
    1. 消除依赖性
    2. 寄存器读延迟
  17. 乱序执行 (PPro, PII 及 PIII)
  18. 引退 (PPro, PII 及 PIII)
  19. 部分(Partial)延迟 (PPro, PII 及 PIII)
    1. 部分寄存器延迟
    2. 部分标记延迟
    3. 移位和旋转后的标记延迟
    4. 部分内存延迟
  20. 依赖环 (PPro, PII 及 PIII)
  21. 寻找瓶颈 (PPro, PII 及 PIII)
  22. 分支和跳转 (所有的处理器)
    1. PPlain 的分支预测
    2. PMMX, PPro, PII 及 PIII的分支预测
    3. 避免跳转 (所有的处理器)
    4. 避免使用标记的条件跳转 (所有的处理器)
    5. 将条件跳转替换成条件赋值 (PPro, PII 及 PIII)
  23. 减少代码长度 (所有的处理器)
  24. 规划浮点代码 (PPlain 及 PMMX)
  25. 循环优化 (所有的处理器)
    1. PPlain 及 PMMX 中的循环
    2. PPro, PII 及 PIII 中的循环
  26. 有问题的指令
    1. XCHG (所有的处理器)
    2. 带进位标记的循环移位 (所有的处理器)
    3. 字符串指令 (所有的处理器)
    4. 位测试 (所有的处理器)
    5. 整数乘法 (所有的处理器)
    6. WAIT 指令 (所有的处理器)
    7. FCOM + FSTSW AX (所有的处理器)
    8. FPREM (所有的处理器)
    9. FRNDINT (所有的处理器)
    10. FSCALE 及幂函数 (所有的处理器)
    11. FPTAN (所有的处理器)
    12. FSQRT (PIII)
    13. MOV [MEM], ACCUM (PPlain 及 PMMX)
    14. TEST 指令 (PPlain 及 PMMX)
    15. Bit scan (PPlain 及 PMMX)
    16. FLDCW (PPro, PII 及 PIII)
  27. 特别主题
    1. LEA 指令 (所有的处理器)
    2. 除法 (所有的处理器)
    3. 释放浮点寄存器 (所有的处理器)
    4. 浮点指令与MMX 指令的转换 (PMMX, PII 及 PIII)
    5. 浮点转换为整数 (所有的处理器)
    6. 使用整数指令做浮点运算 (所有的处理器)
    7. 使用浮点指令做整数运算 (PPlain 及 PMMX)
    8. 数据块的移动 (所有的处理器)
    9. 自修改代码 (所有的处理器)
    10. 检测处理器类型 (所有的处理器)
  28. 指令速度列表 (PPlain 及 PMMX)
    1. 整数指令集
    2. 浮点指令集
    3. MMX 指令集 (PMMX)
  29. 指令速度及微操作失败列表(PPro, PII 及 PIII)
    1. 整数指令集
    2. 浮点指令集
    3. MMX 指令集 (PII 及 PIII)
    4. XMM 指令集 (PIII)
  30. 速度测试
  31. 不同的微处理器间的比较

 

1. 简介

这本手册细致的描述了怎样写出高度优化的汇编代码, 着重于讲解Pentium®系列的微处理器.

这儿所有的信息都基于我的研究. 很多人为这本手册提供了有用的信息和错误矫正, 而我在获得任何 新的重要信息后都更新它. 因此这本手册比其它类似的信息来源都更准确,详尽,精确和便于理解, 而且它还包含了许多其它地方找不到的细节描述. 这些信息使你能够用多种方法精确统计 一小段代码花掉的时钟周期数. 但是,我不能保证手册里所有的信息都是精确的: 一些时间测试等是很难或者不可能精确测量的, 我看不到 Intel 手册作者拥有的内部技术文档资料.

这本手册讨论了 Pentium 处理器的下列版本:

缩写名字
PPlainplain 老式 Pentium (没有 MMX)
PMMX有MMX的Pentium
PProPentium Pro
PIIPentium II (包括 Celeron 和 Xeon)
PIIIPentium III (包括一些相当的CPU)

这本手册中使用了MASM 5.10的汇编语法. 没有什么官方的 X86 汇编语言, 但这是最接近你能接受的标准, 因为几乎所有的汇编器都有 MASM 5.10 兼容模式. (然而我不推荐使用 MASM 的 5.10 版本. 因为它在 32 位模式下有严重的 Bug. 最好是使用 TASM 或者 MASM 的后续版本).

手册里的一些评语好象是对Intel的批评. 但这并不是说其它的产品会好一些. Pentium系列的微处理器 能在评测分中取得更好一点的比较值,有更好的文档, 和更多的可测试特性. 由于这些原因, 不会有我或者其他人 做同类商品的比较测试.

汇编语言编程比用高级语言要复杂的多. 制造 Bug 是很容易的,但是找到 Bug 却很难. 现在已经提醒你了! 我假定读者已经有汇编编程的经验. 没有的话,请在做复杂的优化前读一些汇编的书并且写些代码获得些汇编的经验.

PPlain 和 PMMX 芯片的硬件设计有 许多专门为一些常用指令或者指令对设计的特性, 而不是使用那些一般的优化模块. 因此,为这个设计优化软件的规则 很复杂, 且有很多的例外, 但是这样做可能获得实质性的好处. PPro, PII 和 PIII 处理器有非常不同的设计,它们会利用乱序执行来做许多的优化工作, 但是处理器的这些个设计带来了许多潜在的瓶颈, 因此为这些处理器进行手工优化将得到许多的好处. Pentium 4 处理器也用了另外一种设计, 奔腾4 的优化指导路线和前面的版本非常的不同了. 这个手册没有禳括奔腾4 - 读者请自己查阅 Intel 的手册.

在把你的代码转为汇编的之前,确认你的算法是足够优化的. 通常你可以通过优化算法来将代码效率提高的比 转成汇编获得的效率多的多.

第二,你必须找到你的程序里最关键的部分. 通常 99% 的 CPU 时间花在程序最里面的循环中. 在这种情况下, 你只要优化这个循环并把其它的所有东西都用高级语言写. 一些汇编程序员将大量的精力花在了他们程序的错误的部分上, 他们努力得到的唯一结果就是程序变的更加难以调试和维护了.

如果你的程序的关键部分并不那么明显,你可以用profil来找. 如果发现瓶颈在磁盘操作, 然后你就可以试着修改程序使磁盘操作集中连续, 提高磁盘缓冲的命中率, 而不是用汇编来写代码. 如果瓶颈在图象输出,那么你就可以尝试 找到一种方法来减少调用图象函数的次数. 一些高级语言编译器对于指定的处理器提供了相对好的优化, 但是手工优化将做的更好.

请不要将你的编程问题寄给我. 我不会帮你做家庭作业的!

祝你在后面的阅读中好运!

2. 文献

在 Intel 的 www 站上,打印的文本或者 CD-ROM 上都有很多有用的文献和教程. 建议你研究一下这些文档 来对微处理器的结构有些认识. 然而,Intel 的文档也不总是对的 - 尤其是那些教程有很多错误(显然,Intel的那些人没有测试他们的例子).

这里我不给出 URL, 因为文件的位置经常的改变. 你可以利用 developer.intel.com 或者www.agner.org/assem 上的链接上的搜索工具找到你要的文档.

一些文档是.PDF格式的. 如果你没有显示或者打印PDF的工具, 可以去www.adobe.com下载Acrobat 文件阅读器.

使用 MMX 和 XMM (SIMD) 指令优化专门的程序在几本使用手册里都有描述. 各种手册和教程都有描述其指令集.

VTUNE 是 Intel 用来优化代码的软件工具 我没有测试它,因此这里不于评价.

还有很多比 Intel 的更多的更有用的信息. 在新闻组 comp.land.asm.x86 的 FAQ 里 有把这些资源列出来. 其它的 internet 上的资源在 www.agner.org/assem 上也有链接.

3. 在高级语言里调用汇编函数

你可以使用在线汇编或者用汇编写整个子程序然后再 连接到你的工程中. 如果你选择后者, 建议你用 可以将高级语言直接编译成汇编的编译器. 这样你可以得到函数的正确的调用原型. 所有的 C++ 编译器都能做这个工作.

传递参数的方法取决于调用形式:

 调用方式   参数在堆栈里的次序   参数由谁来移去 
 _cdecl  第一个参数在低位地址   调用者 
 _stdcall   第一个参数在低位地址  子程序 
 _fastcall  编译器指定   子程序 
 _pascal  第一个参数在高位地址   子程序 

函数调用原型和被编译器命名的函数名可能非常的复杂. 有很多不同的调用转换规则, 不同的编译器也互不兼容. 如果你从C++里调用汇编语言的子程序,最好的方法是 将你的函数用 extern "C"_cdel 定义来兼容性和一致性. 汇编代码的函数名前面必须带一个下划线 (_) 并且在外面编译时加上大小写敏感的选项 (选项 -mx). 例如:

  ; extern "C" int _cdecl square (int x);
  _square PROC NEAR             ; 整型平方函数
  PUBLIC  _square
          MOV     EAX, [ESP+4]
          IMUL    EAX
          RET
  _square ENDP

如果你需要重载函数,重载操作符,方法, 和其它 C++ 专有的东西, 就必须在 C++ 里先写好代码 再用编译器编译成汇编代码以获得正确的连接信息和调用模型. 这些随着编译器的不同而不同而且很少列出文档. 如果你希望汇编函数用其它的调用原型而不是 extern "C"_cdecl 的, 又可以被不同的编译器调用, 那么你需要为每个编译器写一个名字. 例如重载一个 square 函数:

  ; int square (int x);
  SQUARE_I PROC NEAR             ; 整数 square 函数
  @square$qi LABEL NEAR          ; Borland 编译器的连接名字
  ?square@@YAHH@Z LABEL NEAR     ; Microsoft 编译器的连接名字
  _square__Fi LABEL NEAR         ; Gnu 编译器的连接名字
  PUBLIC @square$qi, ?square@@YAHH@Z, _square__Fi
          MOV     EAX, [ESP+4]
          IMUL    EAX
          RET
  SQUARE_I ENDP

  ; double square (double x);
  SQUARE_D PROC NEAR             ; 双精度浮点 square 函数
  @square$qd LABEL NEAR          ; Borland 编译器的连接名字
  ?square@@YANN@Z LABEL NEAR     ; Microsoft 编译器的连接名字
  _square__Fd LABEL NEAR         ; Gnu 编译器的连接名字
  PUBLIC @square$qd, ?square@@YANN@Z, _square__Fd
          FLD     QWORD PTR [ESP+4]
          FMUL    ST(0), ST(0)
          RET
  SQUARE_D ENDP

这个方法能够工作是因为所有这些编译器对重载的函数都缺省使用_cdecl 调用. 然而,对于方法(成员函数), 对于各种编译器, 甚至调用方式都不一样 (Borland 和 Gnu 编译器使用 _cdecl 方式, 'this' 指针是第一个参数, 而 Microsoft 使用 _stdcall 方式, 而 'this' 指针放在 ecx 里).

通常来说, 当你使用了下列东西时, 不要指望不同的编译器在目标文件级别可以兼容: long double, 成员指针, 虚机制, new, delete, 异常, 系统函数调用, 或者标准库函数.

16 位模式 DOS 和 Windows, C or C++ 的寄存器使用:
AX 是 16 位返回值, DX:AX 是 32 位返回值, ST(0) 是浮点返回值.寄存器 AX, BX, CX, DX, ES 数学标记可以被过程改变; 其它的寄存器必须保存和恢复. 一个过程要不改变SI, DI, BP, DSSS 的前提下才不会影响另一个过程..

32 位模式 Windows, C++ 和其它编程语言下的寄存器使用:
整数返回值放在 EAX, 浮点返回值放在 ST(0). 寄存器 EAX, ECX, EDX (没有 EBX) 可以被过程修改; 其它的寄存器必须保留和恢复.段寄存器不能被改变,甚至不能被临时改变. CS, DS, ES,SS 都指向当前的段组. FS 被操作系统使用, GS 没有使用, 但是被保留. 标记位可以在下面的限制下被过程改变: 方向标志缺省是 0.方向标志可以暂时的修改, 但是必须在任何的调用或者返回前清除.中断标志必须清除. 浮点寄存器堆栈在过程入口处是空的, 返回时也应该是空的, 除了 ST(0) 如果被用于返回值则除外. MMX 寄存器可以被改变但是在返回前或者在调用可能使用浮点运算的过程前必须用 EMMS 清一下. 所有的 XMM 寄存器都可以被过程修改. 在XMM 寄存器里的传递参数和返回值的描述在 Intel 的应用文档 AP 589. 一个过程可以在不改变EBX, ESI, EDI, EBP 和所有的段寄存器的前提下 被另一个过程调用.

4. 调试和校验

正如你已经发现的, 调试汇编代码非常的困难和容易受到挫折. 我建议你先把你需要优化的小段代码用高级语言写成一个子程序. 然后写个小的测试程序可以充分测试你的这个子程序. 确认测试程序可以测试到所有的分支.

当高级语言的子程序可以工作了,你再把它翻译成汇编代码.

现在你可以开始优化了.每次你做了点修改都应该运行测试程序看看 能不能正确工作. 将你所有的版本都标上号并保存起来,这样在发现测试程序检查不到的错误 (比如写到错误的地址)时可以回头来重新测试.

第30章 里提到的所有方法或者用测试程序 测试最你的程序中最关键的部分.如果代码比你期望的速度慢的太多, 最可能的原因是: cache 失效 (第7章), 未对齐操作 (第6章), 第一次运行消耗(第8章), 分支预测失败(第22章)取指令问题, (第15章), 寄存器读延迟(第16章), 或者是过长的依赖环(第20章).

高度优化的代码将变得对其他人非常难读懂, 甚至对你日后在读也有困难.为了使维护代码变为可能, 将代码组织为一个个小的良好预定义宏和清楚注释的逻辑段(过程或者宏)就非常重要. 代码越复杂艰涩, 写下好的文档就越重要.

5. 内存模式

Pentium 主要为 32 位代码设计, 16位代码的性能很差. 将你的代码和数据分段也会明显的降低性能, 因此通常你应当使用32位平坦模式,并且使用支持这种模式的操作系统. 如果不特别注明,这本手册里所有的例子都使用32位平坦内存模式.

6. 对齐

内存里的所有数据都必须按照下表将地址对齐到可以被 2,4,8 或 16 整除的位置:
  对齐
 操作数据长度   PPlain 及 PMMX   PPro, PII 及 PIII 
 1 (byte)  11
 2 (word) 2 2
 4 (dword)  44
 6 (fword)  48
 8 (qword)  88
 10 (tbyte)  816
 16 (oword)  n.a.16

在 PPlain 和 PMMX 上, 访问未对齐数据在4字节边界线交错的时候将至少有 3个时钟周期的额外消耗. 当 cache 边界线被交错的时候损耗更大.

在 PPro, PII 和 PIII 上, 当cache边界线交错时, 未对齐数据将消耗掉 6-12 个时钟周期. 小于 16 字节的未对齐操作数, 没有在 32 字节边界上交错时将没有额外的损耗.

在 dword 栈上以 8 或 16 对齐数据可能会有问题. 常见的情况是设置对齐的帧指针. 对齐本地数据的函数可以是这样:

_FuncWithAlign PROC NEAR
	PUSH    EBP                        ; 前续代码
	MOV     EBP, ESP
	AND     EBP, -8                    ; 以 8 来对齐帧指针
	FLD     DWORD PTR [ESP+8]          ; 函数参数
	SUB     ESP, LocalSpace + 4        ; 分配本地空间
	FSTP    QWORD PTR [EBP-LocalSpace] ; 在对齐了的空间保存一些东西
	...
	ADD     ESP, LocalSpace + 4        ; 结束代码. 恢复 ESP
	POP     EBP                        ; (PPlain/PMMX 上有 AGI 延迟)
	RET
_FuncWithAlign ENDP

虽然对齐数据永远是重要的, 但是在 PPlain 和 PMMX 上对齐代码却没有必要. PPro, PII 及 PIII 上对齐代码的原则在第15章阐述.

7. Cache

PPlain 和 PPro 有代码用的 8 kb 片内 cache (一级 cache), 8 kb 数据 cache. PMMX, PII 和 PIII 则有 16 kb 代码 cache 和 16 kb 数据 cache. 一级 cache 里的数据可以在一个时钟周期内读写, cache 未命中时将损失很多时钟周期. 理解 cache 是怎样工作的非常重要, 这样才能更有效的使用它.

数据 cache 由 每行 32 字节的 256 或 512 行组成. 每次你读数据未命中, 处理器将从内存读出一整条 cache 行. cache 线总是在物理地址的 32 字节对齐. 当你从一个可以被 32 整除的地址 读出一个字节, 下 31 字节的读写就不会有多余的消耗. 你可以对齐数据在 32 字节块里来从中获得好处. 例如, 如果你有一个循环要操作两个数组, 你就可以将两个数组合并成一个结构数组, 这样被使用的数据就储存在一起了.

如果数组或者其它数据结构是 32 字节的倍数, 你最好将其按 32 字节对齐.

cache 是联想设置的. 这就是说 cache 行不能随心所欲的设置到指定内存地址. 每个 cache 行有 7-bit 设定值来匹配物理地址的 5 到 11 位 (0-4 位就是cache行的 32 字节). PPlain 和 PPro 可以有两条cache行对应 128 个设定值中的一个值, 因此任两条 cache 行可以 设定到任何的 RAM 地址. PMMX, PII 和 PIII 则可以有 4 个.

其结果是 cache 不能保留超过2个或4个的 地址的 5-11 位相同的不同数据块. 你可以用用以下方法检测 两个地址是否有相同的设定值: 截掉地址的低5位得到可以被 32 整除的数值. 如果两个截断地址之差是 4096 (=1000H) 的倍数, 这两个地址就有相同的设定值.

让我用下面的一小段代码来说明一下, 这里 ESI 放置了一个可以被 32 整除的地址:

AGAIN:  MOV  EAX, [ESI]
        MOV  EBX, [ESI + 13*4096 +  4]
        MOV  ECX, [ESI + 20*4096 + 28]
        DEC  EDX
        JNZ  AGAIN

这 3 个地址都有相同的设定值, 因为不同的截断地址都是 4096 的倍数. 这个循环在 PPlain 和 PPro 上将运行的相当慢. 当你读 ECX 的时候, 没有适当设定值的空闲 cache 行, 因此处理器将使用最近最少使用的两组 cache 行中的一个, 那就是 EAX 使用的那个, 然后从 [ESI+20*4096][ESI+20*4096+31] 读出数据来填充并读入 ECX. 下一步, 当读EAX时, 你将发现 为EAX保存数据的cache行已经被丢弃了, 所以将使用 最近最少使用的 cache 行, 那就是保存 EBX 数值的那个了, 等等.. 这将会产生大量的 cache 丢失, 这个循环大概开销 60 个时钟周期. 如果第3行改成:

        MOV  ECX, [ESI + 20*4096 + 32]

这样我们就会在 32 字节边界上交错, 因此我们没有和前两行相同的设定值, 这样为这三个地址分别指定cache行就没有什么问题了. 这个循环仅仅消耗3个时钟周期(除了第一次运行) - 一个相当大的提高! 如刚才提到的,PMMX, PII 和 PIII 有 4 向 cache行, 因此你可以有4个相同设定值的cache行.(一些Intel文档错误的说 PII的cache是两向的).

检测你的数据地址是否有相同的设定值可能非常困难, 尤其是它们分散在不同的段里. 你能避免这种问题的最好能做的是 将关键部分使用的所有数据都放在一个不超过cache大小的连续数据块里, 或者放在两个不超过cache一半大小连续数据块 (例如一个静态数据块, 一个堆栈数据块) 这样你的cache行就一定会高效使用.

如果你的代码的关键部分要操作很大的数据结构或者随机数据地址, 你可能会想保存所有常用的变量(计数器,指针,控制变量等) 在一个 单独的最大为 4k 的连续块里面, 这样你就有一个完整的cache行集来访问随机数据. 既然你通常需要栈空间来为子程序保存参数和返回地址, 最好的做法是复制所有的常用静态数据到堆栈, 如果它们被改变, 就在关键循环外复制回去.

读一个不在一级缓存里的数据将导致从二级缓存读入整个cache行, 这大约要消耗 200ns (在 100MHz 系统上是 20 时钟周期, 或是 200MHz 上的 40 个周期), 但是你最先需要的数据将在 50-100 ns后准备好. 如果数据也不在二级缓存, 你将会碰到 200-300 ns 的延迟. 如果数据在 DRAM 页边界交错, 延迟时间会更长一些. (4/8 Mb 的 72 线内存 DRAM 页大小是 1Kb, 16/32 Mb 的是 2kb).

当从内存读入大块的数据, 数据限制在于填充 cache 行. 有时你可以以非连续的次序读取数据来提高速度: 在你读完一个cache行之前就开始读下一个cache行的第一个数据. 这个方法可以提高从主内存或PPlain及PMMX的二级cache, 和 PPro,PII,PII的二级cache读入 的速度 20 - 40%. 这个方法的不利地方在于使程序代码变的非常的笨拙和难于理解. 关于这些的更多信息请参考www.intelligentfirm.com.

当你写向一个不在一级cache的地址, 在 PPlain和PMMX上这个数值将直接写到 二级cache或者是 RAM(这取决于2级cache如何设置). 这大约消耗 100 ns. 如果你向同一个32字节的内存块反复写8次或8次以上也没有从里面读, 而且这个块不在一级缓存, 这样就会促使对这个块的一次哑读而使其加载入一个cache行. 所有随后的向这个块的写操作就会被定向到cache里, 每次只消耗一个时钟周期. 在 PPlain 和 PMMX 上, 有时会因为 重复写向一个地址而在其间没有读它而带来小小的惩罚.

在 PPro, PII 和 PIII上, 一次写失误会读入一个cache行,但是可能设置一个内存区域 做不同的操作, 例如显存 (见 Pentium Pro 系列开发者手册, vol. 3: 操作系统写作者指南").

提高内存读写速度的方法在下面的 27.8章节讨论.

PPlain 和 PPro 有两个写缓存, PMMX, PII 和 PIII 有四个. 在 PMMX, PII 和 PIII 上你可以做四次未完成的写操作不cache内存而在后面的操作中不产生延迟. 每个写缓存可以控制 64 位宽.

临时数据可以方便的放在堆栈里, 因为堆栈区域非常有可能在cache中. 然而,如果你的数据元素大于堆栈字大小时应该注意对齐问题.

如果两个数据结构的生命期不重叠的话, 共享相同的 RAM 区域可以提高cache效率. 一般都在堆栈为临时变量分配空间.

将临时数据保存在寄存器里将有更高的效率. 既然寄存器是一种稀有资源, 你可能想用[ESP]而不是[EBP]来定位堆栈里的数据, 这样就可以释放EBP用于其它用途. 不要忘记了 ESP 将在你每次做 PUSH 或者 POP 时都会被改变. (你不能在 16位 Windows下使用ESP, 因为时钟中断将把ESP的高字设置到你的代码中无法预测的位置.)

有一个分开的cache给代码使用, 它和数据cache是类似的. 代码cache 的大小在 PPlain和PPro上是8kb, 在 PMMX,PII和PIII上是16kb. 能让你的代码的关键部分(最里面的循环)放入代码cache是很重要的. 最常用的需要一起使用的代码或者例程最好是储存在临近的位置. 不常用的分支或者过程可以放在代码的下面或者其它的位置.

8. 第一次 vs 重复运行

一片代码往往在第一次运行时比重复运行消耗更多的时间. 原因见下:
  1. 从 RAM 读入代码到cache花去了比运行它更多的时间.
  2. 代码操作的所有数据都必须加载到cache, 这比执行那些操作更花时间. 当代码重复运行的时候, 数据几乎都在 cache 里.
  3. 跳转指令在第一次运行的时候并不在分支目的缓存里, 因此一般都不能正确的预定向. 见第22章.
  4. PPlain 上, 代码的解码是个瓶颈. 如果花掉一个时钟周期去检测指令长度, 那么就不可能在一个时钟周期解码两条指令, 因为处理器不知道第二条指令从那里开始的. PPlain 从上次运行时间记住每条保存在cache里的指令的长度来解决这个问题. 这样做的结果是, PPlain 上第一次的指令如果不是只有一个字节长的话就不会配对执行. PMMX, PPro, PII 和 PIII 在第一次解码却没有这个问题.

因为这四个原因,在循环中的一段代码通常比随后的运行花去更多的时间.

如果你使用了一个很大的循环而不能放入代码cache, 将导致效率下降, 因为它们不能在 cache 运行. 因此你应该重新组织一下循环使cache能放下它们.

如果你有非常多的跳转,调用,分支在循环里, 就会反复的产生分支目的缓存失败.

同样的, 如果循环重复操作一个比数据缓存大的数据结构, 也会在所有的时间都会未命中数据cache.

9. 地址生成互锁(AGI) (PPlain and PMMX)

指令操作内存所需要的地址需要一个时钟周期来计算. 通常在前面的指令或是指令对运行的时候它已经在流水线上计算好了. 但是如果地址的计算倚赖上个时钟周期的运行结果的话, 你就需要一个额外时钟周期来等待地址的计算. 这就叫做AGI延迟. 例如:
ADD EBX,4 / MOV EAX,[EBX] ; AGI 延迟
例子里的延迟可以向 ADD EBX,4 and MOV EAX,[EBX] 间增加一些其它的指令或者重新写成 MOV EAX,[EBX+4] / ADD EBX,4 来去掉.

当你隐性的使用ESP寻址, 比如 PUSH, POP, CALL, and RET, 且 ESP 在前个周期被MOV, ADD,SUB 等修改,这样也会造成AGI延迟. PPlain 及 PMMX 有专门的电路来预测栈操作后的ESP值, 因此你在用PUSH, POP,CALL 改变 ESP 后不会遇到AGI延迟. 在 RET 后面, 仅仅在立即对ESP做加操作时才 回产生AGI延迟.

例如:

ADD ESP,4 / POP ESI            ; AGI 延迟
POP EAX   / POP ESI            ; 无 stall, 配对
MOV ESP,EBP / RET              ; AGI 延迟
CALL L1 / L1: MOV EAX,[ESP+8]  ; 无 stall
RET / POP EAX                  ; 无 stall
RET 8 / POP EAX                ; AGI 延迟

LEA 指令使用了基寄存器或索引寄存器, 而它们在在前个时钟周期被改变了,同样会发生AGI延迟. 例如:

INC ESI / LEA EAX,[EBX+4*ESI]  ; AGI 延迟

PPro, PII 和 PIII 在读内存和LEA上没有 AGI 延迟, 但是在写内存时会有 AGI 延迟. 如果后来的的代码并不是必须等待写操作结束的话这并无大影响.

10. 整数指令配对(PPlain 及 PMMX)

10.1 完美的配对

PPlsin 及 PMMX有两条流水线来运行指令, 分别叫做 U-管道和V-管道. 在特定的条件下两条指令可以一个在U-管道一个在V-管道同时运行. 这可以使速度加倍. 因此将你的指令重新组织一下次序使它们配对是很有利的.

下面这些指令可以在任意的管道内配对:

下面的指令只能在 U-管道配对: 下面的指令可以在任何管道运行,但是只能在 V-管道配对:

所有的整数指令到可以在 U-管道运行, 但不一定可以配对.

两条连续的指令满足了下面的要求时就可以配对:

1. 第一条指令在 U 管道中,第二条指令在 V 管道中, 且它们是可配对的.

2. 当第一条指令写一个寄存器的时候, 第二条指令不去读写它.
例如:

    MOV EAX, EBX / MOV ECX, EAX     ; 写后面跟着读, 不能配对
    MOV EAX, 1   / MOV EAX, 2       ; 写后面跟着写, 不能配对
    MOV EBX, EAX / MOV EAX, 2       ; 读后面跟着写, 可以配对
    MOV EBX, EAX / MOV ECX, EAX     ; 读后面跟着读, 可以配对
    MOV EBX, EAX / INC EAX          ; 读后面跟着读写,可以配对

3. 在第2条规则里面, 寄存器的一部分作为整个寄存器来对待, 例如:

    MOV AL, BL  /  MOV AH, 0

写入相对寄存器的不同部分, 不能配对

4. 当两条指令同时写的是标记寄存器的不同部分时, 规则2和3都可以忽略掉. 例如:

    SHR EAX, 4 / INC EBX            ; 可以配对

5. 一个写标记寄存器的指令可以和一个条件跳转配对, 而忽略掉规则 2 . 例如:

    CMP EAX, 2 / JA LabelBigger     ; 可以配对

6. 下面的指令对, 虽然同时修改了栈指针, 但是它们依然可以配对:

    PUSH + PUSH,  PUSH + CALL,  POP + POP

7. 对于有前缀的配对指令有一些限制. 下面列出了几种形式的前缀:

在 PPlain 上, 有前缀的指令除了近距离条件跳转外只可以在 U 管道中执行.

PMMX 上, 带有操作数大小, 地址大小, 或 0FH 前缀的指令可以在任意管道运行, 但是带有段前缀, 重复前缀, 或者锁定前缀的指令 还是只能在 U 管道运行 .

8. 带有一个间接数和一个立即数的指令在 PPlain 上不能配对, 而在 PMMX 上只能在 U 管道配对:

    MOV DWORD PTR DS:[1000], 0    ; 不能配对, 或者只能在 U 管道配对
    CMP BYTE PTR [EBX+8], 1       ; 不能配对, 或者只能在 U 管道配对
    CMP BYTE PTR [EBX], 1         ; 可以配对
    CMP BYTE PTR [EBX+8], AL      ; 可以配对

(关于一个间接数和一个立即数在 PMMX 上配对的另一个问题是 这条指令可能比 7 字节还要长, 这意味着, 只有一个时钟周期只有一条指令能够被解码, 这些放在第12章解释.)

9. 两条指令必须已经预读进来且被解码. 这些放在第 8 章解释.

10. PMMX 上, 对于 MMX 指令有特殊的配对规则:

10.2 有缺陷配对

有几种情况下, 两条成对指令不能平行运行, 或者只是时间上部分重叠. 然而它们依然被当作是成对的, 因为 第一条指令在 U 管道运行, 而第二条在 V 管道. 随后的指令要在两条有缺陷配对的指令都完成后才开始运行.

有缺陷配对发生在以下条件下:

1. 如果第二条指令遭遇了一个 AGI 延迟 (见第9章).

2. 两条指令不能同时访问内存的同一个 DWORD. 下面的例子假定 ESI 可以被 4 整除:
MOV AL, [ESI] / MOV BL, [ESI+1]
两个操作数是在同一个 DWORD 里, 因此它们不能同时执行. 这对指令需要 2 个时钟周期.
MOV AL, [ESI+3] / MOV BL, [ESI+4]
这里两个操作数分别处于两个 DWORD 的边界, 因此它们完美的配对, 只需要消耗 1 个时钟周期.

3. 第 2 条款可以扩展到两个地址的 2-4 位相同的情况 (cache 区冲突). 对于 DWORD 地址, 这意味着两个地址差不能被 32 整除. 例如:

   MOV [ESI], EAX / MOV [ESI+32000], EBX ;  有缺陷配对
   MOV [ESI], EAX / MOV [ESI+32004], EBX ;  完美配对

不访问内存的可配对整数指令一个时钟周期可以执行完, 但是中断预测失败的跳转例外. MOV 读或写内存的指令 当数据区在 cache 里并严格对齐的时候也只需要一个时钟周期. 即使是像用索引寄存器变址的复杂寻址模式下也不会有速度上的 惩罚.

一组配对整数指令, 如果需要读内存, 做一些计算后 把结果保存在寄存器或标记寄存器中时, 需要消耗两个时钟周期. (读/修改 指令).

一组配对整数指令, 如果需要读内存, 做一些计算后 把结果回写到内存中, 需要消耗3个时钟周期. (读/修改/写 指令).

4. 如果一条 读/修改/写 指令和一条 读/修改 或 读/修改/写指令 配对, 那么它们就是一个有缺陷配对.

下表展示了各种情况下需要的时钟周期数:
第一条指令 第二条指令
  MOV 或者 仅仅是寄存器操作   读/修改   读/修改/写 
 MOV 或仅仅是寄存器操作   1   2   3 
 读/修改   2   2   3 
 读/修改/写   3   4   5 

例如:
ADD [mem1], EAX / ADD EBX, [mem2] ; 4 个时钟周期
ADD EBX, [mem2] / ADD [mem1], EAX ; 3 个时钟周期

5. 当两条配对指令都因为cache失效,没有对齐,或跳转预测失败等情况而 需要极端的时间时, 一对指令消耗的时间将比其中任何一条需要的时间都长, 但是比两条指令需要的时间之和短.

6. FXCH 之后的可配对浮点指令, 当下一条指令不是一条浮点指令时 组成一个缺陷配对.

为了避免有缺陷配对, 你必须知道哪条指令进入了 U 管道, 哪条进入了 V 管道. 你可以向前看看你的代码, 找到哪条指令是不能配对的, 或者只能在一条管道中配对, 又或因为上面提及的规则而不能配对.

有缺陷配对通常可以通过重组你的指令来避免. 例如:

L1:     MOV     EAX,[ESI]
        MOV     EBX,[ESI]
        INC     ECX

这里两条 MOV 指令组成了一个有缺陷配对, 因为它们访问了同一内存地址, 所以这组指令需要消耗 3 个时钟周期. 你可以通过重组指令, 把 INC ECX 跟其中一个 MOV 指令配对.

L2:     MOV     EAX,OFFSET A
        XOR     EBX,EBX
        INC     EBX
        MOV     ECX,[EAX]
        JMP     L1

INC EBX / MOV ECX,[EAX] 这对指令是一个有缺陷配对, 因为 is imperfect because the latter 因为后一条指令发生了 AGI 延迟. 这组指令消耗 4 个时钟周期. 如果你插入一条 NOP 或任意别的指令, 替换成 MOV ECX,[EAX]JMP L1 配对, 这样这组指令就只需要消耗 3 个时钟周期了.

下一个例子是 16 位模式下的, 假设 SP 可以被 4 整除:

L3:     PUSH    AX
        PUSH    BX
        PUSH    CX
        PUSH    DX
        CALL    FUNC

这里 PUSH 指令组成了两个有缺陷配对, 因为各对指令中的两个操作数都放入了内存的同一 DWORD 中. PUSH BX 可能可以和 PUSH CX 完美配对起来 (因为它们访问的是两个不同的 DWORD) 但是并不是这样, 因为它已经和 PUSH AX 配对了. 这组指令消耗了 5 个时钟周期. 如果你插入一个 NOP 或者其它指令, 让 PUSH BXPUSH CX 配对, 而 PUSH DXCALL FUNC 配对, 这样这组指令就只需要 3 个时钟周期了. 另一个解决方案是, 让 SP 不被 4 整除. 想知道 SP 是否被 4 整除在 16 位模式下是很困难的, 所以避免这个问题的最佳方案是去使用 32 位模式.

11. 将复杂指令集分割为简单指令 (PPlain 及 PMMX)

你可以把 读/修改 和 读/修改/写 指令切开 来提高配对效率. 例如:
ADD [mem1],EAX / ADD [mem2],EBX ; 5 个时钟周期
这个代码可以切开, 而只需要消耗 3 个时钟周期:

    MOV ECX,[mem1] / MOV EDX,[mem2] / ADD ECX,EAX / ADD EDX,EBX
    MOV [mem1],ECX / MOV [mem2],EDX

同样的你可以把不能配对的指令切开让它们可以配对:

    PUSH [mem1]
    PUSH [mem2]  ; 不能配对

切开变成:

    MOV EAX,[mem1]
    MOV EBX,[mem2]
    PUSH EAX
    PUSH EBX     ; 所有的都配对了

下面还有另一些例子, 展示了一些不能配对的指令切开后变成 可配对指令:
CDQ 切成: MOV EDX,EAX / SAR EDX,31
NOT EAX 改为 XOR EAX,-1
NEG EAX 切成 XOR EAX,-1 / INC EAX
MOVZX EAX,BYTE PTR [mem] 切成 XOR EAX,EAX / MOV AL,BYTE PTR [mem]
JECXZ 切成 TEST ECX,ECX / JZ
LOOP 切成 DEC ECX / JNZ
XLAT 改为 MOV AL,[EBX+EAX]

如果切开指令并不能提高速度, 你应该保持复杂指令或不能配对的指令, 这样可以减小代码的尺寸.

对于 PPro, PII and PIII, 不需要将指令切开, 除非能产生更小的代码.