contrib/llvm-project/llvm/lib/Target/X86/X86ScheduleSLM.td

   1 //=- X86ScheduleSLM.td - X86 Silvermont Scheduling -----------*- tablegen -*-=//
   2 //
   3 // Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
   4 // See https://llvm.org/LICENSE.txt for license information.
   5 // SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
   6 //
   7 //===----------------------------------------------------------------------===//
   8 //
   9 // This file defines the machine model for Intel Silvermont to support
  10 // instruction scheduling and other instruction cost heuristics.
  11 //
  12 //===----------------------------------------------------------------------===//
  13
  14 def SLMModel : SchedMachineModel {
  15   // All x86 instructions are modeled as a single micro-op, and SLM can decode 2
  16   // instructions per cycle.
  17   let IssueWidth = 2;
  18   let MicroOpBufferSize = 32; // Based on the reorder buffer.
  19   let LoadLatency = 3;
  20   let MispredictPenalty = 10;
  21   let PostRAScheduler = 1;
  22
  23   // For small loops, expand by a small factor to hide the backedge cost.
  24   let LoopMicroOpBufferSize = 10;
  25
  26   // FIXME: SSE4 is unimplemented. This flag is set to allow
  27   // the scheduler to assign a default model to unrecognized opcodes.
  28   let CompleteModel = 0;
  29 }
  30
  31 let SchedModel = SLMModel in {
  32
  33 // Silvermont has 5 reservation stations for micro-ops
  34 def SLM_IEC_RSV0 : ProcResource<1>;
  35 def SLM_IEC_RSV1 : ProcResource<1>;
  36 def SLM_FPC_RSV0 : ProcResource<1> { let BufferSize = 1; }
  37 def SLM_FPC_RSV1 : ProcResource<1> { let BufferSize = 1; }
  38 def SLM_MEC_RSV  : ProcResource<1>;
  39
  40 // Many micro-ops are capable of issuing on multiple ports.
  41 def SLM_IEC_RSV01  : ProcResGroup<[SLM_IEC_RSV0, SLM_IEC_RSV1]>;
  42 def SLM_FPC_RSV01  : ProcResGroup<[SLM_FPC_RSV0, SLM_FPC_RSV1]>;
  43
  44 def SLMDivider      : ProcResource<1>;
  45 def SLMFPMultiplier : ProcResource<1>;
  46 def SLMFPDivider    : ProcResource<1>;
  47
  48 // Loads are 3 cycles, so ReadAfterLd registers needn't be available until 3
  49 // cycles after the memory operand.
  50 def : ReadAdvance<ReadAfterLd, 3>;
  51 def : ReadAdvance<ReadAfterVecLd, 3>;
  52 def : ReadAdvance<ReadAfterVecXLd, 3>;
  53 def : ReadAdvance<ReadAfterVecYLd, 3>;
  54
  55 def : ReadAdvance<ReadInt2Fpu, 0>;
  56
  57 // Many SchedWrites are defined in pairs with and without a folded load.
  58 // Instructions with folded loads are usually micro-fused, so they only appear
  59 // as two micro-ops when queued in the reservation station.
  60 // This multiclass defines the resource usage for variants with and without
  61 // folded loads.
  62 multiclass SLMWriteResPair<X86FoldableSchedWrite SchedRW,
  63                            list<ProcResourceKind> ExePorts,
  64                            int Lat, list<int> Res = [1], int UOps = 1,
  65                            int LoadLat = 3> {
  66   // Register variant is using a single cycle on ExePort.
  67   def : WriteRes<SchedRW, ExePorts> {
  68     let Latency = Lat;
  69     let ResourceCycles = Res;
  70     let NumMicroOps = UOps;
  71   }
  72
  73   // Memory variant also uses a cycle on MEC_RSV and adds LoadLat cycles to
  74   // the latency (default = 3).
  75   def : WriteRes<SchedRW.Folded, !listconcat([SLM_MEC_RSV], ExePorts)> {
  76     let Latency = !add(Lat, LoadLat);
  77     let ResourceCycles = !listconcat([1], Res);
  78     let NumMicroOps = UOps;
  79   }
  80 }
  81
  82 // A folded store needs a cycle on MEC_RSV for the store data, but it does not
  83 // need an extra port cycle to recompute the address.
  84 def : WriteRes<WriteRMW, [SLM_MEC_RSV]>;
  85
  86 def : WriteRes<WriteStore,   [SLM_IEC_RSV01, SLM_MEC_RSV]>;
  87 def : WriteRes<WriteStoreNT, [SLM_IEC_RSV01, SLM_MEC_RSV]>;
  88 def : WriteRes<WriteLoad,    [SLM_MEC_RSV]> { let Latency = 3; }
  89 def : WriteRes<WriteMove,    [SLM_IEC_RSV01]>;
  90 def : WriteRes<WriteZero,    []>;
  91
  92 // Load/store MXCSR.
  93 // FIXME: These are probably wrong. They are copy pasted from WriteStore/Load.
  94 def : WriteRes<WriteSTMXCSR, [SLM_IEC_RSV01, SLM_MEC_RSV]>;
  95 def : WriteRes<WriteLDMXCSR,  [SLM_MEC_RSV]> { let Latency = 3; }
  96
  97 // Treat misc copies as a move.
  98 def : InstRW<[WriteMove], (instrs COPY)>;
  99
 100 defm : SLMWriteResPair<WriteALU,    [SLM_IEC_RSV01], 1>;
 101 defm : SLMWriteResPair<WriteADC,    [SLM_IEC_RSV01], 1>;
 102
 103 defm : SLMWriteResPair<WriteIMul8,     [SLM_IEC_RSV1],  3>;
 104 defm : SLMWriteResPair<WriteIMul16,    [SLM_IEC_RSV1],  3>;
 105 defm : SLMWriteResPair<WriteIMul16Imm, [SLM_IEC_RSV1],  3>;
 106 defm : SLMWriteResPair<WriteIMul16Reg, [SLM_IEC_RSV1],  3>;
 107 defm : SLMWriteResPair<WriteIMul32,    [SLM_IEC_RSV1],  3>;
 108 defm : SLMWriteResPair<WriteIMul32Imm, [SLM_IEC_RSV1],  3>;
 109 defm : SLMWriteResPair<WriteIMul32Reg, [SLM_IEC_RSV1],  3>;
 110 defm : SLMWriteResPair<WriteIMul64,    [SLM_IEC_RSV1],  3>;
 111 defm : SLMWriteResPair<WriteIMul64Imm, [SLM_IEC_RSV1],  3>;
 112 defm : SLMWriteResPair<WriteIMul64Reg, [SLM_IEC_RSV1],  3>;
 113
 114 defm : X86WriteRes<WriteBSWAP32, [SLM_IEC_RSV01], 1, [1], 1>;
 115 defm : X86WriteRes<WriteBSWAP64, [SLM_IEC_RSV01], 1, [1], 1>;
 116 defm : X86WriteRes<WriteCMPXCHG, [SLM_IEC_RSV01], 1, [1], 1>;
 117 defm : X86WriteRes<WriteCMPXCHGRMW, [SLM_IEC_RSV01, SLM_MEC_RSV], 4, [1, 2], 2>;
 118 defm : X86WriteRes<WriteXCHG,      [SLM_IEC_RSV01], 1, [1], 1>;
 119
 120 defm : SLMWriteResPair<WriteShift,    [SLM_IEC_RSV0],  1>;
 121 defm : SLMWriteResPair<WriteShiftCL,  [SLM_IEC_RSV0],  1>;
 122 defm : SLMWriteResPair<WriteRotate,   [SLM_IEC_RSV0],  1>;
 123 defm : SLMWriteResPair<WriteRotateCL, [SLM_IEC_RSV0],  1>;
 124
 125 defm : X86WriteRes<WriteSHDrri, [SLM_IEC_RSV0],  1, [1], 1>;
 126 defm : X86WriteRes<WriteSHDrrcl,[SLM_IEC_RSV0],  1, [1], 1>;
 127 defm : X86WriteRes<WriteSHDmri, [SLM_MEC_RSV, SLM_IEC_RSV0], 4, [2, 1], 2>;
 128 defm : X86WriteRes<WriteSHDmrcl,[SLM_MEC_RSV, SLM_IEC_RSV0], 4, [2, 1], 2>;
 129
 130 defm : SLMWriteResPair<WriteJump,   [SLM_IEC_RSV1],  1>;
 131 defm : SLMWriteResPair<WriteCRC32,  [SLM_IEC_RSV1],  3>;
 132
 133 defm : SLMWriteResPair<WriteCMOV,  [SLM_IEC_RSV01], 2, [2]>;
 134 defm : X86WriteRes<WriteFCMOV, [SLM_FPC_RSV1], 3, [1], 1>; // x87 conditional move.
 135 def  : WriteRes<WriteSETCC, [SLM_IEC_RSV01]>;
 136 def  : WriteRes<WriteSETCCStore, [SLM_IEC_RSV01, SLM_MEC_RSV]> {
 137   // FIXME Latency and NumMicrOps?
 138   let ResourceCycles = [2,1];
 139 }
 140 defm : X86WriteRes<WriteLAHFSAHF,        [SLM_IEC_RSV01], 1, [1], 1>;
 141 defm : X86WriteRes<WriteBitTest,         [SLM_IEC_RSV01], 1, [1], 1>;
 142 defm : X86WriteRes<WriteBitTestImmLd,    [SLM_IEC_RSV01, SLM_MEC_RSV], 4, [1,1], 1>;
 143 defm : X86WriteRes<WriteBitTestRegLd,    [SLM_IEC_RSV01, SLM_MEC_RSV], 4, [1,1], 1>;
 144 defm : X86WriteRes<WriteBitTestSet,      [SLM_IEC_RSV01], 1, [1], 1>;
 145 defm : X86WriteRes<WriteBitTestSetImmLd, [SLM_IEC_RSV01, SLM_MEC_RSV], 3, [1,1], 1>;
 146 defm : X86WriteRes<WriteBitTestSetRegLd, [SLM_IEC_RSV01, SLM_MEC_RSV], 3, [1,1], 1>;
 147
 148 // This is for simple LEAs with one or two input operands.
 149 // The complex ones can only execute on port 1, and they require two cycles on
 150 // the port to read all inputs. We don't model that.
 151 def : WriteRes<WriteLEA, [SLM_IEC_RSV1]>;
 152
 153 // Bit counts.
 154 defm : SLMWriteResPair<WriteBSF, [SLM_IEC_RSV01], 10, [20], 10>;
 155 defm : SLMWriteResPair<WriteBSR, [SLM_IEC_RSV01], 10, [20], 10>;
 156 defm : SLMWriteResPair<WriteLZCNT,          [SLM_IEC_RSV0], 3>;
 157 defm : SLMWriteResPair<WriteTZCNT,          [SLM_IEC_RSV0], 3>;
 158 defm : SLMWriteResPair<WritePOPCNT,         [SLM_IEC_RSV0], 3>;
 159
 160 // BMI1 BEXTR/BLS, BMI2 BZHI
 161 defm : X86WriteResPairUnsupported<WriteBEXTR>;
 162 defm : X86WriteResPairUnsupported<WriteBLS>;
 163 defm : X86WriteResPairUnsupported<WriteBZHI>;
 164
 165 defm : SLMWriteResPair<WriteDiv8,   [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 166 defm : SLMWriteResPair<WriteDiv16,  [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 167 defm : SLMWriteResPair<WriteDiv32,  [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 168 defm : SLMWriteResPair<WriteDiv64,  [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 169 defm : SLMWriteResPair<WriteIDiv8,  [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 170 defm : SLMWriteResPair<WriteIDiv16, [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 171 defm : SLMWriteResPair<WriteIDiv32, [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 172 defm : SLMWriteResPair<WriteIDiv64, [SLM_IEC_RSV01, SLMDivider], 25, [1,25], 1, 4>;
 173
 174 // Scalar and vector floating point.
 175 defm : X86WriteRes<WriteFLD0,       [SLM_FPC_RSV01], 1, [1], 1>;
 176 defm : X86WriteRes<WriteFLD1,       [SLM_FPC_RSV01], 1, [1], 1>;
 177 defm : X86WriteRes<WriteFLDC,       [SLM_FPC_RSV01], 1, [2], 2>;
 178 def  : WriteRes<WriteFLoad,         [SLM_MEC_RSV]> { let Latency = 3; }
 179 def  : WriteRes<WriteFLoadX,        [SLM_MEC_RSV]> { let Latency = 3; }
 180 def  : WriteRes<WriteFLoadY,        [SLM_MEC_RSV]> { let Latency = 3; }
 181 def  : WriteRes<WriteFMaskedLoad,   [SLM_MEC_RSV]> { let Latency = 3; }
 182 def  : WriteRes<WriteFMaskedLoadY,  [SLM_MEC_RSV]> { let Latency = 3; }
 183 def  : WriteRes<WriteFStore,        [SLM_MEC_RSV]>;
 184 def  : WriteRes<WriteFStoreX,       [SLM_MEC_RSV]>;
 185 def  : WriteRes<WriteFStoreY,       [SLM_MEC_RSV]>;
 186 def  : WriteRes<WriteFStoreNT,      [SLM_MEC_RSV]>;
 187 def  : WriteRes<WriteFStoreNTX,     [SLM_MEC_RSV]>;
 188 def  : WriteRes<WriteFStoreNTY,     [SLM_MEC_RSV]>;
 189 def  : WriteRes<WriteFMaskedStore,  [SLM_MEC_RSV]>;
 190 def  : WriteRes<WriteFMaskedStoreY, [SLM_MEC_RSV]>;
 191 def  : WriteRes<WriteFMove,         [SLM_FPC_RSV01]>;
 192 def  : WriteRes<WriteFMoveX,        [SLM_FPC_RSV01]>;
 193 def  : WriteRes<WriteFMoveY,        [SLM_FPC_RSV01]>;
 194 defm : X86WriteRes<WriteEMMS,       [SLM_FPC_RSV01], 10, [10], 9>;
 195
 196 defm : SLMWriteResPair<WriteFAdd,     [SLM_FPC_RSV1], 3>;
 197 defm : SLMWriteResPair<WriteFAddX,    [SLM_FPC_RSV1], 3>;
 198 defm : SLMWriteResPair<WriteFAddY,    [SLM_FPC_RSV1], 3>;
 199 defm : X86WriteResPairUnsupported<WriteFAddZ>;
 200 defm : SLMWriteResPair<WriteFAdd64,   [SLM_FPC_RSV1], 3>;
 201 defm : SLMWriteResPair<WriteFAdd64X,  [SLM_FPC_RSV1], 3>;
 202 defm : SLMWriteResPair<WriteFAdd64Y,  [SLM_FPC_RSV1], 3>;
 203 defm : X86WriteResPairUnsupported<WriteFAdd64Z>;
 204 defm : SLMWriteResPair<WriteFCmp,     [SLM_FPC_RSV1], 3>;
 205 defm : SLMWriteResPair<WriteFCmpX,    [SLM_FPC_RSV1], 3>;
 206 defm : SLMWriteResPair<WriteFCmpY,    [SLM_FPC_RSV1], 3>;
 207 defm : X86WriteResPairUnsupported<WriteFCmpZ>;
 208 defm : SLMWriteResPair<WriteFCmp64,   [SLM_FPC_RSV1], 3>;
 209 defm : SLMWriteResPair<WriteFCmp64X,  [SLM_FPC_RSV1], 3>;
 210 defm : SLMWriteResPair<WriteFCmp64Y,  [SLM_FPC_RSV1], 3>;
 211 defm : X86WriteResPairUnsupported<WriteFCmp64Z>;
 212 defm : SLMWriteResPair<WriteFCom,     [SLM_FPC_RSV1], 3>;
 213 defm : SLMWriteResPair<WriteFMul,     [SLM_FPC_RSV0, SLMFPMultiplier], 5, [1,2]>;
 214 defm : SLMWriteResPair<WriteFMulX,    [SLM_FPC_RSV0, SLMFPMultiplier], 5, [1,2]>;
 215 defm : SLMWriteResPair<WriteFMulY,    [SLM_FPC_RSV0, SLMFPMultiplier], 5, [1,2]>;
 216 defm : X86WriteResPairUnsupported<WriteFMulZ>;
 217 defm : SLMWriteResPair<WriteFMul64,   [SLM_FPC_RSV0, SLMFPMultiplier], 5, [1,2]>;
 218 defm : SLMWriteResPair<WriteFMul64X,  [SLM_FPC_RSV0, SLMFPMultiplier], 5, [1,2]>;
 219 defm : SLMWriteResPair<WriteFMul64Y,  [SLM_FPC_RSV0, SLMFPMultiplier], 5, [1,2]>;
 220 defm : X86WriteResPairUnsupported<WriteFMul64Z>;
 221 defm : SLMWriteResPair<WriteFDiv,     [SLM_FPC_RSV0, SLMFPDivider], 19, [1,17]>;
 222 defm : SLMWriteResPair<WriteFDivX,    [SLM_FPC_RSV0, SLMFPDivider], 39, [1,39]>;
 223 defm : SLMWriteResPair<WriteFDivY,    [SLM_FPC_RSV0, SLMFPDivider], 39, [1,39]>;
 224 defm : X86WriteResPairUnsupported<WriteFDivZ>;
 225 defm : SLMWriteResPair<WriteFDiv64,   [SLM_FPC_RSV0, SLMFPDivider], 34, [1,32]>;
 226 defm : SLMWriteResPair<WriteFDiv64X,  [SLM_FPC_RSV0, SLMFPDivider], 69, [1,69]>;
 227 defm : SLMWriteResPair<WriteFDiv64Y,  [SLM_FPC_RSV0, SLMFPDivider], 69, [1,69]>;
 228 defm : X86WriteResPairUnsupported<WriteFDiv64Z>;
 229 defm : SLMWriteResPair<WriteFRcp,     [SLM_FPC_RSV0], 5>;
 230 defm : SLMWriteResPair<WriteFRcpX,    [SLM_FPC_RSV0], 5>;
 231 defm : SLMWriteResPair<WriteFRcpY,    [SLM_FPC_RSV0], 5>;
 232 defm : X86WriteResPairUnsupported<WriteFRcpZ>;
 233 defm : SLMWriteResPair<WriteFRsqrt,   [SLM_FPC_RSV0], 5>;
 234 defm : SLMWriteResPair<WriteFRsqrtX,  [SLM_FPC_RSV0], 5>;
 235 defm : SLMWriteResPair<WriteFRsqrtY,  [SLM_FPC_RSV0], 5>;
 236 defm : X86WriteResPairUnsupported<WriteFRsqrtZ>;
 237 defm : SLMWriteResPair<WriteFSqrt,    [SLM_FPC_RSV0,SLMFPDivider], 20, [1,20], 1, 3>;
 238 defm : SLMWriteResPair<WriteFSqrtX,   [SLM_FPC_RSV0,SLMFPDivider], 41, [1,40], 1, 3>;
 239 defm : SLMWriteResPair<WriteFSqrtY,   [SLM_FPC_RSV0,SLMFPDivider], 41, [1,40], 1, 3>;
 240 defm : X86WriteResPairUnsupported<WriteFSqrtZ>;
 241 defm : SLMWriteResPair<WriteFSqrt64,  [SLM_FPC_RSV0,SLMFPDivider], 35, [1,35], 1, 3>;
 242 defm : SLMWriteResPair<WriteFSqrt64X, [SLM_FPC_RSV0,SLMFPDivider], 71, [1,70], 1, 3>;
 243 defm : SLMWriteResPair<WriteFSqrt64Y, [SLM_FPC_RSV0,SLMFPDivider], 71, [1,70], 1, 3>;
 244 defm : X86WriteResPairUnsupported<WriteFSqrt64Z>;
 245 defm : SLMWriteResPair<WriteFSqrt80,  [SLM_FPC_RSV0,SLMFPDivider], 40, [1,40]>;
 246 defm : SLMWriteResPair<WriteDPPD,   [SLM_FPC_RSV1], 3>;
 247 defm : SLMWriteResPair<WriteDPPS,   [SLM_FPC_RSV1], 3>;
 248 defm : SLMWriteResPair<WriteDPPSY,  [SLM_FPC_RSV1], 3>;
 249 defm : X86WriteResPairUnsupported<WriteDPPSZ>;
 250 defm : SLMWriteResPair<WriteFSign,  [SLM_FPC_RSV01], 1>;
 251 defm : SLMWriteResPair<WriteFRnd,   [SLM_FPC_RSV1], 3>;
 252 defm : SLMWriteResPair<WriteFRndY,  [SLM_FPC_RSV1], 3>;
 253 defm : X86WriteResPairUnsupported<WriteFRndZ>;
 254 defm : SLMWriteResPair<WriteFLogic, [SLM_FPC_RSV01], 1>;
 255 defm : SLMWriteResPair<WriteFLogicY, [SLM_FPC_RSV01], 1>;
 256 defm : X86WriteResPairUnsupported<WriteFLogicZ>;
 257 defm : SLMWriteResPair<WriteFTest,  [SLM_FPC_RSV01], 1>;
 258 defm : SLMWriteResPair<WriteFTestY, [SLM_FPC_RSV01], 1>;
 259 defm : X86WriteResPairUnsupported<WriteFTestZ>;
 260 defm : SLMWriteResPair<WriteFShuffle,  [SLM_FPC_RSV0], 1>;
 261 defm : SLMWriteResPair<WriteFShuffleY, [SLM_FPC_RSV0], 1>;
 262 defm : X86WriteResPairUnsupported<WriteFShuffleZ>;
 263 defm : SLMWriteResPair<WriteFVarShuffle, [SLM_FPC_RSV0],  1>;
 264 defm : SLMWriteResPair<WriteFVarShuffleY,[SLM_FPC_RSV0],  1>;
 265 defm : X86WriteResPairUnsupported<WriteFVarShuffleZ>;
 266 defm : SLMWriteResPair<WriteFBlend,  [SLM_FPC_RSV0],  1>;
 267
 268 // Conversion between integer and float.
 269 defm : SLMWriteResPair<WriteCvtSS2I,   [SLM_FPC_RSV01], 4>;
 270 defm : SLMWriteResPair<WriteCvtPS2I,   [SLM_FPC_RSV01], 4>;
 271 defm : SLMWriteResPair<WriteCvtPS2IY,  [SLM_FPC_RSV01], 4>;
 272 defm : X86WriteResPairUnsupported<WriteCvtPS2IZ>;
 273 defm : SLMWriteResPair<WriteCvtSD2I,   [SLM_FPC_RSV01], 4>;
 274 defm : SLMWriteResPair<WriteCvtPD2I,   [SLM_FPC_RSV01], 4>;
 275 defm : SLMWriteResPair<WriteCvtPD2IY,  [SLM_FPC_RSV01], 4>;
 276 defm : X86WriteResPairUnsupported<WriteCvtPD2IZ>;
 277
 278 defm : SLMWriteResPair<WriteCvtI2SS,   [SLM_FPC_RSV01], 4>;
 279 defm : SLMWriteResPair<WriteCvtI2PS,   [SLM_FPC_RSV01], 4>;
 280 defm : SLMWriteResPair<WriteCvtI2PSY,  [SLM_FPC_RSV01], 4>;
 281 defm : X86WriteResPairUnsupported<WriteCvtI2PSZ>;
 282 defm : SLMWriteResPair<WriteCvtI2SD,   [SLM_FPC_RSV01], 4>;
 283 defm : SLMWriteResPair<WriteCvtI2PD,   [SLM_FPC_RSV01], 4>;
 284 defm : SLMWriteResPair<WriteCvtI2PDY,  [SLM_FPC_RSV01], 4>;
 285 defm : X86WriteResPairUnsupported<WriteCvtI2PDZ>;
 286
 287 defm : SLMWriteResPair<WriteCvtSS2SD,  [SLM_FPC_RSV01], 4>;
 288 defm : SLMWriteResPair<WriteCvtPS2PD,  [SLM_FPC_RSV01], 4>;
 289 defm : SLMWriteResPair<WriteCvtPS2PDY, [SLM_FPC_RSV01], 4>;
 290 defm : X86WriteResPairUnsupported<WriteCvtPS2PDZ>;
 291 defm : SLMWriteResPair<WriteCvtSD2SS,  [SLM_FPC_RSV01], 4>;
 292 defm : SLMWriteResPair<WriteCvtPD2PS,  [SLM_FPC_RSV01], 4>;
 293 defm : SLMWriteResPair<WriteCvtPD2PSY, [SLM_FPC_RSV01], 4>;
 294 defm : X86WriteResPairUnsupported<WriteCvtPD2PSZ>;
 295
 296 // Vector integer operations.
 297 def  : WriteRes<WriteVecLoad,         [SLM_MEC_RSV]> { let Latency = 3; }
 298 def  : WriteRes<WriteVecLoadX,        [SLM_MEC_RSV]> { let Latency = 3; }
 299 def  : WriteRes<WriteVecLoadY,        [SLM_MEC_RSV]> { let Latency = 3; }
 300 def  : WriteRes<WriteVecLoadNT,       [SLM_MEC_RSV]> { let Latency = 3; }
 301 def  : WriteRes<WriteVecLoadNTY,      [SLM_MEC_RSV]> { let Latency = 3; }
 302 def  : WriteRes<WriteVecMaskedLoad,   [SLM_MEC_RSV]> { let Latency = 3; }
 303 def  : WriteRes<WriteVecMaskedLoadY,  [SLM_MEC_RSV]> { let Latency = 3; }
 304 def  : WriteRes<WriteVecStore,        [SLM_MEC_RSV]>;
 305 def  : WriteRes<WriteVecStoreX,       [SLM_MEC_RSV]>;
 306 def  : WriteRes<WriteVecStoreY,       [SLM_MEC_RSV]>;
 307 def  : WriteRes<WriteVecStoreNT,      [SLM_MEC_RSV]>;
 308 def  : WriteRes<WriteVecStoreNTY,     [SLM_MEC_RSV]>;
 309 def  : WriteRes<WriteVecMaskedStore,  [SLM_MEC_RSV]>;
 310 def  : WriteRes<WriteVecMaskedStoreY, [SLM_MEC_RSV]>;
 311 def  : WriteRes<WriteVecMove,         [SLM_FPC_RSV01]>;
 312 def  : WriteRes<WriteVecMoveX,        [SLM_FPC_RSV01]>;
 313 def  : WriteRes<WriteVecMoveY,        [SLM_FPC_RSV01]>;
 314 def  : WriteRes<WriteVecMoveToGpr,    [SLM_IEC_RSV01]>;
 315 def  : WriteRes<WriteVecMoveFromGpr,  [SLM_IEC_RSV01]>;
 316
 317 defm : SLMWriteResPair<WriteVecShift,    [SLM_FPC_RSV0],  1>;
 318 defm : SLMWriteResPair<WriteVecShiftX,   [SLM_FPC_RSV0],  1>;
 319 defm : SLMWriteResPair<WriteVecShiftY,   [SLM_FPC_RSV0],  1>;
 320 defm : X86WriteResPairUnsupported<WriteVecShiftZ>;
 321 defm : SLMWriteResPair<WriteVecShiftImm, [SLM_FPC_RSV0],  1>;
 322 defm : SLMWriteResPair<WriteVecShiftImmX,[SLM_FPC_RSV0],  1>;
 323 defm : SLMWriteResPair<WriteVecShiftImmY,[SLM_FPC_RSV0],  1>;
 324 defm : X86WriteResPairUnsupported<WriteVecShiftImmZ>;
 325 defm : SLMWriteResPair<WriteVecLogic, [SLM_FPC_RSV01], 1>;
 326 defm : SLMWriteResPair<WriteVecLogicX,[SLM_FPC_RSV01], 1>;
 327 defm : SLMWriteResPair<WriteVecLogicY,[SLM_FPC_RSV01], 1>;
 328 defm : X86WriteResPairUnsupported<WriteVecLogicZ>;
 329 defm : SLMWriteResPair<WriteVecTest,  [SLM_FPC_RSV01], 1>;
 330 defm : SLMWriteResPair<WriteVecTestY, [SLM_FPC_RSV01], 1>;
 331 defm : X86WriteResPairUnsupported<WriteVecTestZ>;
 332 defm : SLMWriteResPair<WriteVecALU,   [SLM_FPC_RSV01],  1>;
 333 defm : SLMWriteResPair<WriteVecALUX,  [SLM_FPC_RSV01],  1>;
 334 defm : SLMWriteResPair<WriteVecALUY,  [SLM_FPC_RSV01],  1>;
 335 defm : X86WriteResPairUnsupported<WriteVecALUZ>;
 336 defm : SLMWriteResPair<WriteVecIMul,  [SLM_FPC_RSV0],   4>;
 337 defm : SLMWriteResPair<WriteVecIMulX, [SLM_FPC_RSV0],   4>;
 338 defm : SLMWriteResPair<WriteVecIMulY, [SLM_FPC_RSV0],   4>;
 339 defm : X86WriteResPairUnsupported<WriteVecIMulZ>;
 340 // FIXME: The below is closer to correct, but caused some perf regressions.
 341 //defm : SLMWriteResPair<WritePMULLD,  [SLM_FPC_RSV0],   11, [11], 7>;
 342 defm : SLMWriteResPair<WritePMULLD,  [SLM_FPC_RSV0],   4>;
 343 defm : SLMWriteResPair<WritePMULLDY, [SLM_FPC_RSV0],   4>;
 344 defm : X86WriteResPairUnsupported<WritePMULLDZ>;
 345 defm : SLMWriteResPair<WriteShuffle,  [SLM_FPC_RSV0],  1>;
 346 defm : SLMWriteResPair<WriteShuffleY, [SLM_FPC_RSV0],  1>;
 347 defm : X86WriteResPairUnsupported<WriteShuffleZ>;
 348 defm : SLMWriteResPair<WriteShuffleX, [SLM_FPC_RSV0],  1>;
 349 defm : SLMWriteResPair<WriteVarShuffle,  [SLM_FPC_RSV0],  1>;
 350 defm : SLMWriteResPair<WriteVarShuffleX, [SLM_FPC_RSV0],  1>;
 351 defm : SLMWriteResPair<WriteVarShuffleY, [SLM_FPC_RSV0],  1>;
 352 defm : X86WriteResPairUnsupported<WriteVarShuffleZ>;
 353 defm : SLMWriteResPair<WriteBlend,  [SLM_FPC_RSV0],  1>;
 354 defm : SLMWriteResPair<WriteBlendY, [SLM_FPC_RSV0],  1>;
 355 defm : X86WriteResPairUnsupported<WriteBlendZ>;
 356 defm : SLMWriteResPair<WriteMPSAD,  [SLM_FPC_RSV0],  7>;
 357 defm : SLMWriteResPair<WriteMPSADY, [SLM_FPC_RSV0],  7>;
 358 defm : X86WriteResPairUnsupported<WriteMPSADZ>;
 359 defm : SLMWriteResPair<WritePSADBW,  [SLM_FPC_RSV0],  4>;
 360 defm : SLMWriteResPair<WritePSADBWX, [SLM_FPC_RSV0],  4>;
 361 defm : SLMWriteResPair<WritePSADBWY, [SLM_FPC_RSV0],  4>;
 362 defm : X86WriteResPairUnsupported<WritePSADBWZ>;
 363 defm : SLMWriteResPair<WritePHMINPOS,  [SLM_FPC_RSV0],   4>;
 364
 365 // Vector insert/extract operations.
 366 defm : SLMWriteResPair<WriteVecInsert, [SLM_FPC_RSV0],  1>;
 367
 368 def  : WriteRes<WriteVecExtract, [SLM_FPC_RSV0]>;
 369 def  : WriteRes<WriteVecExtractSt, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 370   let Latency = 4;
 371   let NumMicroOps = 2;
 372   let ResourceCycles = [1, 2];
 373 }
 374
 375 ////////////////////////////////////////////////////////////////////////////////
 376 // Horizontal add/sub  instructions.
 377 ////////////////////////////////////////////////////////////////////////////////
 378
 379 defm : SLMWriteResPair<WriteFHAdd,   [SLM_FPC_RSV01], 3, [2]>;
 380 defm : SLMWriteResPair<WriteFHAddY,  [SLM_FPC_RSV01], 3, [2]>;
 381 defm : X86WriteResPairUnsupported<WriteFHAddZ>;
 382 defm : SLMWriteResPair<WritePHAdd,   [SLM_FPC_RSV01], 1>;
 383 defm : SLMWriteResPair<WritePHAddX,  [SLM_FPC_RSV01], 1>;
 384 defm : SLMWriteResPair<WritePHAddY,  [SLM_FPC_RSV01], 1>;
 385 defm : X86WriteResPairUnsupported<WritePHAddZ>;
 386
 387 // String instructions.
 388 // Packed Compare Implicit Length Strings, Return Mask
 389 def : WriteRes<WritePCmpIStrM, [SLM_FPC_RSV0]> {
 390   let Latency = 13;
 391   let ResourceCycles = [13];
 392 }
 393 def : WriteRes<WritePCmpIStrMLd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 394   let Latency = 13;
 395   let ResourceCycles = [13, 1];
 396 }
 397
 398 // Packed Compare Explicit Length Strings, Return Mask
 399 def : WriteRes<WritePCmpEStrM, [SLM_FPC_RSV0]> {
 400   let Latency = 17;
 401   let ResourceCycles = [17];
 402 }
 403 def : WriteRes<WritePCmpEStrMLd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 404   let Latency = 17;
 405   let ResourceCycles = [17, 1];
 406 }
 407
 408 // Packed Compare Implicit Length Strings, Return Index
 409 def : WriteRes<WritePCmpIStrI, [SLM_FPC_RSV0]> {
 410   let Latency = 17;
 411   let ResourceCycles = [17];
 412 }
 413 def : WriteRes<WritePCmpIStrILd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 414   let Latency = 17;
 415   let ResourceCycles = [17, 1];
 416 }
 417
 418 // Packed Compare Explicit Length Strings, Return Index
 419 def : WriteRes<WritePCmpEStrI, [SLM_FPC_RSV0]> {
 420   let Latency = 21;
 421   let ResourceCycles = [21];
 422 }
 423 def : WriteRes<WritePCmpEStrILd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 424   let Latency = 21;
 425   let ResourceCycles = [21, 1];
 426 }
 427
 428 // MOVMSK Instructions.
 429 def : WriteRes<WriteFMOVMSK,    [SLM_FPC_RSV1]> { let Latency = 4; }
 430 def : WriteRes<WriteVecMOVMSK,  [SLM_FPC_RSV1]> { let Latency = 4; }
 431 def : WriteRes<WriteVecMOVMSKY, [SLM_FPC_RSV1]> { let Latency = 4; }
 432 def : WriteRes<WriteMMXMOVMSK,  [SLM_FPC_RSV1]> { let Latency = 4; }
 433
 434 // AES Instructions.
 435 def : WriteRes<WriteAESDecEnc, [SLM_FPC_RSV0]> {
 436   let Latency = 8;
 437   let ResourceCycles = [5];
 438 }
 439 def : WriteRes<WriteAESDecEncLd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 440   let Latency = 8;
 441   let ResourceCycles = [5, 1];
 442 }
 443
 444 def : WriteRes<WriteAESIMC, [SLM_FPC_RSV0]> {
 445   let Latency = 8;
 446   let ResourceCycles = [5];
 447 }
 448 def : WriteRes<WriteAESIMCLd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 449   let Latency = 8;
 450   let ResourceCycles = [5, 1];
 451 }
 452
 453 def : WriteRes<WriteAESKeyGen, [SLM_FPC_RSV0]> {
 454   let Latency = 8;
 455   let ResourceCycles = [5];
 456 }
 457 def : WriteRes<WriteAESKeyGenLd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 458   let Latency = 8;
 459   let ResourceCycles = [5, 1];
 460 }
 461
 462 // Carry-less multiplication instructions.
 463 def : WriteRes<WriteCLMul, [SLM_FPC_RSV0]> {
 464   let Latency = 10;
 465   let ResourceCycles = [10];
 466 }
 467 def : WriteRes<WriteCLMulLd, [SLM_FPC_RSV0, SLM_MEC_RSV]> {
 468   let Latency = 10;
 469   let ResourceCycles = [10, 1];
 470 }
 471
 472 def : WriteRes<WriteSystem,     [SLM_FPC_RSV0]> { let Latency = 100; }
 473 def : WriteRes<WriteMicrocoded, [SLM_FPC_RSV0]> { let Latency = 100; }
 474 def : WriteRes<WriteFence, [SLM_MEC_RSV]>;
 475 def : WriteRes<WriteNop, []>;
 476
 477 // AVX/FMA is not supported on that architecture, but we should define the basic
 478 // scheduling resources anyway.
 479 def  : WriteRes<WriteIMulH, [SLM_FPC_RSV0]>;
 480 defm : X86WriteResPairUnsupported<WriteFBlendY>;
 481 defm : X86WriteResPairUnsupported<WriteFBlendZ>;
 482 defm : SLMWriteResPair<WriteVarBlend, [SLM_FPC_RSV0], 1>;
 483 defm : X86WriteResPairUnsupported<WriteVarBlendY>;
 484 defm : X86WriteResPairUnsupported<WriteVarBlendZ>;
 485 defm : SLMWriteResPair<WriteFVarBlend, [SLM_FPC_RSV0], 1>;
 486 defm : X86WriteResPairUnsupported<WriteFVarBlendY>;
 487 defm : X86WriteResPairUnsupported<WriteFVarBlendZ>;
 488 defm : X86WriteResPairUnsupported<WriteFShuffle256>;
 489 defm : X86WriteResPairUnsupported<WriteFVarShuffle256>;
 490 defm : X86WriteResPairUnsupported<WriteShuffle256>;
 491 defm : X86WriteResPairUnsupported<WriteVarShuffle256>;
 492 defm : SLMWriteResPair<WriteVarVecShift,  [SLM_FPC_RSV0],  1>;
 493 defm : X86WriteResPairUnsupported<WriteVarVecShiftY>;
 494 defm : X86WriteResPairUnsupported<WriteVarVecShiftZ>;
 495 defm : X86WriteResPairUnsupported<WriteFMA>;
 496 defm : X86WriteResPairUnsupported<WriteFMAX>;
 497 defm : X86WriteResPairUnsupported<WriteFMAY>;
 498 defm : X86WriteResPairUnsupported<WriteFMAZ>;
 499
 500 defm : X86WriteResPairUnsupported<WriteCvtPH2PS>;
 501 defm : X86WriteResPairUnsupported<WriteCvtPH2PSY>;
 502 defm : X86WriteResPairUnsupported<WriteCvtPH2PSZ>;
 503 defm : X86WriteResUnsupported<WriteCvtPS2PH>;
 504 defm : X86WriteResUnsupported<WriteCvtPS2PHY>;
 505 defm : X86WriteResUnsupported<WriteCvtPS2PHZ>;
 506 defm : X86WriteResUnsupported<WriteCvtPS2PHSt>;
 507 defm : X86WriteResUnsupported<WriteCvtPS2PHYSt>;
 508 defm : X86WriteResUnsupported<WriteCvtPS2PHZSt>;
 509
 510 } // SchedModel