contrib/llvm-project/llvm/lib/Target/AMDGPU/SIRegisterInfo.td

   1 //===-- SIRegisterInfo.td - SI Register defs ---------------*- tablegen -*-===//
   2 //
   3 // Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
   4 // See https://llvm.org/LICENSE.txt for license information.
   5 // SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
   6 //
   7 //===----------------------------------------------------------------------===//
   8
   9 //===----------------------------------------------------------------------===//
  10 //  Subregister declarations
  11 //===----------------------------------------------------------------------===//
  12
  13 class Indexes<int N> {
  14   list<int> all = [0,   1,  2,  3,  4,  5,  6 , 7,
  15                    8,   9, 10, 11, 12, 13, 14, 15,
  16                    16, 17, 18, 19, 20, 21, 22, 23,
  17                    24, 25, 26, 27, 28, 29, 30, 31];
  18
  19   // Returns list of indexes [0..N)
  20   list<int> slice = !filter(i, all, !lt(i, N));
  21 }
  22
  23 let Namespace = "AMDGPU" in {
  24
  25 def lo16 : SubRegIndex<16, 0>;
  26 def hi16 : SubRegIndex<16, 16>;
  27
  28 foreach Index = 0...31 in {
  29   def sub#Index : SubRegIndex<32, !shl(Index, 5)>;
  30 }
  31
  32 foreach Index = 1...31 in {
  33   def sub#Index#_lo16 : ComposedSubRegIndex<!cast<SubRegIndex>(sub#Index), lo16>;
  34   def sub#Index#_hi16 : ComposedSubRegIndex<!cast<SubRegIndex>(sub#Index), hi16>;
  35 }
  36
  37 foreach Size = {2...6,8,16} in {
  38   foreach Index = Indexes<!sub(33, Size)>.slice in {
  39     def !interleave(!foreach(cur, Indexes<Size>.slice, "sub"#!add(cur, Index)),
  40                     "_") :
  41       SubRegIndex<!mul(Size, 32), !shl(Index, 5)> {
  42       let CoveringSubRegIndices =
  43         !foreach(cur, Indexes<Size>.slice,
  44                  !cast<SubRegIndex>(sub#!add(cur, Index)));
  45     }
  46   }
  47 }
  48
  49 }
  50
  51 //===----------------------------------------------------------------------===//
  52 //  Helpers
  53 //===----------------------------------------------------------------------===//
  54
  55 class getSubRegs<int size> {
  56   list<SubRegIndex> ret2 = [sub0, sub1];
  57   list<SubRegIndex> ret3 = [sub0, sub1, sub2];
  58   list<SubRegIndex> ret4 = [sub0, sub1, sub2, sub3];
  59   list<SubRegIndex> ret5 = [sub0, sub1, sub2, sub3, sub4];
  60   list<SubRegIndex> ret6 = [sub0, sub1, sub2, sub3, sub4, sub5];
  61   list<SubRegIndex> ret7 = [sub0, sub1, sub2, sub3, sub4, sub5, sub6];
  62   list<SubRegIndex> ret8 = [sub0, sub1, sub2, sub3, sub4, sub5, sub6, sub7];
  63   list<SubRegIndex> ret16 = [sub0, sub1, sub2, sub3,
  64                              sub4, sub5, sub6, sub7,
  65                              sub8, sub9, sub10, sub11,
  66                              sub12, sub13, sub14, sub15];
  67   list<SubRegIndex> ret32 = [sub0, sub1, sub2, sub3,
  68                              sub4, sub5, sub6, sub7,
  69                              sub8, sub9, sub10, sub11,
  70                              sub12, sub13, sub14, sub15,
  71                              sub16, sub17, sub18, sub19,
  72                              sub20, sub21, sub22, sub23,
  73                              sub24, sub25, sub26, sub27,
  74                              sub28, sub29, sub30, sub31];
  75
  76   list<SubRegIndex> ret = !if(!eq(size, 2), ret2,
  77                               !if(!eq(size, 3), ret3,
  78                                   !if(!eq(size, 4), ret4,
  79                                       !if(!eq(size, 5), ret5,
  80                                           !if(!eq(size, 6), ret6,
  81                                               !if(!eq(size, 7), ret7,
  82                                                   !if(!eq(size, 8), ret8,
  83                                                       !if(!eq(size, 16), ret16,
  84                                                           ret32))))))));
  85 }
  86
  87 // Generates list of sequential register tuple names.
  88 // E.g. RegSeq<3,2,2,"s">.ret -> [ "s[0:1]", "s[2:3]" ]
  89 class RegSeqNames<int last_reg, int stride, int size, string prefix,
  90                   int start = 0> {
  91   int next = !add(start, stride);
  92   int end_reg = !add(start, size, -1);
  93   list<string> ret =
  94     !if(!le(end_reg, last_reg),
  95         !listconcat([prefix # "[" # start # ":" # end_reg # "]"],
  96                     RegSeqNames<last_reg, stride, size, prefix, next>.ret),
  97                     []);
  98 }
  99
 100 // Generates list of dags for register tupless.
 101 class RegSeqDags<RegisterClass RC, int last_reg, int stride, int size,
 102                 int start = 0> {
 103   dag trunc_rc = (trunc RC,
 104                   !if(!and(!eq(stride, 1), !eq(start, 0)),
 105                       !sub(!add(last_reg, 2), size),
 106                       !add(last_reg, 1)));
 107   list<dag> ret =
 108     !if(!lt(start, size),
 109         !listconcat([(add (decimate (shl trunc_rc, start), stride))],
 110                     RegSeqDags<RC, last_reg, stride, size, !add(start, 1)>.ret),
 111         []);
 112 }
 113
 114 class SIRegisterTuples<list<SubRegIndex> Indices, RegisterClass RC,
 115                        int last_reg, int stride, int size, string prefix> :
 116   RegisterTuples<Indices,
 117                  RegSeqDags<RC, last_reg, stride, size>.ret,
 118                  RegSeqNames<last_reg, stride, size, prefix>.ret>;
 119
 120 //===----------------------------------------------------------------------===//
 121 //  Declarations that describe the SI registers
 122 //===----------------------------------------------------------------------===//
 123 class SIReg <string n, bits<16> regIdx = 0> :
 124   Register<n> {
 125   let Namespace = "AMDGPU";
 126   let HWEncoding = regIdx;
 127 }
 128
 129 // For register classes that use TSFlags.
 130 class SIRegisterClass <string n, list<ValueType> rTypes, int Align, dag rList>
 131   : RegisterClass <n, rTypes, Align, rList> {
 132   // For vector register classes.
 133   field bit HasVGPR = 0;
 134   field bit HasAGPR = 0;
 135
 136   // For scalar register classes.
 137   field bit HasSGPR = 0;
 138
 139   // These need to be kept in sync with the enum SIRCFlags.
 140   let TSFlags{0} = HasVGPR;
 141   let TSFlags{1} = HasAGPR;
 142   let TSFlags{2} = HasSGPR;
 143 }
 144
 145 multiclass SIRegLoHi16 <string n, bits<16> regIdx, bit ArtificialHigh = 1,
 146                         bit HWEncodingHigh = 0> {
 147   // There is no special encoding for 16 bit subregs, these are not real
 148   // registers but rather operands for instructions preserving other 16 bits
 149   // of the result or reading just 16 bits of a 32 bit VGPR.
 150   // It is encoded as a corresponding 32 bit register.
 151   // Non-VGPR register classes use it as we need to have matching subregisters
 152   // to move instructions and data between ALUs.
 153   def _LO16 : SIReg<n#".l", regIdx> {
 154     let HWEncoding{8} = HWEncodingHigh;
 155   }
 156   def _HI16 : SIReg<!if(ArtificialHigh, "", n#".h"), regIdx> {
 157     let isArtificial = ArtificialHigh;
 158     let HWEncoding{8} = HWEncodingHigh;
 159   }
 160   def "" : RegisterWithSubRegs<n, [!cast<Register>(NAME#"_LO16"),
 161                                    !cast<Register>(NAME#"_HI16")]> {
 162     let Namespace = "AMDGPU";
 163     let SubRegIndices = [lo16, hi16];
 164     let CoveredBySubRegs = !not(ArtificialHigh);
 165     let HWEncoding = regIdx;
 166     let HWEncoding{8} = HWEncodingHigh;
 167   }
 168 }
 169
 170 // Special Registers
 171 defm VCC_LO : SIRegLoHi16<"vcc_lo", 106>;
 172 defm VCC_HI : SIRegLoHi16<"vcc_hi", 107>;
 173
 174 // Pseudo-registers: Used as placeholders during isel and immediately
 175 // replaced, never seeing the verifier.
 176 def PRIVATE_RSRC_REG : SIReg<"private_rsrc", 0>;
 177 def FP_REG : SIReg<"fp", 0>;
 178 def SP_REG : SIReg<"sp", 0>;
 179
 180 // Pseudo-register to represent the program-counter DWARF register.
 181 def PC_REG : SIReg<"pc", 0>, DwarfRegNum<[16, 16]> {
 182   // There is no physical register corresponding to a "program counter", but
 183   // we need to encode the concept in debug information in order to represent
 184   // things like the return value in unwind information.
 185   let isArtificial = 1;
 186 }
 187
 188 // VCC for 64-bit instructions
 189 def VCC : RegisterWithSubRegs<"vcc", [VCC_LO, VCC_HI]> {
 190   let Namespace = "AMDGPU";
 191   let SubRegIndices = [sub0, sub1];
 192   let HWEncoding = 106;
 193 }
 194
 195 defm EXEC_LO : SIRegLoHi16<"exec_lo", 126>, DwarfRegNum<[1, 1]>;
 196 defm EXEC_HI : SIRegLoHi16<"exec_hi", 127>;
 197
 198 def EXEC : RegisterWithSubRegs<"exec", [EXEC_LO, EXEC_HI]>, DwarfRegNum<[17, 1]> {
 199   let Namespace = "AMDGPU";
 200   let SubRegIndices = [sub0, sub1];
 201   let HWEncoding = 126;
 202 }
 203
 204 // 32-bit real registers, for MC only.
 205 // May be used with both 32-bit and 64-bit operands.
 206 defm SRC_VCCZ : SIRegLoHi16<"src_vccz", 251>;
 207 defm SRC_EXECZ : SIRegLoHi16<"src_execz", 252>;
 208 defm SRC_SCC : SIRegLoHi16<"src_scc", 253>;
 209
 210 // 1-bit pseudo register, for codegen only.
 211 // Should never be emitted.
 212 def SCC : SIReg<"scc">;
 213
 214 defm M0 : SIRegLoHi16 <"m0", 124>;
 215 defm SGPR_NULL : SIRegLoHi16 <"null", 125>;
 216
 217 defm SRC_SHARED_BASE : SIRegLoHi16<"src_shared_base", 235>;
 218 defm SRC_SHARED_LIMIT : SIRegLoHi16<"src_shared_limit", 236>;
 219 defm SRC_PRIVATE_BASE : SIRegLoHi16<"src_private_base", 237>;
 220 defm SRC_PRIVATE_LIMIT : SIRegLoHi16<"src_private_limit", 238>;
 221 defm SRC_POPS_EXITING_WAVE_ID : SIRegLoHi16<"src_pops_exiting_wave_id", 239>;
 222
 223 // Not addressable
 224 def MODE : SIReg <"mode", 0>;
 225
 226 def LDS_DIRECT : SIReg <"src_lds_direct", 254> {
 227   // There is no physical register corresponding to this. This is an
 228   // encoding value in a source field, which will ultimately trigger a
 229   // read from m0.
 230   let isArtificial = 1;
 231 }
 232
 233 defm XNACK_MASK_LO : SIRegLoHi16<"xnack_mask_lo", 104>;
 234 defm XNACK_MASK_HI : SIRegLoHi16<"xnack_mask_hi", 105>;
 235
 236 def XNACK_MASK :
 237     RegisterWithSubRegs<"xnack_mask", [XNACK_MASK_LO, XNACK_MASK_HI]> {
 238   let Namespace = "AMDGPU";
 239   let SubRegIndices = [sub0, sub1];
 240   let HWEncoding = 104;
 241 }
 242
 243 // Trap handler registers
 244 defm TBA_LO : SIRegLoHi16<"tba_lo", 108>;
 245 defm TBA_HI : SIRegLoHi16<"tba_hi", 109>;
 246
 247 def TBA : RegisterWithSubRegs<"tba", [TBA_LO, TBA_HI]> {
 248   let Namespace = "AMDGPU";
 249   let SubRegIndices = [sub0, sub1];
 250   let HWEncoding = 108;
 251 }
 252
 253 defm TMA_LO : SIRegLoHi16<"tma_lo", 110>;
 254 defm TMA_HI : SIRegLoHi16<"tma_hi", 111>;
 255
 256 def TMA : RegisterWithSubRegs<"tma", [TMA_LO, TMA_HI]> {
 257   let Namespace = "AMDGPU";
 258   let SubRegIndices = [sub0, sub1];
 259   let HWEncoding = 110;
 260 }
 261
 262 foreach Index = 0...15 in {
 263   defm TTMP#Index#_vi       : SIRegLoHi16<"ttmp"#Index, !add(112, Index)>;
 264   defm TTMP#Index#_gfx9plus : SIRegLoHi16<"ttmp"#Index, !add(108, Index)>;
 265   defm TTMP#Index           : SIRegLoHi16<"ttmp"#Index, 0>;
 266 }
 267
 268 multiclass FLAT_SCR_LOHI_m <string n, bits<16> ci_e, bits<16> vi_e> {
 269   defm _ci : SIRegLoHi16<n, ci_e>;
 270   defm _vi : SIRegLoHi16<n, vi_e>;
 271   defm "" : SIRegLoHi16<n, 0>;
 272 }
 273
 274 class FlatReg <Register lo, Register hi, bits<16> encoding> :
 275     RegisterWithSubRegs<"flat_scratch", [lo, hi]> {
 276   let Namespace = "AMDGPU";
 277   let SubRegIndices = [sub0, sub1];
 278   let HWEncoding = encoding;
 279 }
 280
 281 defm FLAT_SCR_LO : FLAT_SCR_LOHI_m<"flat_scratch_lo", 104, 102>; // Offset in units of 256-bytes.
 282 defm FLAT_SCR_HI : FLAT_SCR_LOHI_m<"flat_scratch_hi", 105, 103>; // Size is the per-thread scratch size, in bytes.
 283
 284 def FLAT_SCR_ci : FlatReg<FLAT_SCR_LO_ci, FLAT_SCR_HI_ci, 104>;
 285 def FLAT_SCR_vi : FlatReg<FLAT_SCR_LO_vi, FLAT_SCR_HI_vi, 102>;
 286 def FLAT_SCR : FlatReg<FLAT_SCR_LO, FLAT_SCR_HI, 0>;
 287
 288 // SGPR registers
 289 foreach Index = 0...105 in {
 290   defm SGPR#Index :
 291      SIRegLoHi16 <"s"#Index, Index>,
 292      DwarfRegNum<[!if(!le(Index, 63), !add(Index, 32), !add(Index, 1024)),
 293                   !if(!le(Index, 63), !add(Index, 32), !add(Index, 1024))]>;
 294 }
 295
 296 // VGPR registers
 297 foreach Index = 0...255 in {
 298   defm VGPR#Index :
 299     SIRegLoHi16 <"v"#Index, Index, 0, 1>,
 300     DwarfRegNum<[!add(Index, 2560), !add(Index, 1536)]>;
 301 }
 302
 303 // AccVGPR registers
 304 foreach Index = 0...255 in {
 305   defm AGPR#Index :
 306       SIRegLoHi16 <"a"#Index, Index, 1, 1>,
 307       DwarfRegNum<[!add(Index, 3072), !add(Index, 2048)]>;
 308 }
 309
 310 //===----------------------------------------------------------------------===//
 311 //  Groupings using register classes and tuples
 312 //===----------------------------------------------------------------------===//
 313
 314 def SCC_CLASS : SIRegisterClass<"AMDGPU", [i1], 1, (add SCC)> {
 315   let CopyCost = -1;
 316   let isAllocatable = 0;
 317   let HasSGPR = 1;
 318 }
 319
 320 def M0_CLASS : SIRegisterClass<"AMDGPU", [i32], 32, (add M0)> {
 321   let CopyCost = 1;
 322   let isAllocatable = 0;
 323   let HasSGPR = 1;
 324 }
 325
 326 def M0_CLASS_LO16 : SIRegisterClass<"AMDGPU", [i16, f16], 16, (add M0_LO16)> {
 327   let CopyCost = 1;
 328   let Size = 16;
 329   let isAllocatable = 0;
 330   let HasSGPR = 1;
 331 }
 332
 333 // TODO: Do we need to set DwarfRegAlias on register tuples?
 334
 335 def SGPR_LO16 : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 336                               (add (sequence "SGPR%u_LO16", 0, 105))> {
 337   let AllocationPriority = 9;
 338   let Size = 16;
 339   let GeneratePressureSet = 0;
 340   let HasSGPR = 1;
 341 }
 342
 343 def SGPR_HI16 : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 344                               (add (sequence "SGPR%u_HI16", 0, 105))> {
 345   let isAllocatable = 0;
 346   let Size = 16;
 347   let GeneratePressureSet = 0;
 348   let HasSGPR = 1;
 349 }
 350
 351 // SGPR 32-bit registers
 352 def SGPR_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16], 32,
 353                             (add (sequence "SGPR%u", 0, 105))> {
 354   // Give all SGPR classes higher priority than VGPR classes, because
 355   // we want to spill SGPRs to VGPRs.
 356   let AllocationPriority = 9;
 357   let GeneratePressureSet = 0;
 358   let HasSGPR = 1;
 359 }
 360
 361 // SGPR 64-bit registers
 362 def SGPR_64Regs : SIRegisterTuples<getSubRegs<2>.ret, SGPR_32, 105, 2, 2, "s">;
 363
 364 // SGPR 96-bit registers. No operations use these, but for symmetry with 96-bit VGPRs.
 365 def SGPR_96Regs : SIRegisterTuples<getSubRegs<3>.ret, SGPR_32, 105, 3, 3, "s">;
 366
 367 // SGPR 128-bit registers
 368 def SGPR_128Regs : SIRegisterTuples<getSubRegs<4>.ret, SGPR_32, 105, 4, 4, "s">;
 369
 370 // SGPR 160-bit registers. No operations use these, but for symmetry with 160-bit VGPRs.
 371 def SGPR_160Regs : SIRegisterTuples<getSubRegs<5>.ret, SGPR_32, 105, 4, 5, "s">;
 372
 373 // SGPR 192-bit registers. No operations use these, but for symmetry with 192-bit VGPRs.
 374 def SGPR_192Regs : SIRegisterTuples<getSubRegs<6>.ret, SGPR_32, 105, 4, 6, "s">;
 375
 376 // SGPR 224-bit registers. No operations use these, but for symmetry with 224-bit VGPRs.
 377 def SGPR_224Regs : SIRegisterTuples<getSubRegs<7>.ret, SGPR_32, 105, 4, 7, "s">;
 378
 379 // SGPR 256-bit registers
 380 def SGPR_256Regs : SIRegisterTuples<getSubRegs<8>.ret, SGPR_32, 105, 4, 8, "s">;
 381
 382 // SGPR 512-bit registers
 383 def SGPR_512Regs : SIRegisterTuples<getSubRegs<16>.ret, SGPR_32, 105, 4, 16, "s">;
 384
 385 // SGPR 1024-bit registers
 386 def SGPR_1024Regs : SIRegisterTuples<getSubRegs<32>.ret, SGPR_32, 105, 4, 32, "s">;
 387
 388 // Trap handler TMP 32-bit registers
 389 def TTMP_32 : SIRegisterClass<"AMDGPU", [i32, f32, v2i16, v2f16], 32,
 390                             (add (sequence "TTMP%u", 0, 15))> {
 391   let isAllocatable = 0;
 392   let HasSGPR = 1;
 393 }
 394
 395 // Trap handler TMP 16-bit registers
 396 def TTMP_LO16 : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 397                               (add (sequence "TTMP%u_LO16", 0, 15))> {
 398   let Size = 16;
 399   let isAllocatable = 0;
 400   let HasSGPR = 1;
 401 }
 402
 403 // Trap handler TMP 64-bit registers
 404 def TTMP_64Regs : SIRegisterTuples<getSubRegs<2>.ret, TTMP_32, 15, 2, 2, "ttmp">;
 405
 406 // Trap handler TMP 96-bit registers
 407 def TTMP_96Regs : SIRegisterTuples<getSubRegs<3>.ret, TTMP_32, 15, 3, 3, "ttmp">;
 408
 409 // Trap handler TMP 128-bit registers
 410 def TTMP_128Regs : SIRegisterTuples<getSubRegs<4>.ret, TTMP_32, 15, 4, 4, "ttmp">;
 411
 412 // Trap handler TMP 160-bit registers
 413 def TTMP_160Regs : SIRegisterTuples<getSubRegs<5>.ret, TTMP_32, 15, 4, 5, "ttmp">;
 414
 415 // Trap handler TMP 192-bit registers
 416 def TTMP_192Regs : SIRegisterTuples<getSubRegs<6>.ret, TTMP_32, 15, 4, 6, "ttmp">;
 417
 418 // Trap handler TMP 224-bit registers
 419 def TTMP_224Regs : SIRegisterTuples<getSubRegs<7>.ret, TTMP_32, 15, 4, 7, "ttmp">;
 420
 421 // Trap handler TMP 256-bit registers
 422 def TTMP_256Regs : SIRegisterTuples<getSubRegs<8>.ret, TTMP_32, 15, 4, 8, "ttmp">;
 423
 424 // Trap handler TMP 512-bit registers
 425 def TTMP_512Regs : SIRegisterTuples<getSubRegs<16>.ret, TTMP_32, 15, 4, 16, "ttmp">;
 426
 427 class TmpRegTuplesBase<int index, int size,
 428                        list<Register> subRegs,
 429                        list<SubRegIndex> indices = getSubRegs<size>.ret,
 430                        int index1 = !add(index, size, -1),
 431                        string name = "ttmp["#index#":"#index1#"]"> :
 432   RegisterWithSubRegs<name, subRegs> {
 433   let HWEncoding = subRegs[0].HWEncoding;
 434   let SubRegIndices = indices;
 435 }
 436
 437 class TmpRegTuples<string tgt,
 438                    int size,
 439                    int index0,
 440                    int index1 = !add(index0, 1),
 441                    int index2 = !add(index0, !if(!eq(size, 2), 1, 2)),
 442                    int index3 = !add(index0, !if(!eq(size, 2), 1, 3)),
 443                    int index4 = !add(index0, !if(!eq(size, 8), 4, 1)),
 444                    int index5 = !add(index0, !if(!eq(size, 8), 5, 1)),
 445                    int index6 = !add(index0, !if(!eq(size, 8), 6, 1)),
 446                    int index7 = !add(index0, !if(!eq(size, 8), 7, 1)),
 447                    Register r0 = !cast<Register>("TTMP"#index0#tgt),
 448                    Register r1 = !cast<Register>("TTMP"#index1#tgt),
 449                    Register r2 = !cast<Register>("TTMP"#index2#tgt),
 450                    Register r3 = !cast<Register>("TTMP"#index3#tgt),
 451                    Register r4 = !cast<Register>("TTMP"#index4#tgt),
 452                    Register r5 = !cast<Register>("TTMP"#index5#tgt),
 453                    Register r6 = !cast<Register>("TTMP"#index6#tgt),
 454                    Register r7 = !cast<Register>("TTMP"#index7#tgt)> :
 455   TmpRegTuplesBase<index0, size,
 456                    !if(!eq(size, 2), [r0, r1],
 457                        !if(!eq(size, 4), [r0, r1, r2, r3],
 458                                          [r0, r1, r2, r3, r4, r5, r6, r7])),
 459                    getSubRegs<size>.ret>;
 460
 461 foreach Index = {0, 2, 4, 6, 8, 10, 12, 14} in {
 462   def TTMP#Index#_TTMP#!add(Index,1)#_vi       : TmpRegTuples<"_vi",   2, Index>;
 463   def TTMP#Index#_TTMP#!add(Index,1)#_gfx9plus : TmpRegTuples<"_gfx9plus", 2, Index>;
 464 }
 465
 466 foreach Index = {0, 4, 8, 12} in {
 467   def TTMP#Index#_TTMP#!add(Index,1)#
 468                  _TTMP#!add(Index,2)#
 469                  _TTMP#!add(Index,3)#_vi : TmpRegTuples<"_vi",   4, Index>;
 470   def TTMP#Index#_TTMP#!add(Index,1)#
 471                  _TTMP#!add(Index,2)#
 472                  _TTMP#!add(Index,3)#_gfx9plus : TmpRegTuples<"_gfx9plus", 4, Index>;
 473 }
 474
 475 foreach Index = {0, 4, 8} in {
 476   def TTMP#Index#_TTMP#!add(Index,1)#
 477                  _TTMP#!add(Index,2)#
 478                  _TTMP#!add(Index,3)#
 479                  _TTMP#!add(Index,4)#
 480                  _TTMP#!add(Index,5)#
 481                  _TTMP#!add(Index,6)#
 482                  _TTMP#!add(Index,7)#_vi : TmpRegTuples<"_vi",   8, Index>;
 483   def TTMP#Index#_TTMP#!add(Index,1)#
 484                  _TTMP#!add(Index,2)#
 485                  _TTMP#!add(Index,3)#
 486                  _TTMP#!add(Index,4)#
 487                  _TTMP#!add(Index,5)#
 488                  _TTMP#!add(Index,6)#
 489                  _TTMP#!add(Index,7)#_gfx9plus : TmpRegTuples<"_gfx9plus", 8, Index>;
 490 }
 491
 492 def TTMP0_TTMP1_TTMP2_TTMP3_TTMP4_TTMP5_TTMP6_TTMP7_TTMP8_TTMP9_TTMP10_TTMP11_TTMP12_TTMP13_TTMP14_TTMP15_vi :
 493   TmpRegTuplesBase<0, 16,
 494                    [TTMP0_vi, TTMP1_vi, TTMP2_vi, TTMP3_vi,
 495                     TTMP4_vi, TTMP5_vi, TTMP6_vi, TTMP7_vi,
 496                     TTMP8_vi, TTMP9_vi, TTMP10_vi, TTMP11_vi,
 497                     TTMP12_vi, TTMP13_vi, TTMP14_vi, TTMP15_vi]>;
 498
 499 def TTMP0_TTMP1_TTMP2_TTMP3_TTMP4_TTMP5_TTMP6_TTMP7_TTMP8_TTMP9_TTMP10_TTMP11_TTMP12_TTMP13_TTMP14_TTMP15_gfx9plus :
 500   TmpRegTuplesBase<0, 16,
 501                    [TTMP0_gfx9plus, TTMP1_gfx9plus, TTMP2_gfx9plus, TTMP3_gfx9plus,
 502                     TTMP4_gfx9plus, TTMP5_gfx9plus, TTMP6_gfx9plus, TTMP7_gfx9plus,
 503                     TTMP8_gfx9plus, TTMP9_gfx9plus, TTMP10_gfx9plus, TTMP11_gfx9plus,
 504                     TTMP12_gfx9plus, TTMP13_gfx9plus, TTMP14_gfx9plus, TTMP15_gfx9plus]>;
 505
 506 class RegisterTypes<list<ValueType> reg_types> {
 507   list<ValueType> types = reg_types;
 508 }
 509
 510 def Reg16Types : RegisterTypes<[i16, f16]>;
 511 def Reg32Types : RegisterTypes<[i32, f32, v2i16, v2f16, p2, p3, p5, p6]>;
 512
 513 let HasVGPR = 1 in {
 514 def VGPR_LO16 : SIRegisterClass<"AMDGPU", Reg16Types.types, 16,
 515                               (add (sequence "VGPR%u_LO16", 0, 255))> {
 516   let AllocationPriority = 1;
 517   let Size = 16;
 518   let GeneratePressureSet = 0;
 519 }
 520
 521 def VGPR_HI16 : SIRegisterClass<"AMDGPU", Reg16Types.types, 16,
 522                               (add (sequence "VGPR%u_HI16", 0, 255))> {
 523   let AllocationPriority = 1;
 524   let Size = 16;
 525   let GeneratePressureSet = 0;
 526 }
 527
 528 // VGPR 32-bit registers
 529 // i16/f16 only on VI+
 530 def VGPR_32 : SIRegisterClass<"AMDGPU", !listconcat(Reg32Types.types, Reg16Types.types), 32,
 531                             (add (sequence "VGPR%u", 0, 255))> {
 532   let AllocationPriority = 1;
 533   let Size = 32;
 534   let Weight = 1;
 535 }
 536 } // End HasVGPR = 1
 537
 538 // VGPR 64-bit registers
 539 def VGPR_64 : SIRegisterTuples<getSubRegs<2>.ret, VGPR_32, 255, 1, 2, "v">;
 540
 541 // VGPR 96-bit registers
 542 def VGPR_96 : SIRegisterTuples<getSubRegs<3>.ret, VGPR_32, 255, 1, 3, "v">;
 543
 544 // VGPR 128-bit registers
 545 def VGPR_128 : SIRegisterTuples<getSubRegs<4>.ret, VGPR_32, 255, 1, 4, "v">;
 546
 547 // VGPR 160-bit registers
 548 def VGPR_160 : SIRegisterTuples<getSubRegs<5>.ret, VGPR_32, 255, 1, 5, "v">;
 549
 550 // VGPR 192-bit registers
 551 def VGPR_192 : SIRegisterTuples<getSubRegs<6>.ret, VGPR_32, 255, 1, 6, "v">;
 552
 553 // VGPR 224-bit registers
 554 def VGPR_224 : SIRegisterTuples<getSubRegs<7>.ret, VGPR_32, 255, 1, 7, "v">;
 555
 556 // VGPR 256-bit registers
 557 def VGPR_256 : SIRegisterTuples<getSubRegs<8>.ret, VGPR_32, 255, 1, 8, "v">;
 558
 559 // VGPR 512-bit registers
 560 def VGPR_512 : SIRegisterTuples<getSubRegs<16>.ret, VGPR_32, 255, 1, 16, "v">;
 561
 562 // VGPR 1024-bit registers
 563 def VGPR_1024 : SIRegisterTuples<getSubRegs<32>.ret, VGPR_32, 255, 1, 32, "v">;
 564
 565 let HasAGPR = 1 in {
 566 def AGPR_LO16 : SIRegisterClass<"AMDGPU", Reg16Types.types, 16,
 567                               (add (sequence "AGPR%u_LO16", 0, 255))> {
 568   let isAllocatable = 0;
 569   let Size = 16;
 570   let GeneratePressureSet = 0;
 571 }
 572
 573 // AccVGPR 32-bit registers
 574 def AGPR_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16], 32,
 575                             (add (sequence "AGPR%u", 0, 255))> {
 576   let AllocationPriority = 1;
 577   let Size = 32;
 578   let Weight = 1;
 579 }
 580 } // End HasAGPR = 1
 581
 582 // AGPR 64-bit registers
 583 def AGPR_64 : SIRegisterTuples<getSubRegs<2>.ret, AGPR_32, 255, 1, 2, "a">;
 584
 585 // AGPR 96-bit registers
 586 def AGPR_96 : SIRegisterTuples<getSubRegs<3>.ret, AGPR_32, 255, 1, 3, "a">;
 587
 588 // AGPR 128-bit registers
 589 def AGPR_128 : SIRegisterTuples<getSubRegs<4>.ret, AGPR_32, 255, 1, 4, "a">;
 590
 591 // AGPR 160-bit registers
 592 def AGPR_160 : SIRegisterTuples<getSubRegs<5>.ret, AGPR_32, 255, 1, 5, "a">;
 593
 594 // AGPR 192-bit registers
 595 def AGPR_192 : SIRegisterTuples<getSubRegs<6>.ret, AGPR_32, 255, 1, 6, "a">;
 596
 597 // AGPR 224-bit registers
 598 def AGPR_224 : SIRegisterTuples<getSubRegs<7>.ret, AGPR_32, 255, 1, 7, "a">;
 599
 600 // AGPR 256-bit registers
 601 def AGPR_256 : SIRegisterTuples<getSubRegs<8>.ret, AGPR_32, 255, 1, 8, "a">;
 602
 603 // AGPR 512-bit registers
 604 def AGPR_512 : SIRegisterTuples<getSubRegs<16>.ret, AGPR_32, 255, 1, 16, "a">;
 605
 606 // AGPR 1024-bit registers
 607 def AGPR_1024 : SIRegisterTuples<getSubRegs<32>.ret, AGPR_32, 255, 1, 32, "a">;
 608
 609 //===----------------------------------------------------------------------===//
 610 //  Register classes used as source and destination
 611 //===----------------------------------------------------------------------===//
 612
 613 def Pseudo_SReg_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16], 32,
 614   (add FP_REG, SP_REG)> {
 615   let isAllocatable = 0;
 616   let CopyCost = -1;
 617   let HasSGPR = 1;
 618 }
 619
 620 def Pseudo_SReg_128 : SIRegisterClass<"AMDGPU", [v4i32, v2i64, v2f64, v8i16, v8f16], 32,
 621   (add PRIVATE_RSRC_REG)> {
 622   let isAllocatable = 0;
 623   let CopyCost = -1;
 624   let HasSGPR = 1;
 625 }
 626
 627 def LDS_DIRECT_CLASS : RegisterClass<"AMDGPU", [i32], 32,
 628   (add LDS_DIRECT)> {
 629   let isAllocatable = 0;
 630   let CopyCost = -1;
 631 }
 632
 633 let GeneratePressureSet = 0, HasSGPR = 1 in {
 634 // Subset of SReg_32 without M0 for SMRD instructions and alike.
 635 // See comments in SIInstructions.td for more info.
 636 def SReg_32_XM0_XEXEC : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16, i1], 32,
 637   (add SGPR_32, VCC_LO, VCC_HI, FLAT_SCR_LO, FLAT_SCR_HI, XNACK_MASK_LO, XNACK_MASK_HI,
 638    SGPR_NULL, TTMP_32, TMA_LO, TMA_HI, TBA_LO, TBA_HI, SRC_SHARED_BASE, SRC_SHARED_LIMIT,
 639    SRC_PRIVATE_BASE, SRC_PRIVATE_LIMIT, SRC_POPS_EXITING_WAVE_ID,
 640    SRC_VCCZ, SRC_EXECZ, SRC_SCC)> {
 641   let AllocationPriority = 10;
 642 }
 643
 644 def SReg_LO16_XM0_XEXEC : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 645   (add SGPR_LO16, VCC_LO_LO16, VCC_HI_LO16, FLAT_SCR_LO_LO16, FLAT_SCR_HI_LO16,
 646    XNACK_MASK_LO_LO16, XNACK_MASK_HI_LO16, SGPR_NULL_LO16, TTMP_LO16, TMA_LO_LO16,
 647    TMA_HI_LO16, TBA_LO_LO16, TBA_HI_LO16, SRC_SHARED_BASE_LO16,
 648    SRC_SHARED_LIMIT_LO16, SRC_PRIVATE_BASE_LO16, SRC_PRIVATE_LIMIT_LO16,
 649    SRC_POPS_EXITING_WAVE_ID_LO16, SRC_VCCZ_LO16, SRC_EXECZ_LO16, SRC_SCC_LO16)> {
 650   let Size = 16;
 651   let AllocationPriority = 10;
 652 }
 653
 654 def SReg_32_XEXEC_HI : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16, i1], 32,
 655   (add SReg_32_XM0_XEXEC, EXEC_LO, M0_CLASS)> {
 656   let AllocationPriority = 10;
 657 }
 658
 659 def SReg_LO16_XEXEC_HI : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 660   (add SReg_LO16_XM0_XEXEC, EXEC_LO_LO16, M0_CLASS_LO16)> {
 661   let Size = 16;
 662   let AllocationPriority = 10;
 663 }
 664
 665 def SReg_32_XM0 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16, i1], 32,
 666   (add SReg_32_XM0_XEXEC, EXEC_LO, EXEC_HI)> {
 667   let AllocationPriority = 10;
 668 }
 669
 670 def SReg_LO16_XM0 : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 671   (add SReg_LO16_XM0_XEXEC, EXEC_LO_LO16, EXEC_HI_LO16)> {
 672   let Size = 16;
 673   let AllocationPriority = 10;
 674 }
 675
 676 def SReg_LO16 : SIRegisterClass<"AMDGPU", [i16, f16], 16,
 677   (add SGPR_LO16, SReg_LO16_XM0, M0_CLASS_LO16, EXEC_LO_LO16, EXEC_HI_LO16, SReg_LO16_XEXEC_HI)> {
 678   let Size = 16;
 679   let AllocationPriority = 10;
 680 }
 681 } // End GeneratePressureSet = 0
 682
 683 // Register class for all scalar registers (SGPRs + Special Registers)
 684 def SReg_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16, i1], 32,
 685   (add SReg_32_XM0, M0_CLASS, EXEC_LO, EXEC_HI, SReg_32_XEXEC_HI)> {
 686   let AllocationPriority = 10;
 687   let HasSGPR = 1;
 688 }
 689
 690 let GeneratePressureSet = 0 in {
 691 def SRegOrLds_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16], 32,
 692   (add SReg_32, LDS_DIRECT_CLASS)> {
 693   let isAllocatable = 0;
 694   let HasSGPR = 1;
 695 }
 696
 697 def SGPR_64 : SIRegisterClass<"AMDGPU", [v2i32, i64, v2f32, f64, v4i16, v4f16], 32,
 698                             (add SGPR_64Regs)> {
 699   let CopyCost = 1;
 700   let AllocationPriority = 11;
 701   let HasSGPR = 1;
 702 }
 703
 704 // CCR (call clobbered registers) SGPR 64-bit registers
 705 def CCR_SGPR_64 : SIRegisterClass<"AMDGPU", SGPR_64.RegTypes, 32,
 706                                 (add (trunc SGPR_64, 16))> {
 707   let CopyCost = SGPR_64.CopyCost;
 708   let AllocationPriority = SGPR_64.AllocationPriority;
 709   let HasSGPR = 1;
 710 }
 711
 712 // Call clobbered 64-bit SGPRs for AMDGPU_Gfx CC
 713 def Gfx_CCR_SGPR_64 : SIRegisterClass<"AMDGPU", SGPR_64.RegTypes, 32,
 714                                 (add (trunc (shl SGPR_64, 15), 1), // s[30:31]
 715                                      (trunc (shl SGPR_64, 18), 14))> { // s[36:37]-s[s62:63]
 716   let CopyCost = SGPR_64.CopyCost;
 717   let AllocationPriority = SGPR_64.AllocationPriority;
 718   let HasSGPR = 1;
 719 }
 720
 721 def TTMP_64 : SIRegisterClass<"AMDGPU", [v2i32, i64, f64, v4i16, v4f16], 32,
 722                             (add TTMP_64Regs)> {
 723   let isAllocatable = 0;
 724   let HasSGPR = 1;
 725 }
 726
 727 def SReg_64_XEXEC : SIRegisterClass<"AMDGPU", [v2i32, i64, v2f32, f64, i1, v4i16, v4f16], 32,
 728   (add SGPR_64, VCC, FLAT_SCR, XNACK_MASK, TTMP_64, TBA, TMA)> {
 729   let CopyCost = 1;
 730   let AllocationPriority = 13;
 731   let HasSGPR = 1;
 732 }
 733
 734 def SReg_64 : SIRegisterClass<"AMDGPU", [v2i32, i64, v2f32, f64, i1, v4i16, v4f16], 32,
 735   (add SReg_64_XEXEC, EXEC)> {
 736   let CopyCost = 1;
 737   let AllocationPriority = 13;
 738   let HasSGPR = 1;
 739 }
 740
 741 def SReg_1_XEXEC : SIRegisterClass<"AMDGPU", [i1], 32,
 742   (add SReg_64_XEXEC, SReg_32_XM0_XEXEC)> {
 743   let CopyCost = 1;
 744   let isAllocatable = 0;
 745   let HasSGPR = 1;
 746 }
 747
 748 def SReg_1 : SIRegisterClass<"AMDGPU", [i1], 32,
 749   (add SReg_1_XEXEC, EXEC, EXEC_LO)> {
 750   let CopyCost = 1;
 751   let isAllocatable = 0;
 752   let HasSGPR = 1;
 753 }
 754
 755 multiclass SRegClass<int numRegs, int priority,
 756                      list<ValueType> regTypes,
 757                      SIRegisterTuples regList,
 758                      SIRegisterTuples ttmpList = regList,
 759                      int copyCost = !sra(!add(numRegs, 1), 1)> {
 760   defvar hasTTMP = !ne(regList, ttmpList);
 761   defvar suffix = !cast<string>(!mul(numRegs, 32));
 762   defvar sgprName = !strconcat("SGPR_", suffix);
 763   defvar ttmpName = !strconcat("TTMP_", suffix);
 764
 765   let AllocationPriority = priority, CopyCost = copyCost, HasSGPR = 1 in {
 766     def "" # sgprName : SIRegisterClass<"AMDGPU", regTypes, 32, (add regList)> {
 767     }
 768
 769     if hasTTMP then {
 770       def "" # ttmpName : SIRegisterClass<"AMDGPU", regTypes, 32, (add ttmpList)> {
 771         let isAllocatable = 0;
 772       }
 773     }
 774
 775     def SReg_ # suffix :
 776       SIRegisterClass<"AMDGPU", regTypes, 32,
 777                     !con(!dag(add, [!cast<RegisterClass>(sgprName)], ["sgpr"]),
 778                     !if(hasTTMP,
 779                         !dag(add, [!cast<RegisterClass>(ttmpName)], ["ttmp"]),
 780                         (add)))> {
 781       let isAllocatable = 0;
 782     }
 783   }
 784 }
 785
 786 defm "" : SRegClass<3, 14, [v3i32, v3f32], SGPR_96Regs, TTMP_96Regs>;
 787 defm "" : SRegClass<4, 15, [v4i32, v4f32, v2i64, v2f64, v8i16, v8f16], SGPR_128Regs, TTMP_128Regs>;
 788 defm "" : SRegClass<5, 16, [v5i32, v5f32], SGPR_160Regs, TTMP_160Regs>;
 789 defm "" : SRegClass<6, 17, [v6i32, v6f32, v3i64, v3f64], SGPR_192Regs, TTMP_192Regs>;
 790 defm "" : SRegClass<7, 18, [v7i32, v7f32], SGPR_224Regs, TTMP_224Regs>;
 791 defm "" : SRegClass<8, 19, [v8i32, v8f32, v4i64, v4f64], SGPR_256Regs, TTMP_256Regs>;
 792 defm "" : SRegClass<16, 20, [v16i32, v16f32, v8i64, v8f64], SGPR_512Regs, TTMP_512Regs>;
 793 defm "" : SRegClass<32, 21, [v32i32, v32f32, v16i64, v16f64], SGPR_1024Regs>;
 794
 795 def VRegOrLds_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16], 32,
 796                                  (add VGPR_32, LDS_DIRECT_CLASS)> {
 797   let isAllocatable = 0;
 798   let HasVGPR = 1;
 799 }
 800
 801 // Register class for all vector registers (VGPRs + Interpolation Registers)
 802 class VRegClassBase<int numRegs, list<ValueType> regTypes, dag regList> :
 803     SIRegisterClass<"AMDGPU", regTypes, 32, regList> {
 804   let Size = !mul(numRegs, 32);
 805
 806   // Requires n v_mov_b32 to copy
 807   let CopyCost = numRegs;
 808   let AllocationPriority = numRegs;
 809   let Weight = numRegs;
 810 }
 811
 812 // Define a register tuple class, along with one requiring an even
 813 // aligned base register.
 814 multiclass VRegClass<int numRegs, list<ValueType> regTypes, dag regList> {
 815   let HasVGPR = 1 in {
 816     // Define the regular class.
 817     def "" : VRegClassBase<numRegs, regTypes, regList>;
 818
 819     // Define 2-aligned variant
 820     def _Align2 : VRegClassBase<numRegs, regTypes, (decimate regList, 2)>;
 821   }
 822 }
 823
 824 defm VReg_64 : VRegClass<2, [i64, f64, v2i32, v2f32, v4f16, v4i16, p0, p1, p4],
 825                                 (add VGPR_64)>;
 826 defm VReg_96 : VRegClass<3, [v3i32, v3f32], (add VGPR_96)>;
 827 defm VReg_128 : VRegClass<4, [v4i32, v4f32, v2i64, v2f64, v8i16, v8f16], (add VGPR_128)>;
 828 defm VReg_160 : VRegClass<5, [v5i32, v5f32], (add VGPR_160)>;
 829
 830 defm VReg_192 : VRegClass<6, [v6i32, v6f32, v3i64, v3f64], (add VGPR_192)>;
 831 defm VReg_224 : VRegClass<7, [v7i32, v7f32], (add VGPR_224)>;
 832 defm VReg_256 : VRegClass<8, [v8i32, v8f32, v4i64, v4f64], (add VGPR_256)>;
 833 defm VReg_512 : VRegClass<16, [v16i32, v16f32, v8i64, v8f64], (add VGPR_512)>;
 834 defm VReg_1024 : VRegClass<32, [v32i32, v32f32, v16i64, v16f64], (add VGPR_1024)>;
 835
 836 multiclass ARegClass<int numRegs, list<ValueType> regTypes, dag regList> {
 837   let CopyCost = !add(numRegs, numRegs, 1), HasAGPR = 1 in {
 838     // Define the regular class.
 839     def "" : VRegClassBase<numRegs, regTypes, regList>;
 840
 841     // Define 2-aligned variant
 842     def _Align2 : VRegClassBase<numRegs, regTypes, (decimate regList, 2)>;
 843   }
 844 }
 845
 846 defm AReg_64 : ARegClass<2, [i64, f64, v2i32, v2f32, v4f16, v4i16],
 847                         (add AGPR_64)>;
 848 defm AReg_96 : ARegClass<3, [v3i32, v3f32], (add AGPR_96)>;
 849 defm AReg_128 : ARegClass<4, [v4i32, v4f32, v2i64, v2f64, v8i16, v8f16], (add AGPR_128)>;
 850 defm AReg_160 : ARegClass<5, [v5i32, v5f32], (add AGPR_160)>;
 851 defm AReg_192 : ARegClass<6, [v6i32, v6f32, v3i64, v3f64], (add AGPR_192)>;
 852 defm AReg_224 : ARegClass<7, [v7i32, v7f32], (add AGPR_224)>;
 853 defm AReg_256 : ARegClass<8, [v8i32, v8f32, v4i64, v4f64], (add AGPR_256)>;
 854 defm AReg_512 : ARegClass<16, [v16i32, v16f32, v8i64, v8f64], (add AGPR_512)>;
 855 defm AReg_1024 : ARegClass<32, [v32i32, v32f32, v16i64, v16f64], (add AGPR_1024)>;
 856
 857 } // End GeneratePressureSet = 0
 858
 859 // This is not a real register. This is just to have a register to add
 860 // to VReg_1 that does not alias any real register that would
 861 // introduce inferred register classes.
 862 def ARTIFICIAL_VGPR : SIReg <"invalid vgpr", 0> {
 863   let isArtificial = 1;
 864 }
 865
 866 let GeneratePressureSet = 0 in {
 867 // FIXME: Should specify an empty set for this. No register should
 868 // ever be allocated using VReg_1. This is a hack for SelectionDAG
 869 // that should always be lowered by SILowerI1Copies. TableGen crashes
 870 // on an empty register set, but also sorts register classes based on
 871 // the number of registerss in them. Add only one register so this is
 872 // sorted to the end and not preferred over VGPR_32.
 873 def VReg_1 : SIRegisterClass<"AMDGPU", [i1], 32, (add ARTIFICIAL_VGPR)> {
 874   let Size = 1;
 875   let HasVGPR = 1;
 876 }
 877
 878 def VS_32 : SIRegisterClass<"AMDGPU", [i32, f32, i16, f16, v2i16, v2f16], 32,
 879                           (add VGPR_32, SReg_32, LDS_DIRECT_CLASS)> {
 880   let isAllocatable = 0;
 881   let HasVGPR = 1;
 882   let HasSGPR = 1;
 883 }
 884
 885 def VS_64 : SIRegisterClass<"AMDGPU", [i64, f64, v2f32], 32, (add VReg_64, SReg_64)> {
 886   let isAllocatable = 0;
 887   let HasVGPR = 1;
 888   let HasSGPR = 1;
 889 }
 890
 891 def AV_32 : SIRegisterClass<"AMDGPU", VGPR_32.RegTypes, 32, (add VGPR_32, AGPR_32)> {
 892   let HasVGPR = 1;
 893   let HasAGPR = 1;
 894 }
 895 } // End GeneratePressureSet = 0
 896
 897 // Define a register tuple class, along with one requiring an even
 898 // aligned base register.
 899 multiclass AVRegClass<int numRegs, list<ValueType> regTypes,
 900                       dag vregList,  dag aregList> {
 901   let HasVGPR = 1, HasAGPR = 1 in {
 902     // Define the regular class.
 903     def "" : VRegClassBase<numRegs, regTypes, (add vregList, aregList)>;
 904
 905     // Define 2-aligned variant
 906     def _Align2 : VRegClassBase<numRegs, regTypes,
 907                                 (add (decimate vregList, 2),
 908                                      (decimate aregList, 2))>;
 909   }
 910 }
 911
 912 defm AV_64 : AVRegClass<2, VReg_64.RegTypes, (add VGPR_64), (add AGPR_64)>;
 913 defm AV_96 : AVRegClass<3, VReg_96.RegTypes, (add VGPR_96), (add AGPR_96)>;
 914 defm AV_128 : AVRegClass<4, VReg_128.RegTypes, (add VGPR_128), (add AGPR_128)>;
 915 defm AV_160 : AVRegClass<5, VReg_160.RegTypes, (add VGPR_160), (add AGPR_160)>;
 916 defm AV_192 : AVRegClass<6, VReg_160.RegTypes, (add VGPR_192), (add AGPR_192)>;
 917 defm AV_224 : AVRegClass<7, VReg_160.RegTypes, (add VGPR_224), (add AGPR_224)>;
 918 defm AV_256 : AVRegClass<8, VReg_160.RegTypes, (add VGPR_256), (add AGPR_256)>;
 919 defm AV_512 : AVRegClass<16, VReg_160.RegTypes, (add VGPR_512), (add AGPR_512)>;
 920 defm AV_1024 : AVRegClass<32, VReg_160.RegTypes, (add VGPR_1024), (add AGPR_1024)>;
 921
 922 //===----------------------------------------------------------------------===//
 923 //  Register operands
 924 //===----------------------------------------------------------------------===//
 925
 926 class RegImmMatcher<string name> : AsmOperandClass {
 927   let Name = name;
 928   let RenderMethod = "addRegOrImmOperands";
 929 }
 930
 931 multiclass SIRegOperand32 <string rc, string MatchName, string opType,
 932                            string rc_suffix = "_32"> {
 933   let OperandNamespace = "AMDGPU" in {
 934     def _b16 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 935       let OperandType = opType#"_INT16";
 936       let ParserMatchClass = RegImmMatcher<MatchName#"B16">;
 937       let DecoderMethod = "decodeOperand_VSrc16";
 938     }
 939
 940     def _f16 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 941       let OperandType = opType#"_FP16";
 942       let ParserMatchClass = RegImmMatcher<MatchName#"F16">;
 943       let DecoderMethod = "decodeOperand_" # rc # "_16";
 944     }
 945
 946     def _b32 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 947       let OperandType = opType#"_INT32";
 948       let ParserMatchClass = RegImmMatcher<MatchName#"B32">;
 949       let DecoderMethod = "decodeOperand_" # rc # rc_suffix;
 950     }
 951
 952     def _f32 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 953       let OperandType = opType#"_FP32";
 954       let ParserMatchClass = RegImmMatcher<MatchName#"F32">;
 955       let DecoderMethod = "decodeOperand_" # rc # rc_suffix;
 956     }
 957
 958     def _v2b16 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 959       let OperandType = opType#"_V2INT16";
 960       let ParserMatchClass = RegImmMatcher<MatchName#"V2B16">;
 961       let DecoderMethod = "decodeOperand_VSrcV216";
 962     }
 963
 964     def _v2f16 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 965       let OperandType = opType#"_V2FP16";
 966       let ParserMatchClass = RegImmMatcher<MatchName#"V2F16">;
 967       let DecoderMethod = "decodeOperand_VSrcV216";
 968     }
 969   }
 970 }
 971
 972 multiclass SIRegOperand64 <string rc, string MatchName, string opType,
 973                            string rc_suffix = "_64", bit Vectors = 1> {
 974   let OperandNamespace = "AMDGPU" in {
 975     def _b64 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 976       let OperandType = opType#"_INT64";
 977       let ParserMatchClass = RegImmMatcher<MatchName#"B64">;
 978     }
 979
 980     def _f64 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 981       let OperandType = opType#"_FP64";
 982       let ParserMatchClass = RegImmMatcher<MatchName#"F64">;
 983     }
 984
 985     if Vectors then
 986     def _v2f32 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 987       let OperandType = opType#"_V2FP32";
 988       let ParserMatchClass = RegImmMatcher<MatchName#"V2FP32">;
 989       let DecoderMethod = "decodeOperand_VSrcV232";
 990     }
 991     if Vectors then
 992     def _v2b32 : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
 993       let OperandType = opType#"_V2INT32";
 994       let ParserMatchClass = RegImmMatcher<MatchName#"V2INT32">;
 995       let DecoderMethod = "decodeOperand_VSrcV232";
 996     }
 997   }
 998 }
 999
1000 multiclass SIRegOperand <string rc, string MatchName, string opType> :
1001   SIRegOperand32<rc, MatchName, opType>,
1002   SIRegOperand64<rc, MatchName, opType>;
1003
1004 // FIXME: 64-bit sources can sometimes use 32-bit constants.
1005 multiclass RegImmOperand <string rc, string MatchName>
1006   : SIRegOperand<rc, MatchName, "OPERAND_REG_IMM">;
1007
1008 multiclass RegInlineOperand <string rc, string MatchName>
1009   : SIRegOperand<rc, MatchName, "OPERAND_REG_INLINE_C">;
1010
1011 multiclass RegInlineOperand32 <string rc, string MatchName,
1012                                string rc_suffix = "_32">
1013   : SIRegOperand32<rc, MatchName, "OPERAND_REG_INLINE_C", rc_suffix>;
1014
1015 multiclass RegInlineOperand64 <string rc, string MatchName,
1016                                string rc_suffix = "_64">
1017   : SIRegOperand64<rc, MatchName, "OPERAND_REG_INLINE_C", rc_suffix>;
1018
1019 multiclass RegInlineOperandAC <string rc, string MatchName,
1020                                string rc_suffix = "_32">
1021   : SIRegOperand32<rc, MatchName, "OPERAND_REG_INLINE_AC", rc_suffix>;
1022
1023 multiclass RegInlineOperandAC64 <string rc, string MatchName,
1024                                  string rc_suffix = "_64">
1025   : SIRegOperand64<rc, MatchName, "OPERAND_REG_INLINE_AC", rc_suffix, 0>;
1026
1027 //===----------------------------------------------------------------------===//
1028 //  SSrc_* Operands with an SGPR or a 32-bit immediate
1029 //===----------------------------------------------------------------------===//
1030
1031 defm SSrc : RegImmOperand<"SReg", "SSrc">;
1032
1033 def SSrcOrLds_b32 : RegisterOperand<SRegOrLds_32> {
1034   let OperandNamespace = "AMDGPU";
1035   let OperandType = "OPERAND_REG_IMM_INT32";
1036   let ParserMatchClass = RegImmMatcher<"SSrcOrLdsB32">;
1037 }
1038
1039 //===----------------------------------------------------------------------===//
1040 //  SCSrc_* Operands with an SGPR or a inline constant
1041 //===----------------------------------------------------------------------===//
1042
1043 defm SCSrc : RegInlineOperand<"SReg", "SCSrc"> ;
1044
1045 //===----------------------------------------------------------------------===//
1046 //  VSrc_* Operands with an SGPR, VGPR or a 32-bit immediate
1047 //===----------------------------------------------------------------------===//
1048
1049 defm VSrc : RegImmOperand<"VS", "VSrc">;
1050
1051 def VSrc_128 : RegisterOperand<VReg_128> {
1052   let DecoderMethod = "DecodeVS_128RegisterClass";
1053 }
1054
1055 //===----------------------------------------------------------------------===//
1056 //  VSrc_*_Deferred Operands with an SGPR, VGPR or a 32-bit immediate for use
1057 //  with FMAMK/FMAAK
1058 //===----------------------------------------------------------------------===//
1059
1060 multiclass SIRegOperand32_Deferred <string rc, string MatchName, string opType,
1061                            string rc_suffix = "_32"> {
1062   let OperandNamespace = "AMDGPU" in {
1063     def _f16_Deferred : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
1064       let OperandType = opType#"_FP16_DEFERRED";
1065       let ParserMatchClass = RegImmMatcher<MatchName#"F16">;
1066       let DecoderMethod = "decodeOperand_" # rc # "_16_Deferred";
1067     }
1068
1069     def _f32_Deferred : RegisterOperand<!cast<RegisterClass>(rc#rc_suffix)> {
1070       let OperandType = opType#"_FP32_DEFERRED";
1071       let ParserMatchClass = RegImmMatcher<MatchName#"F32">;
1072       let DecoderMethod = "decodeOperand_" # rc # "_32_Deferred";
1073     }
1074   }
1075 }
1076
1077 defm VSrc : SIRegOperand32_Deferred<"VS", "VSrc", "OPERAND_REG_IMM">;
1078
1079 //===----------------------------------------------------------------------===//
1080 //  VRegSrc_* Operands with a VGPR
1081 //===----------------------------------------------------------------------===//
1082
1083 // This is for operands with the enum(9), VSrc encoding restriction,
1084 // but only allows VGPRs.
1085 def VRegSrc_32 : RegisterOperand<VGPR_32> {
1086   //let ParserMatchClass = RegImmMatcher<"VRegSrc32">;
1087   let DecoderMethod = "DecodeVS_32RegisterClass";
1088 }
1089
1090 //===----------------------------------------------------------------------===//
1091 //  ASrc_* Operands with an AccVGPR
1092 //===----------------------------------------------------------------------===//
1093
1094 def ARegSrc_32 : RegisterOperand<AGPR_32> {
1095   let DecoderMethod = "DecodeAGPR_32RegisterClass";
1096   let EncoderMethod = "getAVOperandEncoding";
1097 }
1098
1099 //===----------------------------------------------------------------------===//
1100 //  VCSrc_* Operands with an SGPR, VGPR or an inline constant
1101 //===----------------------------------------------------------------------===//
1102
1103 defm VCSrc : RegInlineOperand<"VS", "VCSrc">;
1104
1105 //===----------------------------------------------------------------------===//
1106 //  VISrc_* Operands with a VGPR or an inline constant
1107 //===----------------------------------------------------------------------===//
1108
1109 defm VISrc : RegInlineOperand32<"VGPR", "VISrc">;
1110 let DecoderMethod = "decodeOperand_VReg_64" in
1111 defm VISrc_64   : RegInlineOperand64<"VReg", "VISrc_64",   "_64">;
1112 defm VISrc_128  : RegInlineOperandAC<"VReg", "VISrc_128",  "_128">;
1113 let DecoderMethod = "decodeOperand_VReg_256" in
1114 defm VISrc_256  : RegInlineOperand64<"VReg", "VISrc_256",  "_256">;
1115 defm VISrc_512  : RegInlineOperandAC<"VReg", "VISrc_512",  "_512">;
1116 defm VISrc_1024 : RegInlineOperandAC<"VReg", "VISrc_1024", "_1024">;
1117
1118 //===----------------------------------------------------------------------===//
1119 //  AVSrc_* Operands with an AGPR or VGPR
1120 //===----------------------------------------------------------------------===//
1121
1122 def AVSrc_32 : RegisterOperand<AV_32> {
1123   let DecoderMethod = "DecodeAV_32RegisterClass";
1124   let EncoderMethod = "getAVOperandEncoding";
1125 }
1126
1127 def AVSrc_64 : RegisterOperand<AV_64> {
1128   let DecoderMethod = "DecodeAV_64RegisterClass";
1129   let EncoderMethod = "getAVOperandEncoding";
1130 }
1131
1132 def AVLdSt_32 : RegisterOperand<AV_32> {
1133   let DecoderMethod = "DecodeAVLdSt_32RegisterClass";
1134   let EncoderMethod = "getAVOperandEncoding";
1135 }
1136
1137 def AVLdSt_64 : RegisterOperand<AV_64> {
1138   let DecoderMethod = "DecodeAVLdSt_64RegisterClass";
1139   let EncoderMethod = "getAVOperandEncoding";
1140 }
1141
1142 def AVLdSt_96 : RegisterOperand<AV_96> {
1143   let DecoderMethod = "DecodeAVLdSt_96RegisterClass";
1144   let EncoderMethod = "getAVOperandEncoding";
1145 }
1146
1147 def AVLdSt_128 : RegisterOperand<AV_128> {
1148   let DecoderMethod = "DecodeAVLdSt_128RegisterClass";
1149   let EncoderMethod = "getAVOperandEncoding";
1150 }
1151
1152 def AVLdSt_160 : RegisterOperand<AV_160> {
1153   let DecoderMethod = "DecodeAVLdSt_160RegisterClass";
1154   let EncoderMethod = "getAVOperandEncoding";
1155 }
1156
1157 //===----------------------------------------------------------------------===//
1158 //  ACSrc_* Operands with an AGPR or an inline constant
1159 //===----------------------------------------------------------------------===//
1160
1161 defm AISrc      : RegInlineOperandAC<"AGPR", "AISrc">;
1162 defm AISrc_128  : RegInlineOperandAC<"AReg", "AISrc_128",  "_128">;
1163 defm AISrc_512  : RegInlineOperandAC<"AReg", "AISrc_512",  "_512">;
1164 defm AISrc_1024 : RegInlineOperandAC<"AReg", "AISrc_1024", "_1024">;
1165
1166 let DecoderMethod = "decodeOperand_AReg_64" in
1167 defm AISrc_64   : RegInlineOperandAC64<"AReg", "AISrc_64",   "_64">;
1168 let DecoderMethod = "decodeOperand_AReg_256" in
1169 defm AISrc_256  : RegInlineOperandAC64<"AReg", "AISrc_256",  "_256">;