contrib/llvm/lib/Target/AMDGPU/VOP1Instructions.td

   1 //===-- VOP1Instructions.td - Vector Instruction Defintions ---------------===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is distributed under the University of Illinois Open Source
   6 // License. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9
  10 //===----------------------------------------------------------------------===//
  11 // VOP1 Classes
  12 //===----------------------------------------------------------------------===//
  13
  14 class VOP1e <bits<8> op, VOPProfile P> : Enc32 {
  15   bits<8> vdst;
  16   bits<9> src0;
  17
  18   let Inst{8-0}   = !if(P.HasSrc0, src0{8-0}, 0);
  19   let Inst{16-9}  = op;
  20   let Inst{24-17} = !if(P.EmitDst, vdst{7-0}, 0);
  21   let Inst{31-25} = 0x3f; //encoding
  22 }
  23
  24 class VOP1_SDWAe <bits<8> op, VOPProfile P> : VOP_SDWAe <P> {
  25   bits<8> vdst;
  26
  27   let Inst{8-0}   = 0xf9; // sdwa
  28   let Inst{16-9}  = op;
  29   let Inst{24-17} = !if(P.EmitDst, vdst{7-0}, 0);
  30   let Inst{31-25} = 0x3f; // encoding
  31 }
  32
  33 class VOP1_SDWA9Ae <bits<8> op, VOPProfile P> : VOP_SDWA9Ae <P> {
  34   bits<8> vdst;
  35
  36   let Inst{8-0}   = 0xf9; // sdwa
  37   let Inst{16-9}  = op;
  38   let Inst{24-17} = !if(P.EmitDst, vdst{7-0}, 0);
  39   let Inst{31-25} = 0x3f; // encoding
  40 }
  41
  42 class VOP1_Pseudo <string opName, VOPProfile P, list<dag> pattern=[], bit VOP1Only = 0> :
  43   VOP_Pseudo <opName, !if(VOP1Only, "", "_e32"), P, P.Outs32, P.Ins32, "", pattern> {
  44
  45   let AsmOperands = P.Asm32;
  46
  47   let Size = 4;
  48   let mayLoad = 0;
  49   let mayStore = 0;
  50   let hasSideEffects = 0;
  51   let SubtargetPredicate = isGCN;
  52
  53   let VOP1 = 1;
  54   let VALU = 1;
  55   let Uses = [EXEC];
  56
  57   let AsmVariantName = AMDGPUAsmVariants.Default;
  58 }
  59
  60 class VOP1_Real <VOP1_Pseudo ps, int EncodingFamily> :
  61   InstSI <ps.OutOperandList, ps.InOperandList, ps.Mnemonic # ps.AsmOperands, []>,
  62   SIMCInstr <ps.PseudoInstr, EncodingFamily> {
  63
  64   let isPseudo = 0;
  65   let isCodeGenOnly = 0;
  66
  67   let Constraints     = ps.Constraints;
  68   let DisableEncoding = ps.DisableEncoding;
  69
  70   // copy relevant pseudo op flags
  71   let SubtargetPredicate = ps.SubtargetPredicate;
  72   let AsmMatchConverter  = ps.AsmMatchConverter;
  73   let AsmVariantName     = ps.AsmVariantName;
  74   let Constraints        = ps.Constraints;
  75   let DisableEncoding    = ps.DisableEncoding;
  76   let TSFlags            = ps.TSFlags;
  77   let UseNamedOperandTable = ps.UseNamedOperandTable;
  78   let Uses                 = ps.Uses;
  79   let Defs                 = ps.Defs;
  80 }
  81
  82 class VOP1_SDWA_Pseudo <string OpName, VOPProfile P, list<dag> pattern=[]> :
  83   VOP_SDWA_Pseudo <OpName, P, pattern> {
  84   let AsmMatchConverter = "cvtSdwaVOP1";
  85 }
  86
  87 class VOP1_DPP_Pseudo <string OpName, VOPProfile P, list<dag> pattern=[]> :
  88   VOP_DPP_Pseudo <OpName, P, pattern> {
  89 }
  90
  91 class getVOP1Pat64 <SDPatternOperator node, VOPProfile P> : LetDummies {
  92   list<dag> ret =
  93     !if(P.HasModifiers,
  94         [(set P.DstVT:$vdst, (node (P.Src0VT (VOP3Mods0 P.Src0VT:$src0,
  95                                               i32:$src0_modifiers,
  96                                               i1:$clamp, i32:$omod))))],
  97         !if(P.HasOMod,
  98             [(set P.DstVT:$vdst, (node (P.Src0VT (VOP3OMods P.Src0VT:$src0,
  99                                                   i1:$clamp, i32:$omod))))],
 100             [(set P.DstVT:$vdst, (node P.Src0VT:$src0))]
 101         )
 102     );
 103 }
 104
 105 multiclass VOP1Inst <string opName, VOPProfile P,
 106                      SDPatternOperator node = null_frag> {
 107   def _e32 : VOP1_Pseudo <opName, P>;
 108   def _e64 : VOP3_Pseudo <opName, P, getVOP1Pat64<node, P>.ret>;
 109   def _sdwa : VOP1_SDWA_Pseudo <opName, P>;
 110   foreach _ = BoolToList<P.HasExtDPP>.ret in
 111     def _dpp : VOP1_DPP_Pseudo <opName, P>;
 112 }
 113
 114 // Special profile for instructions which have clamp
 115 // and output modifiers (but have no input modifiers)
 116 class VOPProfileI2F<ValueType dstVt, ValueType srcVt> :
 117   VOPProfile<[dstVt, srcVt, untyped, untyped]> {
 118
 119   let Ins64 = (ins Src0RC64:$src0, clampmod:$clamp, omod:$omod);
 120   let Asm64 = "$vdst, $src0$clamp$omod";
 121
 122   let HasModifiers = 0;
 123   let HasClamp = 1;
 124   let HasOMod = 1;
 125 }
 126
 127 def VOP1_F64_I32 : VOPProfileI2F <f64, i32>;
 128 def VOP1_F32_I32 : VOPProfileI2F <f32, i32>;
 129 def VOP1_F16_I16 : VOPProfileI2F <f16, i16>;
 130
 131 //===----------------------------------------------------------------------===//
 132 // VOP1 Instructions
 133 //===----------------------------------------------------------------------===//
 134
 135 let VOPAsmPrefer32Bit = 1 in {
 136 defm V_NOP : VOP1Inst <"v_nop", VOP_NONE>;
 137 }
 138
 139 let isMoveImm = 1, isReMaterializable = 1, isAsCheapAsAMove = 1 in {
 140 defm V_MOV_B32 : VOP1Inst <"v_mov_b32", VOP_I32_I32>;
 141 } // End isMoveImm = 1
 142
 143 // FIXME: Specify SchedRW for READFIRSTLANE_B32
 144 // TODO: Make profile for this, there is VOP3 encoding also
 145 def V_READFIRSTLANE_B32 :
 146   InstSI <(outs SReg_32:$vdst),
 147     (ins VGPR_32:$src0),
 148     "v_readfirstlane_b32 $vdst, $src0",
 149     [(set i32:$vdst, (int_amdgcn_readfirstlane i32:$src0))]>,
 150   Enc32 {
 151
 152   let isCodeGenOnly = 0;
 153   let UseNamedOperandTable = 1;
 154
 155   let Size = 4;
 156   let mayLoad = 0;
 157   let mayStore = 0;
 158   let hasSideEffects = 0;
 159   let SubtargetPredicate = isGCN;
 160
 161   let VOP1 = 1;
 162   let VALU = 1;
 163   let Uses = [EXEC];
 164   let isConvergent = 1;
 165
 166   bits<8> vdst;
 167   bits<9> src0;
 168
 169   let Inst{8-0}   = src0;
 170   let Inst{16-9}  = 0x2;
 171   let Inst{24-17} = vdst;
 172   let Inst{31-25} = 0x3f; //encoding
 173 }
 174
 175 let SchedRW = [WriteQuarterRate32] in {
 176 defm V_CVT_I32_F64 : VOP1Inst <"v_cvt_i32_f64", VOP_I32_F64, fp_to_sint>;
 177 defm V_CVT_F64_I32 : VOP1Inst <"v_cvt_f64_i32", VOP1_F64_I32, sint_to_fp>;
 178 defm V_CVT_F32_I32 : VOP1Inst <"v_cvt_f32_i32", VOP1_F32_I32, sint_to_fp>;
 179 defm V_CVT_F32_U32 : VOP1Inst <"v_cvt_f32_u32", VOP1_F32_I32, uint_to_fp>;
 180 defm V_CVT_U32_F32 : VOP1Inst <"v_cvt_u32_f32", VOP_I32_F32, fp_to_uint>;
 181 defm V_CVT_I32_F32 : VOP1Inst <"v_cvt_i32_f32", VOP_I32_F32, fp_to_sint>;
 182 let FPDPRounding = 1 in {
 183 defm V_CVT_F16_F32 : VOP1Inst <"v_cvt_f16_f32", VOP_F16_F32, fpround>;
 184 } // End FPDPRounding = 1
 185 defm V_CVT_F32_F16 : VOP1Inst <"v_cvt_f32_f16", VOP_F32_F16, fpextend>;
 186 defm V_CVT_RPI_I32_F32 : VOP1Inst <"v_cvt_rpi_i32_f32", VOP_I32_F32, cvt_rpi_i32_f32>;
 187 defm V_CVT_FLR_I32_F32 : VOP1Inst <"v_cvt_flr_i32_f32", VOP_I32_F32, cvt_flr_i32_f32>;
 188 defm V_CVT_OFF_F32_I4 : VOP1Inst  <"v_cvt_off_f32_i4", VOP1_F32_I32>;
 189 defm V_CVT_F32_F64 : VOP1Inst <"v_cvt_f32_f64", VOP_F32_F64, fpround>;
 190 defm V_CVT_F64_F32 : VOP1Inst <"v_cvt_f64_f32", VOP_F64_F32, fpextend>;
 191 defm V_CVT_F32_UBYTE0 : VOP1Inst <"v_cvt_f32_ubyte0", VOP1_F32_I32, AMDGPUcvt_f32_ubyte0>;
 192 defm V_CVT_F32_UBYTE1 : VOP1Inst <"v_cvt_f32_ubyte1", VOP1_F32_I32, AMDGPUcvt_f32_ubyte1>;
 193 defm V_CVT_F32_UBYTE2 : VOP1Inst <"v_cvt_f32_ubyte2", VOP1_F32_I32, AMDGPUcvt_f32_ubyte2>;
 194 defm V_CVT_F32_UBYTE3 : VOP1Inst <"v_cvt_f32_ubyte3", VOP1_F32_I32, AMDGPUcvt_f32_ubyte3>;
 195 defm V_CVT_U32_F64 : VOP1Inst <"v_cvt_u32_f64", VOP_I32_F64, fp_to_uint>;
 196 defm V_CVT_F64_U32 : VOP1Inst <"v_cvt_f64_u32", VOP1_F64_I32, uint_to_fp>;
 197 } // End SchedRW = [WriteQuarterRate32]
 198
 199 defm V_FRACT_F32 : VOP1Inst <"v_fract_f32", VOP_F32_F32, AMDGPUfract>;
 200 defm V_TRUNC_F32 : VOP1Inst <"v_trunc_f32", VOP_F32_F32, ftrunc>;
 201 defm V_CEIL_F32 : VOP1Inst <"v_ceil_f32", VOP_F32_F32, fceil>;
 202 defm V_RNDNE_F32 : VOP1Inst <"v_rndne_f32", VOP_F32_F32, frint>;
 203 defm V_FLOOR_F32 : VOP1Inst <"v_floor_f32", VOP_F32_F32, ffloor>;
 204
 205 let SchedRW = [WriteQuarterRate32] in {
 206 defm V_EXP_F32 : VOP1Inst <"v_exp_f32", VOP_F32_F32, fexp2>;
 207 defm V_LOG_F32 : VOP1Inst <"v_log_f32", VOP_F32_F32, flog2>;
 208 defm V_RCP_F32 : VOP1Inst <"v_rcp_f32", VOP_F32_F32, AMDGPUrcp>;
 209 defm V_RCP_IFLAG_F32 : VOP1Inst <"v_rcp_iflag_f32", VOP_F32_F32, AMDGPUrcp_iflag>;
 210 defm V_RSQ_F32 : VOP1Inst <"v_rsq_f32", VOP_F32_F32, AMDGPUrsq>;
 211 defm V_SQRT_F32 : VOP1Inst <"v_sqrt_f32", VOP_F32_F32, fsqrt>;
 212 } // End SchedRW = [WriteQuarterRate32]
 213
 214 let SchedRW = [WriteDouble] in {
 215 defm V_RCP_F64 : VOP1Inst <"v_rcp_f64", VOP_F64_F64, AMDGPUrcp>;
 216 defm V_RSQ_F64 : VOP1Inst <"v_rsq_f64", VOP_F64_F64, AMDGPUrsq>;
 217 } // End SchedRW = [WriteDouble];
 218
 219 let SchedRW = [WriteDouble] in {
 220 defm V_SQRT_F64 : VOP1Inst <"v_sqrt_f64", VOP_F64_F64, fsqrt>;
 221 } // End SchedRW = [WriteDouble]
 222
 223 let SchedRW = [WriteQuarterRate32] in {
 224 defm V_SIN_F32 : VOP1Inst <"v_sin_f32", VOP_F32_F32, AMDGPUsin>;
 225 defm V_COS_F32 : VOP1Inst <"v_cos_f32", VOP_F32_F32, AMDGPUcos>;
 226 } // End SchedRW = [WriteQuarterRate32]
 227
 228 defm V_NOT_B32 : VOP1Inst <"v_not_b32", VOP_I32_I32>;
 229 defm V_BFREV_B32 : VOP1Inst <"v_bfrev_b32", VOP_I32_I32>;
 230 defm V_FFBH_U32 : VOP1Inst <"v_ffbh_u32", VOP_I32_I32>;
 231 defm V_FFBL_B32 : VOP1Inst <"v_ffbl_b32", VOP_I32_I32>;
 232 defm V_FFBH_I32 : VOP1Inst <"v_ffbh_i32", VOP_I32_I32>;
 233
 234 let SchedRW = [WriteDoubleAdd] in {
 235 defm V_FREXP_EXP_I32_F64 : VOP1Inst <"v_frexp_exp_i32_f64", VOP_I32_F64, int_amdgcn_frexp_exp>;
 236 defm V_FREXP_MANT_F64 : VOP1Inst <"v_frexp_mant_f64", VOP_F64_F64, int_amdgcn_frexp_mant>;
 237 let FPDPRounding = 1 in {
 238 defm V_FRACT_F64 : VOP1Inst <"v_fract_f64", VOP_F64_F64, AMDGPUfract>;
 239 } // End FPDPRounding = 1
 240 } // End SchedRW = [WriteDoubleAdd]
 241
 242 defm V_FREXP_EXP_I32_F32 : VOP1Inst <"v_frexp_exp_i32_f32", VOP_I32_F32, int_amdgcn_frexp_exp>;
 243 defm V_FREXP_MANT_F32 : VOP1Inst <"v_frexp_mant_f32", VOP_F32_F32, int_amdgcn_frexp_mant>;
 244
 245 let VOPAsmPrefer32Bit = 1 in {
 246 defm V_CLREXCP : VOP1Inst <"v_clrexcp", VOP_NO_EXT<VOP_NONE>>;
 247 }
 248
 249 // Restrict src0 to be VGPR
 250 def VOP_I32_VI32_NO_EXT : VOPProfile<[i32, i32, untyped, untyped]> {
 251   let Src0RC32 = VRegSrc_32;
 252   let Src0RC64 = VRegSrc_32;
 253
 254   let HasExt = 0;
 255   let HasExtDPP = 0;
 256   let HasExtSDWA = 0;
 257   let HasExtSDWA9 = 0;
 258 }
 259
 260 // Special case because there are no true output operands.  Hack vdst
 261 // to be a src operand. The custom inserter must add a tied implicit
 262 // def and use of the super register since there seems to be no way to
 263 // add an implicit def of a virtual register in tablegen.
 264 def VOP_MOVRELD : VOPProfile<[untyped, i32, untyped, untyped]> {
 265   let Src0RC32 = VOPDstOperand<VGPR_32>;
 266   let Src0RC64 = VOPDstOperand<VGPR_32>;
 267
 268   let Outs = (outs);
 269   let Ins32 = (ins Src0RC32:$vdst, VSrc_b32:$src0);
 270   let Ins64 = (ins Src0RC64:$vdst, VSrc_b32:$src0);
 271   let InsDPP = (ins DstRC:$vdst, DstRC:$old, Src0RC32:$src0,
 272                     dpp_ctrl:$dpp_ctrl, row_mask:$row_mask,
 273                     bank_mask:$bank_mask, bound_ctrl:$bound_ctrl);
 274
 275   let InsSDWA = (ins Src0RC32:$vdst, Src0ModSDWA:$src0_modifiers, Src0SDWA:$src0,
 276                      clampmod:$clamp, omod:$omod, dst_sel:$dst_sel, dst_unused:$dst_unused,
 277                      src0_sel:$src0_sel);
 278
 279   let Asm32 = getAsm32<1, 1>.ret;
 280   let Asm64 = getAsm64<1, 1, 0, 0, 1>.ret;
 281   let AsmDPP = getAsmDPP<1, 1, 0>.ret;
 282   let AsmSDWA = getAsmSDWA<1, 1>.ret;
 283   let AsmSDWA9 = getAsmSDWA9<1, 0, 1>.ret;
 284
 285   let HasExt = 0;
 286   let HasExtDPP = 0;
 287   let HasExtSDWA = 0;
 288   let HasExtSDWA9 = 0;
 289
 290   let HasDst = 0;
 291   let EmitDst = 1; // force vdst emission
 292 }
 293
 294 let SubtargetPredicate = HasMovrel, Uses = [M0, EXEC] in {
 295 // v_movreld_b32 is a special case because the destination output
 296  // register is really a source. It isn't actually read (but may be
 297  // written), and is only to provide the base register to start
 298  // indexing from. Tablegen seems to not let you define an implicit
 299  // virtual register output for the super register being written into,
 300  // so this must have an implicit def of the register added to it.
 301 defm V_MOVRELD_B32 : VOP1Inst <"v_movreld_b32", VOP_MOVRELD>;
 302 defm V_MOVRELS_B32 : VOP1Inst <"v_movrels_b32", VOP_I32_VI32_NO_EXT>;
 303 defm V_MOVRELSD_B32 : VOP1Inst <"v_movrelsd_b32", VOP_NO_EXT<VOP_I32_I32>>;
 304 } // End Uses = [M0, EXEC]
 305
 306 defm V_MOV_FED_B32 : VOP1Inst <"v_mov_fed_b32", VOP_I32_I32>;
 307
 308 // These instruction only exist on SI and CI
 309 let SubtargetPredicate = isSICI in {
 310
 311 let SchedRW = [WriteQuarterRate32] in {
 312 defm V_LOG_CLAMP_F32 : VOP1Inst <"v_log_clamp_f32", VOP_F32_F32, int_amdgcn_log_clamp>;
 313 defm V_RCP_CLAMP_F32 : VOP1Inst <"v_rcp_clamp_f32", VOP_F32_F32>;
 314 defm V_RCP_LEGACY_F32 : VOP1Inst <"v_rcp_legacy_f32", VOP_F32_F32, AMDGPUrcp_legacy>;
 315 defm V_RSQ_CLAMP_F32 : VOP1Inst <"v_rsq_clamp_f32", VOP_F32_F32, AMDGPUrsq_clamp>;
 316 defm V_RSQ_LEGACY_F32 : VOP1Inst <"v_rsq_legacy_f32", VOP_F32_F32, AMDGPUrsq_legacy>;
 317 } // End SchedRW = [WriteQuarterRate32]
 318
 319 let SchedRW = [WriteDouble] in {
 320 defm V_RCP_CLAMP_F64 : VOP1Inst <"v_rcp_clamp_f64", VOP_F64_F64>;
 321 defm V_RSQ_CLAMP_F64 : VOP1Inst <"v_rsq_clamp_f64", VOP_F64_F64, AMDGPUrsq_clamp>;
 322 } // End SchedRW = [WriteDouble]
 323
 324 } // End SubtargetPredicate = isSICI
 325
 326
 327 let SubtargetPredicate = isCIVI in {
 328
 329 let SchedRW = [WriteDoubleAdd] in {
 330 defm V_TRUNC_F64 : VOP1Inst <"v_trunc_f64", VOP_F64_F64, ftrunc>;
 331 defm V_CEIL_F64 : VOP1Inst <"v_ceil_f64", VOP_F64_F64, fceil>;
 332 defm V_FLOOR_F64 : VOP1Inst <"v_floor_f64", VOP_F64_F64, ffloor>;
 333 defm V_RNDNE_F64 : VOP1Inst <"v_rndne_f64", VOP_F64_F64, frint>;
 334 } // End SchedRW = [WriteDoubleAdd]
 335
 336 let SchedRW = [WriteQuarterRate32] in {
 337 defm V_LOG_LEGACY_F32 : VOP1Inst <"v_log_legacy_f32", VOP_F32_F32>;
 338 defm V_EXP_LEGACY_F32 : VOP1Inst <"v_exp_legacy_f32", VOP_F32_F32>;
 339 } // End SchedRW = [WriteQuarterRate32]
 340
 341 } // End SubtargetPredicate = isCIVI
 342
 343
 344 let SubtargetPredicate = Has16BitInsts in {
 345
 346 let FPDPRounding = 1 in {
 347 defm V_CVT_F16_U16 : VOP1Inst <"v_cvt_f16_u16", VOP1_F16_I16, uint_to_fp>;
 348 defm V_CVT_F16_I16 : VOP1Inst <"v_cvt_f16_i16", VOP1_F16_I16, sint_to_fp>;
 349 } // End FPDPRounding = 1
 350 defm V_CVT_U16_F16 : VOP1Inst <"v_cvt_u16_f16", VOP_I16_F16, fp_to_uint>;
 351 defm V_CVT_I16_F16 : VOP1Inst <"v_cvt_i16_f16", VOP_I16_F16, fp_to_sint>;
 352 let SchedRW = [WriteQuarterRate32] in {
 353 defm V_RCP_F16 : VOP1Inst <"v_rcp_f16", VOP_F16_F16, AMDGPUrcp>;
 354 defm V_SQRT_F16 : VOP1Inst <"v_sqrt_f16", VOP_F16_F16, fsqrt>;
 355 defm V_RSQ_F16 : VOP1Inst <"v_rsq_f16", VOP_F16_F16, AMDGPUrsq>;
 356 defm V_LOG_F16 : VOP1Inst <"v_log_f16", VOP_F16_F16, flog2>;
 357 defm V_EXP_F16 : VOP1Inst <"v_exp_f16", VOP_F16_F16, fexp2>;
 358 defm V_SIN_F16 : VOP1Inst <"v_sin_f16", VOP_F16_F16, AMDGPUsin>;
 359 defm V_COS_F16 : VOP1Inst <"v_cos_f16", VOP_F16_F16, AMDGPUcos>;
 360 } // End SchedRW = [WriteQuarterRate32]
 361 defm V_FREXP_MANT_F16 : VOP1Inst <"v_frexp_mant_f16", VOP_F16_F16, int_amdgcn_frexp_mant>;
 362 defm V_FREXP_EXP_I16_F16 : VOP1Inst <"v_frexp_exp_i16_f16", VOP_I16_F16, int_amdgcn_frexp_exp>;
 363 defm V_FLOOR_F16 : VOP1Inst <"v_floor_f16", VOP_F16_F16, ffloor>;
 364 defm V_CEIL_F16 : VOP1Inst <"v_ceil_f16", VOP_F16_F16, fceil>;
 365 defm V_TRUNC_F16 : VOP1Inst <"v_trunc_f16", VOP_F16_F16, ftrunc>;
 366 defm V_RNDNE_F16 : VOP1Inst <"v_rndne_f16", VOP_F16_F16, frint>;
 367 let FPDPRounding = 1 in {
 368 defm V_FRACT_F16 : VOP1Inst <"v_fract_f16", VOP_F16_F16, AMDGPUfract>;
 369 } // End FPDPRounding = 1
 370
 371 }
 372
 373 let OtherPredicates = [Has16BitInsts] in {
 374
 375 def : GCNPat<
 376     (f32 (f16_to_fp i16:$src)),
 377     (V_CVT_F32_F16_e32 $src)
 378 >;
 379
 380 def : GCNPat<
 381     (i16 (AMDGPUfp_to_f16 f32:$src)),
 382     (V_CVT_F16_F32_e32 $src)
 383 >;
 384
 385 }
 386
 387 def VOP_SWAP_I32 : VOPProfile<[i32, i32, i32, untyped]> {
 388   let Outs32 = (outs VGPR_32:$vdst, VGPR_32:$vdst1);
 389   let Ins32 = (ins VGPR_32:$src0, VGPR_32:$src1);
 390   let Outs64 = Outs32;
 391   let Asm32 = " $vdst, $src0";
 392   let Asm64 = "";
 393   let Ins64 = (ins);
 394 }
 395
 396 let SubtargetPredicate = isGFX9 in {
 397   let Constraints = "$vdst = $src1, $vdst1 = $src0",
 398       DisableEncoding="$vdst1,$src1",
 399       SchedRW = [Write64Bit, Write64Bit] in {
 400 // Never VOP3. Takes as long as 2 v_mov_b32s
 401 def V_SWAP_B32 : VOP1_Pseudo <"v_swap_b32", VOP_SWAP_I32, [], 1>;
 402 }
 403
 404 defm V_SCREEN_PARTITION_4SE_B32 : VOP1Inst <"v_screen_partition_4se_b32", VOP_I32_I32>;
 405
 406 defm V_SAT_PK_U8_I16    : VOP1Inst<"v_sat_pk_u8_i16", VOP_I32_I32>;
 407 defm V_CVT_NORM_I16_F16 : VOP1Inst<"v_cvt_norm_i16_f16", VOP_I16_F16>;
 408 defm V_CVT_NORM_U16_F16 : VOP1Inst<"v_cvt_norm_u16_f16", VOP_I16_F16>;
 409
 410 } // End SubtargetPredicate = isGFX9
 411
 412 //===----------------------------------------------------------------------===//
 413 // Target
 414 //===----------------------------------------------------------------------===//
 415
 416 //===----------------------------------------------------------------------===//
 417 // SI
 418 //===----------------------------------------------------------------------===//
 419
 420 multiclass VOP1_Real_si <bits<9> op> {
 421   let AssemblerPredicates = [isSICI], DecoderNamespace = "SICI" in {
 422     def _e32_si :
 423       VOP1_Real<!cast<VOP1_Pseudo>(NAME#"_e32"), SIEncodingFamily.SI>,
 424       VOP1e<op{7-0}, !cast<VOP1_Pseudo>(NAME#"_e32").Pfl>;
 425     def _e64_si :
 426       VOP3_Real<!cast<VOP3_Pseudo>(NAME#"_e64"), SIEncodingFamily.SI>,
 427       VOP3e_si <{1, 1, op{6-0}}, !cast<VOP3_Pseudo>(NAME#"_e64").Pfl>;
 428   }
 429 }
 430
 431 defm V_NOP               : VOP1_Real_si <0x0>;
 432 defm V_MOV_B32           : VOP1_Real_si <0x1>;
 433 defm V_CVT_I32_F64       : VOP1_Real_si <0x3>;
 434 defm V_CVT_F64_I32       : VOP1_Real_si <0x4>;
 435 defm V_CVT_F32_I32       : VOP1_Real_si <0x5>;
 436 defm V_CVT_F32_U32       : VOP1_Real_si <0x6>;
 437 defm V_CVT_U32_F32       : VOP1_Real_si <0x7>;
 438 defm V_CVT_I32_F32       : VOP1_Real_si <0x8>;
 439 defm V_MOV_FED_B32       : VOP1_Real_si <0x9>;
 440 defm V_CVT_F16_F32       : VOP1_Real_si <0xa>;
 441 defm V_CVT_F32_F16       : VOP1_Real_si <0xb>;
 442 defm V_CVT_RPI_I32_F32   : VOP1_Real_si <0xc>;
 443 defm V_CVT_FLR_I32_F32   : VOP1_Real_si <0xd>;
 444 defm V_CVT_OFF_F32_I4    : VOP1_Real_si <0xe>;
 445 defm V_CVT_F32_F64       : VOP1_Real_si <0xf>;
 446 defm V_CVT_F64_F32       : VOP1_Real_si <0x10>;
 447 defm V_CVT_F32_UBYTE0    : VOP1_Real_si <0x11>;
 448 defm V_CVT_F32_UBYTE1    : VOP1_Real_si <0x12>;
 449 defm V_CVT_F32_UBYTE2    : VOP1_Real_si <0x13>;
 450 defm V_CVT_F32_UBYTE3    : VOP1_Real_si <0x14>;
 451 defm V_CVT_U32_F64       : VOP1_Real_si <0x15>;
 452 defm V_CVT_F64_U32       : VOP1_Real_si <0x16>;
 453 defm V_FRACT_F32         : VOP1_Real_si <0x20>;
 454 defm V_TRUNC_F32         : VOP1_Real_si <0x21>;
 455 defm V_CEIL_F32          : VOP1_Real_si <0x22>;
 456 defm V_RNDNE_F32         : VOP1_Real_si <0x23>;
 457 defm V_FLOOR_F32         : VOP1_Real_si <0x24>;
 458 defm V_EXP_F32           : VOP1_Real_si <0x25>;
 459 defm V_LOG_CLAMP_F32     : VOP1_Real_si <0x26>;
 460 defm V_LOG_F32           : VOP1_Real_si <0x27>;
 461 defm V_RCP_CLAMP_F32     : VOP1_Real_si <0x28>;
 462 defm V_RCP_LEGACY_F32    : VOP1_Real_si <0x29>;
 463 defm V_RCP_F32           : VOP1_Real_si <0x2a>;
 464 defm V_RCP_IFLAG_F32     : VOP1_Real_si <0x2b>;
 465 defm V_RSQ_CLAMP_F32     : VOP1_Real_si <0x2c>;
 466 defm V_RSQ_LEGACY_F32    : VOP1_Real_si <0x2d>;
 467 defm V_RSQ_F32           : VOP1_Real_si <0x2e>;
 468 defm V_RCP_F64           : VOP1_Real_si <0x2f>;
 469 defm V_RCP_CLAMP_F64     : VOP1_Real_si <0x30>;
 470 defm V_RSQ_F64           : VOP1_Real_si <0x31>;
 471 defm V_RSQ_CLAMP_F64     : VOP1_Real_si <0x32>;
 472 defm V_SQRT_F32          : VOP1_Real_si <0x33>;
 473 defm V_SQRT_F64          : VOP1_Real_si <0x34>;
 474 defm V_SIN_F32           : VOP1_Real_si <0x35>;
 475 defm V_COS_F32           : VOP1_Real_si <0x36>;
 476 defm V_NOT_B32           : VOP1_Real_si <0x37>;
 477 defm V_BFREV_B32         : VOP1_Real_si <0x38>;
 478 defm V_FFBH_U32          : VOP1_Real_si <0x39>;
 479 defm V_FFBL_B32          : VOP1_Real_si <0x3a>;
 480 defm V_FFBH_I32          : VOP1_Real_si <0x3b>;
 481 defm V_FREXP_EXP_I32_F64 : VOP1_Real_si <0x3c>;
 482 defm V_FREXP_MANT_F64    : VOP1_Real_si <0x3d>;
 483 defm V_FRACT_F64         : VOP1_Real_si <0x3e>;
 484 defm V_FREXP_EXP_I32_F32 : VOP1_Real_si <0x3f>;
 485 defm V_FREXP_MANT_F32    : VOP1_Real_si <0x40>;
 486 defm V_CLREXCP           : VOP1_Real_si <0x41>;
 487 defm V_MOVRELD_B32       : VOP1_Real_si <0x42>;
 488 defm V_MOVRELS_B32       : VOP1_Real_si <0x43>;
 489 defm V_MOVRELSD_B32      : VOP1_Real_si <0x44>;
 490
 491 //===----------------------------------------------------------------------===//
 492 // CI
 493 //===----------------------------------------------------------------------===//
 494
 495 multiclass VOP1_Real_ci <bits<9> op> {
 496   let AssemblerPredicates = [isCIOnly], DecoderNamespace = "CI" in {
 497     def _e32_ci :
 498       VOP1_Real<!cast<VOP1_Pseudo>(NAME#"_e32"), SIEncodingFamily.SI>,
 499       VOP1e<op{7-0}, !cast<VOP1_Pseudo>(NAME#"_e32").Pfl>;
 500     def _e64_ci :
 501       VOP3_Real<!cast<VOP3_Pseudo>(NAME#"_e64"), SIEncodingFamily.SI>,
 502       VOP3e_si <{1, 1, op{6-0}}, !cast<VOP3_Pseudo>(NAME#"_e64").Pfl>;
 503   }
 504 }
 505
 506 defm V_TRUNC_F64         : VOP1_Real_ci <0x17>;
 507 defm V_CEIL_F64          : VOP1_Real_ci <0x18>;
 508 defm V_FLOOR_F64         : VOP1_Real_ci <0x1A>;
 509 defm V_RNDNE_F64         : VOP1_Real_ci <0x19>;
 510 defm V_LOG_LEGACY_F32    : VOP1_Real_ci <0x45>;
 511 defm V_EXP_LEGACY_F32    : VOP1_Real_ci <0x46>;
 512
 513 //===----------------------------------------------------------------------===//
 514 // VI
 515 //===----------------------------------------------------------------------===//
 516
 517 class VOP1_DPPe <bits<8> op, VOP1_DPP_Pseudo ps, VOPProfile P = ps.Pfl> :
 518   VOP_DPPe <P> {
 519   bits<8> vdst;
 520   let Inst{8-0}   = 0xfa; // dpp
 521   let Inst{16-9}  = op;
 522   let Inst{24-17} = !if(P.EmitDst, vdst{7-0}, 0);
 523   let Inst{31-25} = 0x3f; //encoding
 524 }
 525
 526 multiclass VOP1Only_Real_vi <bits<10> op> {
 527   let AssemblerPredicates = [isVI], DecoderNamespace = "VI" in {
 528     def _vi :
 529       VOP1_Real<!cast<VOP1_Pseudo>(NAME), SIEncodingFamily.VI>,
 530       VOP1e<op{7-0}, !cast<VOP1_Pseudo>(NAME).Pfl>;
 531   }
 532 }
 533
 534 multiclass VOP1_Real_e32e64_vi <bits<10> op> {
 535   let AssemblerPredicates = [isVI], DecoderNamespace = "VI" in {
 536     def _e32_vi :
 537       VOP1_Real<!cast<VOP1_Pseudo>(NAME#"_e32"), SIEncodingFamily.VI>,
 538       VOP1e<op{7-0}, !cast<VOP1_Pseudo>(NAME#"_e32").Pfl>;
 539     def _e64_vi :
 540       VOP3_Real<!cast<VOP3_Pseudo>(NAME#"_e64"), SIEncodingFamily.VI>,
 541       VOP3e_vi <!add(0x140, op), !cast<VOP3_Pseudo>(NAME#"_e64").Pfl>;
 542   }
 543 }
 544
 545 multiclass VOP1_Real_vi <bits<10> op> {
 546   defm NAME : VOP1_Real_e32e64_vi <op>;
 547
 548   def _sdwa_vi :
 549     VOP_SDWA_Real <!cast<VOP1_SDWA_Pseudo>(NAME#"_sdwa")>,
 550     VOP1_SDWAe <op{7-0}, !cast<VOP1_SDWA_Pseudo>(NAME#"_sdwa").Pfl>;
 551
 552   def _sdwa_gfx9 :
 553     VOP_SDWA9_Real <!cast<VOP1_SDWA_Pseudo>(NAME#"_sdwa")>,
 554     VOP1_SDWA9Ae <op{7-0}, !cast<VOP1_SDWA_Pseudo>(NAME#"_sdwa").Pfl>;
 555
 556   foreach _ = BoolToList<!cast<VOP1_Pseudo>(NAME#"_e32").Pfl.HasExtDPP>.ret in
 557     def _dpp_vi :
 558       VOP_DPP_Real<!cast<VOP1_DPP_Pseudo>(NAME#"_dpp"), SIEncodingFamily.VI>,
 559       VOP1_DPPe<op{7-0}, !cast<VOP1_DPP_Pseudo>(NAME#"_dpp")>;
 560 }
 561
 562 defm V_NOP               : VOP1_Real_vi <0x0>;
 563 defm V_MOV_B32           : VOP1_Real_vi <0x1>;
 564 defm V_CVT_I32_F64       : VOP1_Real_vi <0x3>;
 565 defm V_CVT_F64_I32       : VOP1_Real_vi <0x4>;
 566 defm V_CVT_F32_I32       : VOP1_Real_vi <0x5>;
 567 defm V_CVT_F32_U32       : VOP1_Real_vi <0x6>;
 568 defm V_CVT_U32_F32       : VOP1_Real_vi <0x7>;
 569 defm V_CVT_I32_F32       : VOP1_Real_vi <0x8>;
 570 defm V_MOV_FED_B32       : VOP1_Real_vi <0x9>;
 571 defm V_CVT_F16_F32       : VOP1_Real_vi <0xa>;
 572 defm V_CVT_F32_F16       : VOP1_Real_vi <0xb>;
 573 defm V_CVT_RPI_I32_F32   : VOP1_Real_vi <0xc>;
 574 defm V_CVT_FLR_I32_F32   : VOP1_Real_vi <0xd>;
 575 defm V_CVT_OFF_F32_I4    : VOP1_Real_vi <0xe>;
 576 defm V_CVT_F32_F64       : VOP1_Real_vi <0xf>;
 577 defm V_CVT_F64_F32       : VOP1_Real_vi <0x10>;
 578 defm V_CVT_F32_UBYTE0    : VOP1_Real_vi <0x11>;
 579 defm V_CVT_F32_UBYTE1    : VOP1_Real_vi <0x12>;
 580 defm V_CVT_F32_UBYTE2    : VOP1_Real_vi <0x13>;
 581 defm V_CVT_F32_UBYTE3    : VOP1_Real_vi <0x14>;
 582 defm V_CVT_U32_F64       : VOP1_Real_vi <0x15>;
 583 defm V_CVT_F64_U32       : VOP1_Real_vi <0x16>;
 584 defm V_FRACT_F32         : VOP1_Real_vi <0x1b>;
 585 defm V_TRUNC_F32         : VOP1_Real_vi <0x1c>;
 586 defm V_CEIL_F32          : VOP1_Real_vi <0x1d>;
 587 defm V_RNDNE_F32         : VOP1_Real_vi <0x1e>;
 588 defm V_FLOOR_F32         : VOP1_Real_vi <0x1f>;
 589 defm V_EXP_F32           : VOP1_Real_vi <0x20>;
 590 defm V_LOG_F32           : VOP1_Real_vi <0x21>;
 591 defm V_RCP_F32           : VOP1_Real_vi <0x22>;
 592 defm V_RCP_IFLAG_F32     : VOP1_Real_vi <0x23>;
 593 defm V_RSQ_F32           : VOP1_Real_vi <0x24>;
 594 defm V_RCP_F64           : VOP1_Real_vi <0x25>;
 595 defm V_RSQ_F64           : VOP1_Real_vi <0x26>;
 596 defm V_SQRT_F32          : VOP1_Real_vi <0x27>;
 597 defm V_SQRT_F64          : VOP1_Real_vi <0x28>;
 598 defm V_SIN_F32           : VOP1_Real_vi <0x29>;
 599 defm V_COS_F32           : VOP1_Real_vi <0x2a>;
 600 defm V_NOT_B32           : VOP1_Real_vi <0x2b>;
 601 defm V_BFREV_B32         : VOP1_Real_vi <0x2c>;
 602 defm V_FFBH_U32          : VOP1_Real_vi <0x2d>;
 603 defm V_FFBL_B32          : VOP1_Real_vi <0x2e>;
 604 defm V_FFBH_I32          : VOP1_Real_vi <0x2f>;
 605 defm V_FREXP_EXP_I32_F64 : VOP1_Real_vi <0x30>;
 606 defm V_FREXP_MANT_F64    : VOP1_Real_vi <0x31>;
 607 defm V_FRACT_F64         : VOP1_Real_vi <0x32>;
 608 defm V_FREXP_EXP_I32_F32 : VOP1_Real_vi <0x33>;
 609 defm V_FREXP_MANT_F32    : VOP1_Real_vi <0x34>;
 610 defm V_CLREXCP           : VOP1_Real_vi <0x35>;
 611 defm V_MOVRELD_B32       : VOP1_Real_e32e64_vi <0x36>;
 612 defm V_MOVRELS_B32       : VOP1_Real_e32e64_vi <0x37>;
 613 defm V_MOVRELSD_B32      : VOP1_Real_e32e64_vi <0x38>;
 614 defm V_TRUNC_F64         : VOP1_Real_vi <0x17>;
 615 defm V_CEIL_F64          : VOP1_Real_vi <0x18>;
 616 defm V_FLOOR_F64         : VOP1_Real_vi <0x1A>;
 617 defm V_RNDNE_F64         : VOP1_Real_vi <0x19>;
 618 defm V_LOG_LEGACY_F32    : VOP1_Real_vi <0x4c>;
 619 defm V_EXP_LEGACY_F32    : VOP1_Real_vi <0x4b>;
 620 defm V_CVT_F16_U16       : VOP1_Real_vi <0x39>;
 621 defm V_CVT_F16_I16       : VOP1_Real_vi <0x3a>;
 622 defm V_CVT_U16_F16       : VOP1_Real_vi <0x3b>;
 623 defm V_CVT_I16_F16       : VOP1_Real_vi <0x3c>;
 624 defm V_RCP_F16           : VOP1_Real_vi <0x3d>;
 625 defm V_SQRT_F16          : VOP1_Real_vi <0x3e>;
 626 defm V_RSQ_F16           : VOP1_Real_vi <0x3f>;
 627 defm V_LOG_F16           : VOP1_Real_vi <0x40>;
 628 defm V_EXP_F16           : VOP1_Real_vi <0x41>;
 629 defm V_FREXP_MANT_F16    : VOP1_Real_vi <0x42>;
 630 defm V_FREXP_EXP_I16_F16 : VOP1_Real_vi <0x43>;
 631 defm V_FLOOR_F16         : VOP1_Real_vi <0x44>;
 632 defm V_CEIL_F16          : VOP1_Real_vi <0x45>;
 633 defm V_TRUNC_F16         : VOP1_Real_vi <0x46>;
 634 defm V_RNDNE_F16         : VOP1_Real_vi <0x47>;
 635 defm V_FRACT_F16         : VOP1_Real_vi <0x48>;
 636 defm V_SIN_F16           : VOP1_Real_vi <0x49>;
 637 defm V_COS_F16           : VOP1_Real_vi <0x4a>;
 638 defm V_SWAP_B32          : VOP1Only_Real_vi <0x51>;
 639
 640 defm V_SAT_PK_U8_I16     : VOP1_Real_vi<0x4f>;
 641 defm V_CVT_NORM_I16_F16  : VOP1_Real_vi<0x4d>;
 642 defm V_CVT_NORM_U16_F16  : VOP1_Real_vi<0x4e>;
 643
 644 // Copy of v_mov_b32 with $vdst as a use operand for use with VGPR
 645 // indexing mode. vdst can't be treated as a def for codegen purposes,
 646 // and an implicit use and def of the super register should be added.
 647 def V_MOV_B32_indirect : VPseudoInstSI<(outs),
 648   (ins getVALUDstForVT<i32>.ret:$vdst, getVOPSrc0ForVT<i32>.ret:$src0)>,
 649   PseudoInstExpansion<(V_MOV_B32_e32_vi getVALUDstForVT<i32>.ret:$vdst,
 650                                         getVOPSrc0ForVT<i32>.ret:$src0)> {
 651   let VOP1 = 1;
 652   let SubtargetPredicate = isVI;
 653 }
 654
 655 // This is a pseudo variant of the v_movreld_b32 instruction in which the
 656 // vector operand appears only twice, once as def and once as use. Using this
 657 // pseudo avoids problems with the Two Address instructions pass.
 658 class V_MOVRELD_B32_pseudo<RegisterClass rc> : VPseudoInstSI <
 659   (outs rc:$vdst),
 660   (ins rc:$vsrc, VSrc_b32:$val, i32imm:$offset)> {
 661   let VOP1 = 1;
 662
 663   let Constraints = "$vsrc = $vdst";
 664   let Uses = [M0, EXEC];
 665
 666   let SubtargetPredicate = HasMovrel;
 667 }
 668
 669 def V_MOVRELD_B32_V1 : V_MOVRELD_B32_pseudo<VGPR_32>;
 670 def V_MOVRELD_B32_V2 : V_MOVRELD_B32_pseudo<VReg_64>;
 671 def V_MOVRELD_B32_V4 : V_MOVRELD_B32_pseudo<VReg_128>;
 672 def V_MOVRELD_B32_V8 : V_MOVRELD_B32_pseudo<VReg_256>;
 673 def V_MOVRELD_B32_V16 : V_MOVRELD_B32_pseudo<VReg_512>;
 674
 675 let OtherPredicates = [isVI] in {
 676
 677 def : GCNPat <
 678   (i32 (int_amdgcn_mov_dpp i32:$src, imm:$dpp_ctrl, imm:$row_mask, imm:$bank_mask,
 679                       imm:$bound_ctrl)),
 680   (V_MOV_B32_dpp $src, $src, (as_i32imm $dpp_ctrl),
 681                        (as_i32imm $row_mask), (as_i32imm $bank_mask),
 682                        (as_i1imm $bound_ctrl))
 683 >;
 684
 685 def : GCNPat <
 686   (i32 (int_amdgcn_update_dpp i32:$old, i32:$src, imm:$dpp_ctrl, imm:$row_mask,
 687                       imm:$bank_mask, imm:$bound_ctrl)),
 688   (V_MOV_B32_dpp $old, $src, (as_i32imm $dpp_ctrl),
 689                        (as_i32imm $row_mask), (as_i32imm $bank_mask),
 690                        (as_i1imm $bound_ctrl))
 691 >;
 692
 693 def : GCNPat<
 694   (i32 (anyext i16:$src)),
 695   (COPY $src)
 696 >;
 697
 698 def : GCNPat<
 699    (i64 (anyext i16:$src)),
 700    (REG_SEQUENCE VReg_64,
 701      (i32 (COPY $src)), sub0,
 702      (V_MOV_B32_e32 (i32 0)), sub1)
 703 >;
 704
 705 def : GCNPat<
 706   (i16 (trunc i32:$src)),
 707   (COPY $src)
 708 >;
 709
 710 def : GCNPat <
 711   (i16 (trunc i64:$src)),
 712   (EXTRACT_SUBREG $src, sub0)
 713 >;
 714
 715 } // End OtherPredicates = [isVI]
 716
 717 //===----------------------------------------------------------------------===//
 718 // GFX9
 719 //===----------------------------------------------------------------------===//
 720
 721 multiclass VOP1_Real_gfx9 <bits<10> op> {
 722   let AssemblerPredicates = [isGFX9], DecoderNamespace = "GFX9" in {
 723     defm NAME : VOP1_Real_e32e64_vi <op>;
 724   }
 725
 726   def _sdwa_gfx9 :
 727     VOP_SDWA9_Real <!cast<VOP1_SDWA_Pseudo>(NAME#"_sdwa")>,
 728     VOP1_SDWA9Ae <op{7-0}, !cast<VOP1_SDWA_Pseudo>(NAME#"_sdwa").Pfl>;
 729
 730   foreach _ = BoolToList<!cast<VOP1_Pseudo>(NAME#"_e32").Pfl.HasExtDPP>.ret in
 731     def _dpp_gfx9 :
 732       VOP_DPP_Real<!cast<VOP1_DPP_Pseudo>(NAME#"_dpp"), SIEncodingFamily.GFX9>,
 733       VOP1_DPPe<op{7-0}, !cast<VOP1_DPP_Pseudo>(NAME#"_dpp")>;
 734
 735 }
 736
 737 defm V_SCREEN_PARTITION_4SE_B32 : VOP1_Real_gfx9 <0x37>;