test/CodeGen/X86/avx512-masked_memop-16-8.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=x86_64-apple-darwin -mattr=avx512f,avx512bw,avx512vl < %s | FileCheck %s
   3
   4 ; Skylake-avx512 target supports masked load/store for i8 and i16 vectors
   5
   6 define <16 x i8> @test_mask_load_16xi8(<16 x i1> %mask, <16 x i8>* %addr, <16 x i8> %val) {
   7 ; CHECK-LABEL: test_mask_load_16xi8:
   8 ; CHECK:       ## BB#0:
   9 ; CHECK-NEXT:    vpsllw $7, %xmm0, %xmm0
  10 ; CHECK-NEXT:    vpmovb2m %xmm0, %k1
  11 ; CHECK-NEXT:    vmovdqu8 (%rdi), %xmm0 {%k1} {z}
  12 ; CHECK-NEXT:    retq
  13   %res = call <16 x i8> @llvm.masked.load.v16i8.p0v16i8(<16 x i8>* %addr, i32 4, <16 x i1>%mask, <16 x i8> undef)
  14   ret <16 x i8> %res
  15 }
  16 declare <16 x i8> @llvm.masked.load.v16i8.p0v16i8(<16 x i8>*, i32, <16 x i1>, <16 x i8>)
  17
  18 define <32 x i8> @test_mask_load_32xi8(<32 x i1> %mask, <32 x i8>* %addr, <32 x i8> %val) {
  19 ; CHECK-LABEL: test_mask_load_32xi8:
  20 ; CHECK:       ## BB#0:
  21 ; CHECK-NEXT:    vpsllw $7, %ymm0, %ymm0
  22 ; CHECK-NEXT:    vpmovb2m %ymm0, %k1
  23 ; CHECK-NEXT:    vmovdqu8 (%rdi), %ymm1 {%k1}
  24 ; CHECK-NEXT:    vmovdqa %ymm1, %ymm0
  25 ; CHECK-NEXT:    retq
  26   %res = call <32 x i8> @llvm.masked.load.v32i8.p0v32i8(<32 x i8>* %addr, i32 4, <32 x i1>%mask, <32 x i8> %val)
  27   ret <32 x i8> %res
  28 }
  29 declare <32 x i8> @llvm.masked.load.v32i8.p0v32i8(<32 x i8>*, i32, <32 x i1>, <32 x i8>)
  30
  31 define <64 x i8> @test_mask_load_64xi8(<64 x i1> %mask, <64 x i8>* %addr, <64 x i8> %val) {
  32 ; CHECK-LABEL: test_mask_load_64xi8:
  33 ; CHECK:       ## BB#0:
  34 ; CHECK-NEXT:    vpsllw $7, %zmm0, %zmm0
  35 ; CHECK-NEXT:    vpmovb2m %zmm0, %k1
  36 ; CHECK-NEXT:    vmovdqu8 (%rdi), %zmm1 {%k1}
  37 ; CHECK-NEXT:    vmovdqa64 %zmm1, %zmm0
  38 ; CHECK-NEXT:    retq
  39   %res = call <64 x i8> @llvm.masked.load.v64i8.p0v64i8(<64 x i8>* %addr, i32 4, <64 x i1>%mask, <64 x i8> %val)
  40   ret <64 x i8> %res
  41 }
  42 declare <64 x i8> @llvm.masked.load.v64i8.p0v64i8(<64 x i8>*, i32, <64 x i1>, <64 x i8>)
  43
  44 define <8 x i16> @test_mask_load_8xi16(<8 x i1> %mask, <8 x i16>* %addr, <8 x i16> %val) {
  45 ; CHECK-LABEL: test_mask_load_8xi16:
  46 ; CHECK:       ## BB#0:
  47 ; CHECK-NEXT:    vpsllw $15, %xmm0, %xmm0
  48 ; CHECK-NEXT:    vpmovw2m %xmm0, %k1
  49 ; CHECK-NEXT:    vmovdqu16 (%rdi), %xmm0 {%k1} {z}
  50 ; CHECK-NEXT:    retq
  51   %res = call <8 x i16> @llvm.masked.load.v8i16.p0v8i16(<8 x i16>* %addr, i32 4, <8 x i1>%mask, <8 x i16> undef)
  52   ret <8 x i16> %res
  53 }
  54 declare <8 x i16> @llvm.masked.load.v8i16.p0v8i16(<8 x i16>*, i32, <8 x i1>, <8 x i16>)
  55
  56 define <16 x i16> @test_mask_load_16xi16(<16 x i1> %mask, <16 x i16>* %addr, <16 x i16> %val) {
  57 ; CHECK-LABEL: test_mask_load_16xi16:
  58 ; CHECK:       ## BB#0:
  59 ; CHECK-NEXT:    vpsllw $7, %xmm0, %xmm0
  60 ; CHECK-NEXT:    vpmovb2m %xmm0, %k1
  61 ; CHECK-NEXT:    vmovdqu16 (%rdi), %ymm0 {%k1} {z}
  62 ; CHECK-NEXT:    retq
  63   %res = call <16 x i16> @llvm.masked.load.v16i16.p0v16i16(<16 x i16>* %addr, i32 4, <16 x i1>%mask, <16 x i16> zeroinitializer)
  64   ret <16 x i16> %res
  65 }
  66 declare <16 x i16> @llvm.masked.load.v16i16.p0v16i16(<16 x i16>*, i32, <16 x i1>, <16 x i16>)
  67
  68 define <32 x i16> @test_mask_load_32xi16(<32 x i1> %mask, <32 x i16>* %addr, <32 x i16> %val) {
  69 ; CHECK-LABEL: test_mask_load_32xi16:
  70 ; CHECK:       ## BB#0:
  71 ; CHECK-NEXT:    vpsllw $7, %ymm0, %ymm0
  72 ; CHECK-NEXT:    vpmovb2m %ymm0, %k1
  73 ; CHECK-NEXT:    vmovdqu16 (%rdi), %zmm1 {%k1}
  74 ; CHECK-NEXT:    vmovdqa64 %zmm1, %zmm0
  75 ; CHECK-NEXT:    retq
  76   %res = call <32 x i16> @llvm.masked.load.v32i16.p0v32i16(<32 x i16>* %addr, i32 4, <32 x i1>%mask, <32 x i16> %val)
  77   ret <32 x i16> %res
  78 }
  79 declare <32 x i16> @llvm.masked.load.v32i16.p0v32i16(<32 x i16>*, i32, <32 x i1>, <32 x i16>)
  80
  81 define void @test_mask_store_16xi8(<16 x i1> %mask, <16 x i8>* %addr, <16 x i8> %val) {
  82 ; CHECK-LABEL: test_mask_store_16xi8:
  83 ; CHECK:       ## BB#0:
  84 ; CHECK-NEXT:    vpsllw $7, %xmm0, %xmm0
  85 ; CHECK-NEXT:    vpmovb2m %xmm0, %k1
  86 ; CHECK-NEXT:    vmovdqu8 %xmm1, (%rdi) {%k1}
  87 ; CHECK-NEXT:    retq
  88   call void @llvm.masked.store.v16i8.p0v16i8(<16 x i8> %val, <16 x i8>* %addr, i32 4, <16 x i1>%mask)
  89   ret void
  90 }
  91 declare void @llvm.masked.store.v16i8.p0v16i8(<16 x i8>, <16 x i8>*, i32, <16 x i1>)
  92
  93 define void @test_mask_store_32xi8(<32 x i1> %mask, <32 x i8>* %addr, <32 x i8> %val) {
  94 ; CHECK-LABEL: test_mask_store_32xi8:
  95 ; CHECK:       ## BB#0:
  96 ; CHECK-NEXT:    vpsllw $7, %ymm0, %ymm0
  97 ; CHECK-NEXT:    vpmovb2m %ymm0, %k1
  98 ; CHECK-NEXT:    vmovdqu8 %ymm1, (%rdi) {%k1}
  99 ; CHECK-NEXT:    retq
 100   call void @llvm.masked.store.v32i8.p0v32i8(<32 x i8> %val, <32 x i8>* %addr, i32 4, <32 x i1>%mask)
 101   ret void
 102 }
 103 declare void @llvm.masked.store.v32i8.p0v32i8(<32 x i8>, <32 x i8>*, i32, <32 x i1>)
 104
 105 define void @test_mask_store_64xi8(<64 x i1> %mask, <64 x i8>* %addr, <64 x i8> %val) {
 106 ; CHECK-LABEL: test_mask_store_64xi8:
 107 ; CHECK:       ## BB#0:
 108 ; CHECK-NEXT:    vpsllw $7, %zmm0, %zmm0
 109 ; CHECK-NEXT:    vpmovb2m %zmm0, %k1
 110 ; CHECK-NEXT:    vmovdqu8 %zmm1, (%rdi) {%k1}
 111 ; CHECK-NEXT:    retq
 112   call void @llvm.masked.store.v64i8.p0v64i8(<64 x i8> %val, <64 x i8>* %addr, i32 4, <64 x i1>%mask)
 113   ret void
 114 }
 115 declare void @llvm.masked.store.v64i8.p0v64i8(<64 x i8>, <64 x i8>*, i32, <64 x i1>)
 116
 117 define void @test_mask_store_8xi16(<8 x i1> %mask, <8 x i16>* %addr, <8 x i16> %val) {
 118 ; CHECK-LABEL: test_mask_store_8xi16:
 119 ; CHECK:       ## BB#0:
 120 ; CHECK-NEXT:    vpsllw $15, %xmm0, %xmm0
 121 ; CHECK-NEXT:    vpmovw2m %xmm0, %k1
 122 ; CHECK-NEXT:    vmovdqu16 %xmm1, (%rdi) {%k1}
 123 ; CHECK-NEXT:    retq
 124   call void @llvm.masked.store.v8i16.p0v8i16(<8 x i16> %val, <8 x i16>* %addr, i32 4, <8 x i1>%mask)
 125   ret void
 126 }
 127 declare void @llvm.masked.store.v8i16.p0v8i16(<8 x i16>, <8 x i16>*, i32, <8 x i1>)
 128
 129 define void @test_mask_store_16xi16(<16 x i1> %mask, <16 x i16>* %addr, <16 x i16> %val) {
 130 ; CHECK-LABEL: test_mask_store_16xi16:
 131 ; CHECK:       ## BB#0:
 132 ; CHECK-NEXT:    vpsllw $7, %xmm0, %xmm0
 133 ; CHECK-NEXT:    vpmovb2m %xmm0, %k1
 134 ; CHECK-NEXT:    vmovdqu16 %ymm1, (%rdi) {%k1}
 135 ; CHECK-NEXT:    retq
 136   call void @llvm.masked.store.v16i16.p0v16i16(<16 x i16> %val, <16 x i16>* %addr, i32 4, <16 x i1>%mask)
 137   ret void
 138 }
 139 declare void @llvm.masked.store.v16i16.p0v16i16(<16 x i16>, <16 x i16>*, i32, <16 x i1>)
 140
 141 define void @test_mask_store_32xi16(<32 x i1> %mask, <32 x i16>* %addr, <32 x i16> %val) {
 142 ; CHECK-LABEL: test_mask_store_32xi16:
 143 ; CHECK:       ## BB#0:
 144 ; CHECK-NEXT:    vpsllw $7, %ymm0, %ymm0
 145 ; CHECK-NEXT:    vpmovb2m %ymm0, %k1
 146 ; CHECK-NEXT:    vmovdqu16 %zmm1, (%rdi) {%k1}
 147 ; CHECK-NEXT:    retq
 148   call void @llvm.masked.store.v32i16.p0v32i16(<32 x i16> %val, <32 x i16>* %addr, i32 4, <32 x i1>%mask)
 149   ret void
 150 }
 151
 152 declare void @llvm.masked.store.v32i16.p0v32i16(<32 x i16>, <32 x i16>*, i32, <32 x i1>)