contrib/llvm/tools/clang/lib/Headers/avx512bwintrin.h

   1 /*===------------- avx512bwintrin.h - AVX512BW intrinsics ------------------===
   2  *
   3  *
   4  * Permission is hereby granted, free of charge, to any person obtaining a copy
   5  * of this software and associated documentation files (the "Software"), to deal
   6  * in the Software without restriction, including without limitation the rights
   7  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
   8  * copies of the Software, and to permit persons to whom the Software is
   9  * furnished to do so, subject to the following conditions:
  10  *
  11  * The above copyright notice and this permission notice shall be included in
  12  * all copies or substantial portions of the Software.
  13  *
  14  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  15  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  16  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  17  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  18  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  19  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  20  * THE SOFTWARE.
  21  *
  22  *===-----------------------------------------------------------------------===
  23  */
  24 #ifndef __IMMINTRIN_H
  25 #error "Never use <avx512bwintrin.h> directly; include <immintrin.h> instead."
  26 #endif
  27
  28 #ifndef __AVX512BWINTRIN_H
  29 #define __AVX512BWINTRIN_H
  30
  31 typedef unsigned int __mmask32;
  32 typedef unsigned long long __mmask64;
  33
  34 /* Define the default attributes for the functions in this file. */
  35 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512bw")))
  36
  37 static  __inline __m512i __DEFAULT_FN_ATTRS
  38 _mm512_setzero_qi(void) {
  39   return (__m512i)(__v64qi){ 0, 0, 0, 0, 0, 0, 0, 0,
  40                              0, 0, 0, 0, 0, 0, 0, 0,
  41                              0, 0, 0, 0, 0, 0, 0, 0,
  42                              0, 0, 0, 0, 0, 0, 0, 0,
  43                              0, 0, 0, 0, 0, 0, 0, 0,
  44                              0, 0, 0, 0, 0, 0, 0, 0,
  45                              0, 0, 0, 0, 0, 0, 0, 0,
  46                              0, 0, 0, 0, 0, 0, 0, 0 };
  47 }
  48
  49 static  __inline __m512i __DEFAULT_FN_ATTRS
  50 _mm512_setzero_hi(void) {
  51   return (__m512i)(__v32hi){ 0, 0, 0, 0, 0, 0, 0, 0,
  52                              0, 0, 0, 0, 0, 0, 0, 0,
  53                              0, 0, 0, 0, 0, 0, 0, 0,
  54                              0, 0, 0, 0, 0, 0, 0, 0 };
  55 }
  56
  57 /* Integer compare */
  58
  59 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  60 _mm512_cmpeq_epi8_mask(__m512i __a, __m512i __b) {
  61   return (__mmask64)__builtin_ia32_pcmpeqb512_mask((__v64qi)__a, (__v64qi)__b,
  62                                                    (__mmask64)-1);
  63 }
  64
  65 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  66 _mm512_mask_cmpeq_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
  67   return (__mmask64)__builtin_ia32_pcmpeqb512_mask((__v64qi)__a, (__v64qi)__b,
  68                                                    __u);
  69 }
  70
  71 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  72 _mm512_cmpeq_epu8_mask(__m512i __a, __m512i __b) {
  73   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 0,
  74                                                  (__mmask64)-1);
  75 }
  76
  77 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  78 _mm512_mask_cmpeq_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
  79   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 0,
  80                                                  __u);
  81 }
  82
  83 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  84 _mm512_cmpeq_epi16_mask(__m512i __a, __m512i __b) {
  85   return (__mmask32)__builtin_ia32_pcmpeqw512_mask((__v32hi)__a, (__v32hi)__b,
  86                                                    (__mmask32)-1);
  87 }
  88
  89 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  90 _mm512_mask_cmpeq_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
  91   return (__mmask32)__builtin_ia32_pcmpeqw512_mask((__v32hi)__a, (__v32hi)__b,
  92                                                    __u);
  93 }
  94
  95 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  96 _mm512_cmpeq_epu16_mask(__m512i __a, __m512i __b) {
  97   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 0,
  98                                                  (__mmask32)-1);
  99 }
 100
 101 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 102 _mm512_mask_cmpeq_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 103   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 0,
 104                                                  __u);
 105 }
 106
 107 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 108 _mm512_cmpge_epi8_mask(__m512i __a, __m512i __b) {
 109   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 110                                                 (__mmask64)-1);
 111 }
 112
 113 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 114 _mm512_mask_cmpge_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 115   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 116                                                 __u);
 117 }
 118
 119 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 120 _mm512_cmpge_epu8_mask(__m512i __a, __m512i __b) {
 121   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 122                                                  (__mmask64)-1);
 123 }
 124
 125 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 126 _mm512_mask_cmpge_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 127   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 128                                                  __u);
 129 }
 130
 131 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 132 _mm512_cmpge_epi16_mask(__m512i __a, __m512i __b) {
 133   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 134                                                 (__mmask32)-1);
 135 }
 136
 137 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 138 _mm512_mask_cmpge_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 139   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 140                                                 __u);
 141 }
 142
 143 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 144 _mm512_cmpge_epu16_mask(__m512i __a, __m512i __b) {
 145   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 146                                                  (__mmask32)-1);
 147 }
 148
 149 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 150 _mm512_mask_cmpge_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 151   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 152                                                  __u);
 153 }
 154
 155 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 156 _mm512_cmpgt_epi8_mask(__m512i __a, __m512i __b) {
 157   return (__mmask64)__builtin_ia32_pcmpgtb512_mask((__v64qi)__a, (__v64qi)__b,
 158                                                    (__mmask64)-1);
 159 }
 160
 161 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 162 _mm512_mask_cmpgt_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 163   return (__mmask64)__builtin_ia32_pcmpgtb512_mask((__v64qi)__a, (__v64qi)__b,
 164                                                    __u);
 165 }
 166
 167 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 168 _mm512_cmpgt_epu8_mask(__m512i __a, __m512i __b) {
 169   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 6,
 170                                                  (__mmask64)-1);
 171 }
 172
 173 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 174 _mm512_mask_cmpgt_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 175   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 6,
 176                                                  __u);
 177 }
 178
 179 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 180 _mm512_cmpgt_epi16_mask(__m512i __a, __m512i __b) {
 181   return (__mmask32)__builtin_ia32_pcmpgtw512_mask((__v32hi)__a, (__v32hi)__b,
 182                                                    (__mmask32)-1);
 183 }
 184
 185 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 186 _mm512_mask_cmpgt_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 187   return (__mmask32)__builtin_ia32_pcmpgtw512_mask((__v32hi)__a, (__v32hi)__b,
 188                                                    __u);
 189 }
 190
 191 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 192 _mm512_cmpgt_epu16_mask(__m512i __a, __m512i __b) {
 193   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 6,
 194                                                  (__mmask32)-1);
 195 }
 196
 197 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 198 _mm512_mask_cmpgt_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 199   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 6,
 200                                                  __u);
 201 }
 202
 203 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 204 _mm512_cmple_epi8_mask(__m512i __a, __m512i __b) {
 205   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 206                                                 (__mmask64)-1);
 207 }
 208
 209 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 210 _mm512_mask_cmple_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 211   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 212                                                 __u);
 213 }
 214
 215 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 216 _mm512_cmple_epu8_mask(__m512i __a, __m512i __b) {
 217   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 218                                                  (__mmask64)-1);
 219 }
 220
 221 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 222 _mm512_mask_cmple_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 223   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 224                                                  __u);
 225 }
 226
 227 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 228 _mm512_cmple_epi16_mask(__m512i __a, __m512i __b) {
 229   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 230                                                 (__mmask32)-1);
 231 }
 232
 233 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 234 _mm512_mask_cmple_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 235   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 236                                                 __u);
 237 }
 238
 239 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 240 _mm512_cmple_epu16_mask(__m512i __a, __m512i __b) {
 241   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 242                                                  (__mmask32)-1);
 243 }
 244
 245 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 246 _mm512_mask_cmple_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 247   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 248                                                  __u);
 249 }
 250
 251 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 252 _mm512_cmplt_epi8_mask(__m512i __a, __m512i __b) {
 253   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 254                                                 (__mmask64)-1);
 255 }
 256
 257 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 258 _mm512_mask_cmplt_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 259   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 260                                                 __u);
 261 }
 262
 263 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 264 _mm512_cmplt_epu8_mask(__m512i __a, __m512i __b) {
 265   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 266                                                  (__mmask64)-1);
 267 }
 268
 269 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 270 _mm512_mask_cmplt_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 271   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 272                                                  __u);
 273 }
 274
 275 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 276 _mm512_cmplt_epi16_mask(__m512i __a, __m512i __b) {
 277   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 278                                                 (__mmask32)-1);
 279 }
 280
 281 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 282 _mm512_mask_cmplt_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 283   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 284                                                 __u);
 285 }
 286
 287 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 288 _mm512_cmplt_epu16_mask(__m512i __a, __m512i __b) {
 289   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 290                                                  (__mmask32)-1);
 291 }
 292
 293 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 294 _mm512_mask_cmplt_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 295   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 296                                                  __u);
 297 }
 298
 299 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 300 _mm512_cmpneq_epi8_mask(__m512i __a, __m512i __b) {
 301   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 302                                                 (__mmask64)-1);
 303 }
 304
 305 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 306 _mm512_mask_cmpneq_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 307   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 308                                                 __u);
 309 }
 310
 311 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 312 _mm512_cmpneq_epu8_mask(__m512i __a, __m512i __b) {
 313   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 314                                                  (__mmask64)-1);
 315 }
 316
 317 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 318 _mm512_mask_cmpneq_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 319   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 320                                                  __u);
 321 }
 322
 323 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 324 _mm512_cmpneq_epi16_mask(__m512i __a, __m512i __b) {
 325   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 326                                                 (__mmask32)-1);
 327 }
 328
 329 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 330 _mm512_mask_cmpneq_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 331   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 332                                                 __u);
 333 }
 334
 335 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 336 _mm512_cmpneq_epu16_mask(__m512i __a, __m512i __b) {
 337   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 338                                                  (__mmask32)-1);
 339 }
 340
 341 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 342 _mm512_mask_cmpneq_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 343   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 344                                                  __u);
 345 }
 346
 347 static __inline__ __m512i __DEFAULT_FN_ATTRS
 348 _mm512_add_epi8 (__m512i __A, __m512i __B) {
 349   return (__m512i) ((__v64qu) __A + (__v64qu) __B);
 350 }
 351
 352 static __inline__ __m512i __DEFAULT_FN_ATTRS
 353 _mm512_mask_add_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
 354   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
 355                                              (__v64qi)_mm512_add_epi8(__A, __B),
 356                                              (__v64qi)__W);
 357 }
 358
 359 static __inline__ __m512i __DEFAULT_FN_ATTRS
 360 _mm512_maskz_add_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
 361   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
 362                                              (__v64qi)_mm512_add_epi8(__A, __B),
 363                                              (__v64qi)_mm512_setzero_qi());
 364 }
 365
 366 static __inline__ __m512i __DEFAULT_FN_ATTRS
 367 _mm512_sub_epi8 (__m512i __A, __m512i __B) {
 368   return (__m512i) ((__v64qu) __A - (__v64qu) __B);
 369 }
 370
 371 static __inline__ __m512i __DEFAULT_FN_ATTRS
 372 _mm512_mask_sub_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
 373   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
 374                                              (__v64qi)_mm512_sub_epi8(__A, __B),
 375                                              (__v64qi)__W);
 376 }
 377
 378 static __inline__ __m512i __DEFAULT_FN_ATTRS
 379 _mm512_maskz_sub_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
 380   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
 381                                              (__v64qi)_mm512_sub_epi8(__A, __B),
 382                                              (__v64qi)_mm512_setzero_qi());
 383 }
 384
 385 static __inline__ __m512i __DEFAULT_FN_ATTRS
 386 _mm512_add_epi16 (__m512i __A, __m512i __B) {
 387   return (__m512i) ((__v32hu) __A + (__v32hu) __B);
 388 }
 389
 390 static __inline__ __m512i __DEFAULT_FN_ATTRS
 391 _mm512_mask_add_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
 392   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
 393                                              (__v32hi)_mm512_add_epi16(__A, __B),
 394                                              (__v32hi)__W);
 395 }
 396
 397 static __inline__ __m512i __DEFAULT_FN_ATTRS
 398 _mm512_maskz_add_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
 399   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
 400                                              (__v32hi)_mm512_add_epi16(__A, __B),
 401                                              (__v32hi)_mm512_setzero_hi());
 402 }
 403
 404 static __inline__ __m512i __DEFAULT_FN_ATTRS
 405 _mm512_sub_epi16 (__m512i __A, __m512i __B) {
 406   return (__m512i) ((__v32hu) __A - (__v32hu) __B);
 407 }
 408
 409 static __inline__ __m512i __DEFAULT_FN_ATTRS
 410 _mm512_mask_sub_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
 411   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
 412                                              (__v32hi)_mm512_sub_epi16(__A, __B),
 413                                              (__v32hi)__W);
 414 }
 415
 416 static __inline__ __m512i __DEFAULT_FN_ATTRS
 417 _mm512_maskz_sub_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
 418   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
 419                                              (__v32hi)_mm512_sub_epi16(__A, __B),
 420                                              (__v32hi)_mm512_setzero_hi());
 421 }
 422
 423 static __inline__ __m512i __DEFAULT_FN_ATTRS
 424 _mm512_mullo_epi16 (__m512i __A, __m512i __B) {
 425   return (__m512i) ((__v32hu) __A * (__v32hu) __B);
 426 }
 427
 428 static __inline__ __m512i __DEFAULT_FN_ATTRS
 429 _mm512_mask_mullo_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
 430   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
 431                                              (__v32hi)_mm512_mullo_epi16(__A, __B),
 432                                              (__v32hi)__W);
 433 }
 434
 435 static __inline__ __m512i __DEFAULT_FN_ATTRS
 436 _mm512_maskz_mullo_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
 437   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
 438                                              (__v32hi)_mm512_mullo_epi16(__A, __B),
 439                                              (__v32hi)_mm512_setzero_hi());
 440 }
 441
 442 static __inline__ __m512i __DEFAULT_FN_ATTRS
 443 _mm512_mask_blend_epi8 (__mmask64 __U, __m512i __A, __m512i __W)
 444 {
 445   return (__m512i) __builtin_ia32_selectb_512 ((__mmask64) __U,
 446               (__v64qi) __W,
 447               (__v64qi) __A);
 448 }
 449
 450 static __inline__ __m512i __DEFAULT_FN_ATTRS
 451 _mm512_mask_blend_epi16 (__mmask32 __U, __m512i __A, __m512i __W)
 452 {
 453   return (__m512i) __builtin_ia32_selectw_512 ((__mmask32) __U,
 454               (__v32hi) __W,
 455               (__v32hi) __A);
 456 }
 457
 458 static __inline__ __m512i __DEFAULT_FN_ATTRS
 459 _mm512_abs_epi8 (__m512i __A)
 460 {
 461   return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A,
 462               (__v64qi) _mm512_setzero_qi(),
 463               (__mmask64) -1);
 464 }
 465
 466 static __inline__ __m512i __DEFAULT_FN_ATTRS
 467 _mm512_mask_abs_epi8 (__m512i __W, __mmask64 __U, __m512i __A)
 468 {
 469   return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A,
 470               (__v64qi) __W,
 471               (__mmask64) __U);
 472 }
 473
 474 static __inline__ __m512i __DEFAULT_FN_ATTRS
 475 _mm512_maskz_abs_epi8 (__mmask64 __U, __m512i __A)
 476 {
 477   return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A,
 478               (__v64qi) _mm512_setzero_qi(),
 479               (__mmask64) __U);
 480 }
 481
 482 static __inline__ __m512i __DEFAULT_FN_ATTRS
 483 _mm512_abs_epi16 (__m512i __A)
 484 {
 485   return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A,
 486               (__v32hi) _mm512_setzero_hi(),
 487               (__mmask32) -1);
 488 }
 489
 490 static __inline__ __m512i __DEFAULT_FN_ATTRS
 491 _mm512_mask_abs_epi16 (__m512i __W, __mmask32 __U, __m512i __A)
 492 {
 493   return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A,
 494               (__v32hi) __W,
 495               (__mmask32) __U);
 496 }
 497
 498 static __inline__ __m512i __DEFAULT_FN_ATTRS
 499 _mm512_maskz_abs_epi16 (__mmask32 __U, __m512i __A)
 500 {
 501   return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A,
 502               (__v32hi) _mm512_setzero_hi(),
 503               (__mmask32) __U);
 504 }
 505
 506 static __inline__ __m512i __DEFAULT_FN_ATTRS
 507 _mm512_packs_epi32(__m512i __A, __m512i __B)
 508 {
 509   return (__m512i)__builtin_ia32_packssdw512((__v16si)__A, (__v16si)__B);
 510 }
 511
 512 static __inline__ __m512i __DEFAULT_FN_ATTRS
 513 _mm512_maskz_packs_epi32(__mmask32 __M, __m512i __A, __m512i __B)
 514 {
 515   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__M,
 516                                        (__v32hi)_mm512_packs_epi32(__A, __B),
 517                                        (__v32hi)_mm512_setzero_hi());
 518 }
 519
 520 static __inline__ __m512i __DEFAULT_FN_ATTRS
 521 _mm512_mask_packs_epi32(__m512i __W, __mmask32 __M, __m512i __A, __m512i __B)
 522 {
 523   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__M,
 524                                        (__v32hi)_mm512_packs_epi32(__A, __B),
 525                                        (__v32hi)__W);
 526 }
 527
 528 static __inline__ __m512i __DEFAULT_FN_ATTRS
 529 _mm512_packs_epi16(__m512i __A, __m512i __B)
 530 {
 531   return (__m512i)__builtin_ia32_packsswb512((__v32hi)__A, (__v32hi) __B);
 532 }
 533
 534 static __inline__ __m512i __DEFAULT_FN_ATTRS
 535 _mm512_mask_packs_epi16(__m512i __W, __mmask64 __M, __m512i __A, __m512i __B)
 536 {
 537   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__M,
 538                                         (__v64qi)_mm512_packs_epi16(__A, __B),
 539                                         (__v64qi)__W);
 540 }
 541
 542 static __inline__ __m512i __DEFAULT_FN_ATTRS
 543 _mm512_maskz_packs_epi16(__mmask64 __M, __m512i __A, __m512i __B)
 544 {
 545   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__M,
 546                                         (__v64qi)_mm512_packs_epi16(__A, __B),
 547                                         (__v64qi)_mm512_setzero_qi());
 548 }
 549
 550 static __inline__ __m512i __DEFAULT_FN_ATTRS
 551 _mm512_packus_epi32(__m512i __A, __m512i __B)
 552 {
 553   return (__m512i)__builtin_ia32_packusdw512((__v16si) __A, (__v16si) __B);
 554 }
 555
 556 static __inline__ __m512i __DEFAULT_FN_ATTRS
 557 _mm512_maskz_packus_epi32(__mmask32 __M, __m512i __A, __m512i __B)
 558 {
 559   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__M,
 560                                        (__v32hi)_mm512_packus_epi32(__A, __B),
 561                                        (__v32hi)_mm512_setzero_hi());
 562 }
 563
 564 static __inline__ __m512i __DEFAULT_FN_ATTRS
 565 _mm512_mask_packus_epi32(__m512i __W, __mmask32 __M, __m512i __A, __m512i __B)
 566 {
 567   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__M,
 568                                        (__v32hi)_mm512_packus_epi32(__A, __B),
 569                                        (__v32hi)__W);
 570 }
 571
 572 static __inline__ __m512i __DEFAULT_FN_ATTRS
 573 _mm512_packus_epi16(__m512i __A, __m512i __B)
 574 {
 575   return (__m512i)__builtin_ia32_packuswb512((__v32hi) __A, (__v32hi) __B);
 576 }
 577
 578 static __inline__ __m512i __DEFAULT_FN_ATTRS
 579 _mm512_mask_packus_epi16(__m512i __W, __mmask64 __M, __m512i __A, __m512i __B)
 580 {
 581   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__M,
 582                                         (__v64qi)_mm512_packus_epi16(__A, __B),
 583                                         (__v64qi)__W);
 584 }
 585
 586 static __inline__ __m512i __DEFAULT_FN_ATTRS
 587 _mm512_maskz_packus_epi16(__mmask64 __M, __m512i __A, __m512i __B)
 588 {
 589   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__M,
 590                                         (__v64qi)_mm512_packus_epi16(__A, __B),
 591                                         (__v64qi)_mm512_setzero_qi());
 592 }
 593
 594 static __inline__ __m512i __DEFAULT_FN_ATTRS
 595 _mm512_adds_epi8 (__m512i __A, __m512i __B)
 596 {
 597   return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A,
 598               (__v64qi) __B,
 599               (__v64qi) _mm512_setzero_qi(),
 600               (__mmask64) -1);
 601 }
 602
 603 static __inline__ __m512i __DEFAULT_FN_ATTRS
 604 _mm512_mask_adds_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
 605            __m512i __B)
 606 {
 607   return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A,
 608               (__v64qi) __B,
 609               (__v64qi) __W,
 610               (__mmask64) __U);
 611 }
 612
 613 static __inline__ __m512i __DEFAULT_FN_ATTRS
 614 _mm512_maskz_adds_epi8 (__mmask64 __U, __m512i __A, __m512i __B)
 615 {
 616   return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A,
 617               (__v64qi) __B,
 618               (__v64qi) _mm512_setzero_qi(),
 619               (__mmask64) __U);
 620 }
 621
 622 static __inline__ __m512i __DEFAULT_FN_ATTRS
 623 _mm512_adds_epi16 (__m512i __A, __m512i __B)
 624 {
 625   return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A,
 626               (__v32hi) __B,
 627               (__v32hi) _mm512_setzero_hi(),
 628               (__mmask32) -1);
 629 }
 630
 631 static __inline__ __m512i __DEFAULT_FN_ATTRS
 632 _mm512_mask_adds_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
 633       __m512i __B)
 634 {
 635   return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A,
 636               (__v32hi) __B,
 637               (__v32hi) __W,
 638               (__mmask32) __U);
 639 }
 640
 641 static __inline__ __m512i __DEFAULT_FN_ATTRS
 642 _mm512_maskz_adds_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
 643 {
 644   return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A,
 645               (__v32hi) __B,
 646               (__v32hi) _mm512_setzero_hi(),
 647               (__mmask32) __U);
 648 }
 649
 650 static __inline__ __m512i __DEFAULT_FN_ATTRS
 651 _mm512_adds_epu8 (__m512i __A, __m512i __B)
 652 {
 653   return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A,
 654               (__v64qi) __B,
 655               (__v64qi) _mm512_setzero_qi(),
 656               (__mmask64) -1);
 657 }
 658
 659 static __inline__ __m512i __DEFAULT_FN_ATTRS
 660 _mm512_mask_adds_epu8 (__m512i __W, __mmask64 __U, __m512i __A,
 661            __m512i __B)
 662 {
 663   return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A,
 664               (__v64qi) __B,
 665               (__v64qi) __W,
 666               (__mmask64) __U);
 667 }
 668
 669 static __inline__ __m512i __DEFAULT_FN_ATTRS
 670 _mm512_maskz_adds_epu8 (__mmask64 __U, __m512i __A, __m512i __B)
 671 {
 672   return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A,
 673               (__v64qi) __B,
 674               (__v64qi) _mm512_setzero_qi(),
 675               (__mmask64) __U);
 676 }
 677
 678 static __inline__ __m512i __DEFAULT_FN_ATTRS
 679 _mm512_adds_epu16 (__m512i __A, __m512i __B)
 680 {
 681   return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A,
 682               (__v32hi) __B,
 683               (__v32hi) _mm512_setzero_hi(),
 684               (__mmask32) -1);
 685 }
 686
 687 static __inline__ __m512i __DEFAULT_FN_ATTRS
 688 _mm512_mask_adds_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
 689       __m512i __B)
 690 {
 691   return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A,
 692               (__v32hi) __B,
 693               (__v32hi) __W,
 694               (__mmask32) __U);
 695 }
 696
 697 static __inline__ __m512i __DEFAULT_FN_ATTRS
 698 _mm512_maskz_adds_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
 699 {
 700   return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A,
 701               (__v32hi) __B,
 702               (__v32hi) _mm512_setzero_hi(),
 703               (__mmask32) __U);
 704 }
 705
 706 static __inline__ __m512i __DEFAULT_FN_ATTRS
 707 _mm512_avg_epu8 (__m512i __A, __m512i __B)
 708 {
 709   return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A,
 710               (__v64qi) __B,
 711               (__v64qi) _mm512_setzero_qi(),
 712               (__mmask64) -1);
 713 }
 714
 715 static __inline__ __m512i __DEFAULT_FN_ATTRS
 716 _mm512_mask_avg_epu8 (__m512i __W, __mmask64 __U, __m512i __A,
 717           __m512i __B)
 718 {
 719   return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A,
 720               (__v64qi) __B,
 721               (__v64qi) __W,
 722               (__mmask64) __U);
 723 }
 724
 725 static __inline__ __m512i __DEFAULT_FN_ATTRS
 726 _mm512_maskz_avg_epu8 (__mmask64 __U, __m512i __A, __m512i __B)
 727 {
 728   return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A,
 729               (__v64qi) __B,
 730               (__v64qi) _mm512_setzero_qi(),
 731               (__mmask64) __U);
 732 }
 733
 734 static __inline__ __m512i __DEFAULT_FN_ATTRS
 735 _mm512_avg_epu16 (__m512i __A, __m512i __B)
 736 {
 737   return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A,
 738               (__v32hi) __B,
 739               (__v32hi) _mm512_setzero_hi(),
 740               (__mmask32) -1);
 741 }
 742
 743 static __inline__ __m512i __DEFAULT_FN_ATTRS
 744 _mm512_mask_avg_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
 745            __m512i __B)
 746 {
 747   return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A,
 748               (__v32hi) __B,
 749               (__v32hi) __W,
 750               (__mmask32) __U);
 751 }
 752
 753 static __inline__ __m512i __DEFAULT_FN_ATTRS
 754 _mm512_maskz_avg_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
 755 {
 756   return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A,
 757               (__v32hi) __B,
 758               (__v32hi) _mm512_setzero_hi(),
 759               (__mmask32) __U);
 760 }
 761
 762 static __inline__ __m512i __DEFAULT_FN_ATTRS
 763 _mm512_max_epi8 (__m512i __A, __m512i __B)
 764 {
 765   return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A,
 766               (__v64qi) __B,
 767               (__v64qi) _mm512_setzero_qi(),
 768               (__mmask64) -1);
 769 }
 770
 771 static __inline__ __m512i __DEFAULT_FN_ATTRS
 772 _mm512_maskz_max_epi8 (__mmask64 __M, __m512i __A, __m512i __B)
 773 {
 774   return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A,
 775               (__v64qi) __B,
 776               (__v64qi) _mm512_setzero_qi(),
 777               (__mmask64) __M);
 778 }
 779
 780 static __inline__ __m512i __DEFAULT_FN_ATTRS
 781 _mm512_mask_max_epi8 (__m512i __W, __mmask64 __M, __m512i __A,
 782           __m512i __B)
 783 {
 784   return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A,
 785               (__v64qi) __B,
 786               (__v64qi) __W,
 787               (__mmask64) __M);
 788 }
 789
 790 static __inline__ __m512i __DEFAULT_FN_ATTRS
 791 _mm512_max_epi16 (__m512i __A, __m512i __B)
 792 {
 793   return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A,
 794               (__v32hi) __B,
 795               (__v32hi) _mm512_setzero_hi(),
 796               (__mmask32) -1);
 797 }
 798
 799 static __inline__ __m512i __DEFAULT_FN_ATTRS
 800 _mm512_maskz_max_epi16 (__mmask32 __M, __m512i __A, __m512i __B)
 801 {
 802   return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A,
 803               (__v32hi) __B,
 804               (__v32hi) _mm512_setzero_hi(),
 805               (__mmask32) __M);
 806 }
 807
 808 static __inline__ __m512i __DEFAULT_FN_ATTRS
 809 _mm512_mask_max_epi16 (__m512i __W, __mmask32 __M, __m512i __A,
 810            __m512i __B)
 811 {
 812   return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A,
 813               (__v32hi) __B,
 814               (__v32hi) __W,
 815               (__mmask32) __M);
 816 }
 817
 818 static __inline__ __m512i __DEFAULT_FN_ATTRS
 819 _mm512_max_epu8 (__m512i __A, __m512i __B)
 820 {
 821   return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A,
 822               (__v64qi) __B,
 823               (__v64qi) _mm512_setzero_qi(),
 824               (__mmask64) -1);
 825 }
 826
 827 static __inline__ __m512i __DEFAULT_FN_ATTRS
 828 _mm512_maskz_max_epu8 (__mmask64 __M, __m512i __A, __m512i __B)
 829 {
 830   return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A,
 831               (__v64qi) __B,
 832               (__v64qi) _mm512_setzero_qi(),
 833               (__mmask64) __M);
 834 }
 835
 836 static __inline__ __m512i __DEFAULT_FN_ATTRS
 837 _mm512_mask_max_epu8 (__m512i __W, __mmask64 __M, __m512i __A,
 838           __m512i __B)
 839 {
 840   return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A,
 841               (__v64qi) __B,
 842               (__v64qi) __W,
 843               (__mmask64) __M);
 844 }
 845
 846 static __inline__ __m512i __DEFAULT_FN_ATTRS
 847 _mm512_max_epu16 (__m512i __A, __m512i __B)
 848 {
 849   return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A,
 850               (__v32hi) __B,
 851               (__v32hi) _mm512_setzero_hi(),
 852               (__mmask32) -1);
 853 }
 854
 855 static __inline__ __m512i __DEFAULT_FN_ATTRS
 856 _mm512_maskz_max_epu16 (__mmask32 __M, __m512i __A, __m512i __B)
 857 {
 858   return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A,
 859               (__v32hi) __B,
 860               (__v32hi) _mm512_setzero_hi(),
 861               (__mmask32) __M);
 862 }
 863
 864 static __inline__ __m512i __DEFAULT_FN_ATTRS
 865 _mm512_mask_max_epu16 (__m512i __W, __mmask32 __M, __m512i __A,
 866            __m512i __B)
 867 {
 868   return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A,
 869               (__v32hi) __B,
 870               (__v32hi) __W,
 871               (__mmask32) __M);
 872 }
 873
 874 static __inline__ __m512i __DEFAULT_FN_ATTRS
 875 _mm512_min_epi8 (__m512i __A, __m512i __B)
 876 {
 877   return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A,
 878               (__v64qi) __B,
 879               (__v64qi) _mm512_setzero_qi(),
 880               (__mmask64) -1);
 881 }
 882
 883 static __inline__ __m512i __DEFAULT_FN_ATTRS
 884 _mm512_maskz_min_epi8 (__mmask64 __M, __m512i __A, __m512i __B)
 885 {
 886   return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A,
 887               (__v64qi) __B,
 888               (__v64qi) _mm512_setzero_qi(),
 889               (__mmask64) __M);
 890 }
 891
 892 static __inline__ __m512i __DEFAULT_FN_ATTRS
 893 _mm512_mask_min_epi8 (__m512i __W, __mmask64 __M, __m512i __A,
 894           __m512i __B)
 895 {
 896   return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A,
 897               (__v64qi) __B,
 898               (__v64qi) __W,
 899               (__mmask64) __M);
 900 }
 901
 902 static __inline__ __m512i __DEFAULT_FN_ATTRS
 903 _mm512_min_epi16 (__m512i __A, __m512i __B)
 904 {
 905   return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A,
 906               (__v32hi) __B,
 907               (__v32hi) _mm512_setzero_hi(),
 908               (__mmask32) -1);
 909 }
 910
 911 static __inline__ __m512i __DEFAULT_FN_ATTRS
 912 _mm512_maskz_min_epi16 (__mmask32 __M, __m512i __A, __m512i __B)
 913 {
 914   return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A,
 915               (__v32hi) __B,
 916               (__v32hi) _mm512_setzero_hi(),
 917               (__mmask32) __M);
 918 }
 919
 920 static __inline__ __m512i __DEFAULT_FN_ATTRS
 921 _mm512_mask_min_epi16 (__m512i __W, __mmask32 __M, __m512i __A,
 922            __m512i __B)
 923 {
 924   return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A,
 925               (__v32hi) __B,
 926               (__v32hi) __W,
 927               (__mmask32) __M);
 928 }
 929
 930 static __inline__ __m512i __DEFAULT_FN_ATTRS
 931 _mm512_min_epu8 (__m512i __A, __m512i __B)
 932 {
 933   return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A,
 934               (__v64qi) __B,
 935               (__v64qi) _mm512_setzero_qi(),
 936               (__mmask64) -1);
 937 }
 938
 939 static __inline__ __m512i __DEFAULT_FN_ATTRS
 940 _mm512_maskz_min_epu8 (__mmask64 __M, __m512i __A, __m512i __B)
 941 {
 942   return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A,
 943               (__v64qi) __B,
 944               (__v64qi) _mm512_setzero_qi(),
 945               (__mmask64) __M);
 946 }
 947
 948 static __inline__ __m512i __DEFAULT_FN_ATTRS
 949 _mm512_mask_min_epu8 (__m512i __W, __mmask64 __M, __m512i __A,
 950           __m512i __B)
 951 {
 952   return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A,
 953               (__v64qi) __B,
 954               (__v64qi) __W,
 955               (__mmask64) __M);
 956 }
 957
 958 static __inline__ __m512i __DEFAULT_FN_ATTRS
 959 _mm512_min_epu16 (__m512i __A, __m512i __B)
 960 {
 961   return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A,
 962               (__v32hi) __B,
 963               (__v32hi) _mm512_setzero_hi(),
 964               (__mmask32) -1);
 965 }
 966
 967 static __inline__ __m512i __DEFAULT_FN_ATTRS
 968 _mm512_maskz_min_epu16 (__mmask32 __M, __m512i __A, __m512i __B)
 969 {
 970   return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A,
 971               (__v32hi) __B,
 972               (__v32hi) _mm512_setzero_hi(),
 973               (__mmask32) __M);
 974 }
 975
 976 static __inline__ __m512i __DEFAULT_FN_ATTRS
 977 _mm512_mask_min_epu16 (__m512i __W, __mmask32 __M, __m512i __A,
 978            __m512i __B)
 979 {
 980   return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A,
 981               (__v32hi) __B,
 982               (__v32hi) __W,
 983               (__mmask32) __M);
 984 }
 985
 986 static __inline__ __m512i __DEFAULT_FN_ATTRS
 987 _mm512_shuffle_epi8(__m512i __A, __m512i __B)
 988 {
 989   return (__m512i)__builtin_ia32_pshufb512((__v64qi)__A,(__v64qi)__B);
 990 }
 991
 992 static __inline__ __m512i __DEFAULT_FN_ATTRS
 993 _mm512_mask_shuffle_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B)
 994 {
 995   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
 996                                          (__v64qi)_mm512_shuffle_epi8(__A, __B),
 997                                          (__v64qi)__W);
 998 }
 999
1000 static __inline__ __m512i __DEFAULT_FN_ATTRS
1001 _mm512_maskz_shuffle_epi8(__mmask64 __U, __m512i __A, __m512i __B)
1002 {
1003   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1004                                          (__v64qi)_mm512_shuffle_epi8(__A, __B),
1005                                          (__v64qi)_mm512_setzero_qi());
1006 }
1007
1008 static __inline__ __m512i __DEFAULT_FN_ATTRS
1009 _mm512_subs_epi8 (__m512i __A, __m512i __B)
1010 {
1011   return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A,
1012               (__v64qi) __B,
1013               (__v64qi) _mm512_setzero_qi(),
1014               (__mmask64) -1);
1015 }
1016
1017 static __inline__ __m512i __DEFAULT_FN_ATTRS
1018 _mm512_mask_subs_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
1019            __m512i __B)
1020 {
1021   return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A,
1022               (__v64qi) __B,
1023               (__v64qi) __W,
1024               (__mmask64) __U);
1025 }
1026
1027 static __inline__ __m512i __DEFAULT_FN_ATTRS
1028 _mm512_maskz_subs_epi8 (__mmask64 __U, __m512i __A, __m512i __B)
1029 {
1030   return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A,
1031               (__v64qi) __B,
1032               (__v64qi) _mm512_setzero_qi(),
1033               (__mmask64) __U);
1034 }
1035
1036 static __inline__ __m512i __DEFAULT_FN_ATTRS
1037 _mm512_subs_epi16 (__m512i __A, __m512i __B)
1038 {
1039   return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A,
1040               (__v32hi) __B,
1041               (__v32hi) _mm512_setzero_hi(),
1042               (__mmask32) -1);
1043 }
1044
1045 static __inline__ __m512i __DEFAULT_FN_ATTRS
1046 _mm512_mask_subs_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1047       __m512i __B)
1048 {
1049   return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A,
1050               (__v32hi) __B,
1051               (__v32hi) __W,
1052               (__mmask32) __U);
1053 }
1054
1055 static __inline__ __m512i __DEFAULT_FN_ATTRS
1056 _mm512_maskz_subs_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1057 {
1058   return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A,
1059               (__v32hi) __B,
1060               (__v32hi) _mm512_setzero_hi(),
1061               (__mmask32) __U);
1062 }
1063
1064 static __inline__ __m512i __DEFAULT_FN_ATTRS
1065 _mm512_subs_epu8 (__m512i __A, __m512i __B)
1066 {
1067   return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A,
1068               (__v64qi) __B,
1069               (__v64qi) _mm512_setzero_qi(),
1070               (__mmask64) -1);
1071 }
1072
1073 static __inline__ __m512i __DEFAULT_FN_ATTRS
1074 _mm512_mask_subs_epu8 (__m512i __W, __mmask64 __U, __m512i __A,
1075            __m512i __B)
1076 {
1077   return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A,
1078               (__v64qi) __B,
1079               (__v64qi) __W,
1080               (__mmask64) __U);
1081 }
1082
1083 static __inline__ __m512i __DEFAULT_FN_ATTRS
1084 _mm512_maskz_subs_epu8 (__mmask64 __U, __m512i __A, __m512i __B)
1085 {
1086   return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A,
1087               (__v64qi) __B,
1088               (__v64qi) _mm512_setzero_qi(),
1089               (__mmask64) __U);
1090 }
1091
1092 static __inline__ __m512i __DEFAULT_FN_ATTRS
1093 _mm512_subs_epu16 (__m512i __A, __m512i __B)
1094 {
1095   return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A,
1096               (__v32hi) __B,
1097               (__v32hi) _mm512_setzero_hi(),
1098               (__mmask32) -1);
1099 }
1100
1101 static __inline__ __m512i __DEFAULT_FN_ATTRS
1102 _mm512_mask_subs_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
1103       __m512i __B)
1104 {
1105   return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A,
1106               (__v32hi) __B,
1107               (__v32hi) __W,
1108               (__mmask32) __U);
1109 }
1110
1111 static __inline__ __m512i __DEFAULT_FN_ATTRS
1112 _mm512_maskz_subs_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
1113 {
1114   return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A,
1115               (__v32hi) __B,
1116               (__v32hi) _mm512_setzero_hi(),
1117               (__mmask32) __U);
1118 }
1119
1120 static __inline__ __m512i __DEFAULT_FN_ATTRS
1121 _mm512_mask2_permutex2var_epi16 (__m512i __A, __m512i __I,
1122          __mmask32 __U, __m512i __B)
1123 {
1124   return (__m512i) __builtin_ia32_vpermi2varhi512_mask ((__v32hi) __A,
1125               (__v32hi) __I /* idx */ ,
1126               (__v32hi) __B,
1127               (__mmask32) __U);
1128 }
1129
1130 static __inline__ __m512i __DEFAULT_FN_ATTRS
1131 _mm512_permutex2var_epi16 (__m512i __A, __m512i __I, __m512i __B)
1132 {
1133   return (__m512i) __builtin_ia32_vpermt2varhi512_mask ((__v32hi) __I /* idx */,
1134               (__v32hi) __A,
1135               (__v32hi) __B,
1136               (__mmask32) -1);
1137 }
1138
1139 static __inline__ __m512i __DEFAULT_FN_ATTRS
1140 _mm512_mask_permutex2var_epi16 (__m512i __A, __mmask32 __U,
1141         __m512i __I, __m512i __B)
1142 {
1143   return (__m512i) __builtin_ia32_vpermt2varhi512_mask ((__v32hi) __I /* idx */,
1144               (__v32hi) __A,
1145               (__v32hi) __B,
1146               (__mmask32) __U);
1147 }
1148
1149 static __inline__ __m512i __DEFAULT_FN_ATTRS
1150 _mm512_maskz_permutex2var_epi16 (__mmask32 __U, __m512i __A,
1151          __m512i __I, __m512i __B)
1152 {
1153   return (__m512i) __builtin_ia32_vpermt2varhi512_maskz ((__v32hi) __I
1154               /* idx */ ,
1155               (__v32hi) __A,
1156               (__v32hi) __B,
1157               (__mmask32) __U);
1158 }
1159
1160 static __inline__ __m512i __DEFAULT_FN_ATTRS
1161 _mm512_mulhrs_epi16 (__m512i __A, __m512i __B)
1162 {
1163   return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A,
1164                 (__v32hi) __B,
1165                 (__v32hi) _mm512_setzero_hi(),
1166                 (__mmask32) -1);
1167 }
1168
1169 static __inline__ __m512i __DEFAULT_FN_ATTRS
1170 _mm512_mask_mulhrs_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1171         __m512i __B)
1172 {
1173   return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A,
1174                 (__v32hi) __B,
1175                 (__v32hi) __W,
1176                 (__mmask32) __U);
1177 }
1178
1179 static __inline__ __m512i __DEFAULT_FN_ATTRS
1180 _mm512_maskz_mulhrs_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1181 {
1182   return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A,
1183                 (__v32hi) __B,
1184                 (__v32hi) _mm512_setzero_hi(),
1185                 (__mmask32) __U);
1186 }
1187
1188 static __inline__ __m512i __DEFAULT_FN_ATTRS
1189 _mm512_mulhi_epi16 (__m512i __A, __m512i __B)
1190 {
1191   return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A,
1192               (__v32hi) __B,
1193               (__v32hi) _mm512_setzero_hi(),
1194               (__mmask32) -1);
1195 }
1196
1197 static __inline__ __m512i __DEFAULT_FN_ATTRS
1198 _mm512_mask_mulhi_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1199        __m512i __B)
1200 {
1201   return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A,
1202               (__v32hi) __B,
1203               (__v32hi) __W,
1204               (__mmask32) __U);
1205 }
1206
1207 static __inline__ __m512i __DEFAULT_FN_ATTRS
1208 _mm512_maskz_mulhi_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1209 {
1210   return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A,
1211               (__v32hi) __B,
1212               (__v32hi) _mm512_setzero_hi(),
1213               (__mmask32) __U);
1214 }
1215
1216 static __inline__ __m512i __DEFAULT_FN_ATTRS
1217 _mm512_mulhi_epu16 (__m512i __A, __m512i __B)
1218 {
1219   return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A,
1220                (__v32hi) __B,
1221                (__v32hi) _mm512_setzero_hi(),
1222                (__mmask32) -1);
1223 }
1224
1225 static __inline__ __m512i __DEFAULT_FN_ATTRS
1226 _mm512_mask_mulhi_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
1227        __m512i __B)
1228 {
1229   return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A,
1230                (__v32hi) __B,
1231                (__v32hi) __W,
1232                (__mmask32) __U);
1233 }
1234
1235 static __inline__ __m512i __DEFAULT_FN_ATTRS
1236 _mm512_maskz_mulhi_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
1237 {
1238   return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A,
1239                (__v32hi) __B,
1240                (__v32hi) _mm512_setzero_hi(),
1241                (__mmask32) __U);
1242 }
1243
1244 static __inline__ __m512i __DEFAULT_FN_ATTRS
1245 _mm512_maddubs_epi16 (__m512i __X, __m512i __Y) {
1246   return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X,
1247                  (__v64qi) __Y,
1248                  (__v32hi) _mm512_setzero_hi(),
1249                  (__mmask32) -1);
1250 }
1251
1252 static __inline__ __m512i __DEFAULT_FN_ATTRS
1253 _mm512_mask_maddubs_epi16 (__m512i __W, __mmask32 __U, __m512i __X,
1254          __m512i __Y) {
1255   return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X,
1256                  (__v64qi) __Y,
1257                  (__v32hi) __W,
1258                  (__mmask32) __U);
1259 }
1260
1261 static __inline__ __m512i __DEFAULT_FN_ATTRS
1262 _mm512_maskz_maddubs_epi16 (__mmask32 __U, __m512i __X, __m512i __Y) {
1263   return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X,
1264                  (__v64qi) __Y,
1265                  (__v32hi) _mm512_setzero_hi(),
1266                  (__mmask32) __U);
1267 }
1268
1269 static __inline__ __m512i __DEFAULT_FN_ATTRS
1270 _mm512_madd_epi16 (__m512i __A, __m512i __B) {
1271   return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A,
1272                (__v32hi) __B,
1273                (__v16si) _mm512_setzero_si512(),
1274                (__mmask16) -1);
1275 }
1276
1277 static __inline__ __m512i __DEFAULT_FN_ATTRS
1278 _mm512_mask_madd_epi16 (__m512i __W, __mmask16 __U, __m512i __A,
1279       __m512i __B) {
1280   return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A,
1281                (__v32hi) __B,
1282                (__v16si) __W,
1283                (__mmask16) __U);
1284 }
1285
1286 static __inline__ __m512i __DEFAULT_FN_ATTRS
1287 _mm512_maskz_madd_epi16 (__mmask16 __U, __m512i __A, __m512i __B) {
1288   return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A,
1289                (__v32hi) __B,
1290                (__v16si) _mm512_setzero_si512(),
1291                (__mmask16) __U);
1292 }
1293
1294 static __inline__ __m256i __DEFAULT_FN_ATTRS
1295 _mm512_cvtsepi16_epi8 (__m512i __A) {
1296   return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
1297                (__v32qi)_mm256_setzero_si256(),
1298                (__mmask32) -1);
1299 }
1300
1301 static __inline__ __m256i __DEFAULT_FN_ATTRS
1302 _mm512_mask_cvtsepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
1303   return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
1304                (__v32qi)__O,
1305                __M);
1306 }
1307
1308 static __inline__ __m256i __DEFAULT_FN_ATTRS
1309 _mm512_maskz_cvtsepi16_epi8 (__mmask32 __M, __m512i __A) {
1310   return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
1311                (__v32qi) _mm256_setzero_si256(),
1312                __M);
1313 }
1314
1315 static __inline__ __m256i __DEFAULT_FN_ATTRS
1316 _mm512_cvtusepi16_epi8 (__m512i __A) {
1317   return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
1318                 (__v32qi) _mm256_setzero_si256(),
1319                 (__mmask32) -1);
1320 }
1321
1322 static __inline__ __m256i __DEFAULT_FN_ATTRS
1323 _mm512_mask_cvtusepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
1324   return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
1325                 (__v32qi) __O,
1326                 __M);
1327 }
1328
1329 static __inline__ __m256i __DEFAULT_FN_ATTRS
1330 _mm512_maskz_cvtusepi16_epi8 (__mmask32 __M, __m512i __A) {
1331   return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
1332                 (__v32qi) _mm256_setzero_si256(),
1333                 __M);
1334 }
1335
1336 static __inline__ __m256i __DEFAULT_FN_ATTRS
1337 _mm512_cvtepi16_epi8 (__m512i __A) {
1338   return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
1339               (__v32qi) _mm256_setzero_si256(),
1340               (__mmask32) -1);
1341 }
1342
1343 static __inline__ __m256i __DEFAULT_FN_ATTRS
1344 _mm512_mask_cvtepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
1345   return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
1346               (__v32qi) __O,
1347               __M);
1348 }
1349
1350 static __inline__ __m256i __DEFAULT_FN_ATTRS
1351 _mm512_maskz_cvtepi16_epi8 (__mmask32 __M, __m512i __A) {
1352   return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
1353               (__v32qi) _mm256_setzero_si256(),
1354               __M);
1355 }
1356
1357 static __inline__ void __DEFAULT_FN_ATTRS
1358 _mm512_mask_cvtepi16_storeu_epi8 (void * __P, __mmask32 __M, __m512i __A)
1359 {
1360   __builtin_ia32_pmovwb512mem_mask ((__v32qi *) __P, (__v32hi) __A, __M);
1361 }
1362
1363 static __inline__ void __DEFAULT_FN_ATTRS
1364 _mm512_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask32 __M, __m512i __A)
1365 {
1366   __builtin_ia32_pmovswb512mem_mask ((__v32qi *) __P, (__v32hi) __A, __M);
1367 }
1368
1369 static __inline__ void __DEFAULT_FN_ATTRS
1370 _mm512_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask32 __M, __m512i __A)
1371 {
1372   __builtin_ia32_pmovuswb512mem_mask ((__v32qi *) __P, (__v32hi) __A, __M);
1373 }
1374
1375 static __inline__ __m512i __DEFAULT_FN_ATTRS
1376 _mm512_unpackhi_epi8(__m512i __A, __m512i __B) {
1377   return (__m512i)__builtin_shufflevector((__v64qi)__A, (__v64qi)__B,
1378                                           8,  64+8,   9, 64+9,
1379                                           10, 64+10, 11, 64+11,
1380                                           12, 64+12, 13, 64+13,
1381                                           14, 64+14, 15, 64+15,
1382                                           24, 64+24, 25, 64+25,
1383                                           26, 64+26, 27, 64+27,
1384                                           28, 64+28, 29, 64+29,
1385                                           30, 64+30, 31, 64+31,
1386                                           40, 64+40, 41, 64+41,
1387                                           42, 64+42, 43, 64+43,
1388                                           44, 64+44, 45, 64+45,
1389                                           46, 64+46, 47, 64+47,
1390                                           56, 64+56, 57, 64+57,
1391                                           58, 64+58, 59, 64+59,
1392                                           60, 64+60, 61, 64+61,
1393                                           62, 64+62, 63, 64+63);
1394 }
1395
1396 static __inline__ __m512i __DEFAULT_FN_ATTRS
1397 _mm512_mask_unpackhi_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
1398   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1399                                         (__v64qi)_mm512_unpackhi_epi8(__A, __B),
1400                                         (__v64qi)__W);
1401 }
1402
1403 static __inline__ __m512i __DEFAULT_FN_ATTRS
1404 _mm512_maskz_unpackhi_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
1405   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1406                                         (__v64qi)_mm512_unpackhi_epi8(__A, __B),
1407                                         (__v64qi)_mm512_setzero_qi());
1408 }
1409
1410 static __inline__ __m512i __DEFAULT_FN_ATTRS
1411 _mm512_unpackhi_epi16(__m512i __A, __m512i __B) {
1412   return (__m512i)__builtin_shufflevector((__v32hi)__A, (__v32hi)__B,
1413                                           4,  32+4,   5, 32+5,
1414                                           6,  32+6,   7, 32+7,
1415                                           12, 32+12, 13, 32+13,
1416                                           14, 32+14, 15, 32+15,
1417                                           20, 32+20, 21, 32+21,
1418                                           22, 32+22, 23, 32+23,
1419                                           28, 32+28, 29, 32+29,
1420                                           30, 32+30, 31, 32+31);
1421 }
1422
1423 static __inline__ __m512i __DEFAULT_FN_ATTRS
1424 _mm512_mask_unpackhi_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
1425   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1426                                        (__v32hi)_mm512_unpackhi_epi16(__A, __B),
1427                                        (__v32hi)__W);
1428 }
1429
1430 static __inline__ __m512i __DEFAULT_FN_ATTRS
1431 _mm512_maskz_unpackhi_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
1432   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1433                                        (__v32hi)_mm512_unpackhi_epi16(__A, __B),
1434                                        (__v32hi)_mm512_setzero_hi());
1435 }
1436
1437 static __inline__ __m512i __DEFAULT_FN_ATTRS
1438 _mm512_unpacklo_epi8(__m512i __A, __m512i __B) {
1439   return (__m512i)__builtin_shufflevector((__v64qi)__A, (__v64qi)__B,
1440                                           0,  64+0,   1, 64+1,
1441                                           2,  64+2,   3, 64+3,
1442                                           4,  64+4,   5, 64+5,
1443                                           6,  64+6,   7, 64+7,
1444                                           16, 64+16, 17, 64+17,
1445                                           18, 64+18, 19, 64+19,
1446                                           20, 64+20, 21, 64+21,
1447                                           22, 64+22, 23, 64+23,
1448                                           32, 64+32, 33, 64+33,
1449                                           34, 64+34, 35, 64+35,
1450                                           36, 64+36, 37, 64+37,
1451                                           38, 64+38, 39, 64+39,
1452                                           48, 64+48, 49, 64+49,
1453                                           50, 64+50, 51, 64+51,
1454                                           52, 64+52, 53, 64+53,
1455                                           54, 64+54, 55, 64+55);
1456 }
1457
1458 static __inline__ __m512i __DEFAULT_FN_ATTRS
1459 _mm512_mask_unpacklo_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
1460   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1461                                         (__v64qi)_mm512_unpacklo_epi8(__A, __B),
1462                                         (__v64qi)__W);
1463 }
1464
1465 static __inline__ __m512i __DEFAULT_FN_ATTRS
1466 _mm512_maskz_unpacklo_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
1467   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1468                                         (__v64qi)_mm512_unpacklo_epi8(__A, __B),
1469                                         (__v64qi)_mm512_setzero_qi());
1470 }
1471
1472 static __inline__ __m512i __DEFAULT_FN_ATTRS
1473 _mm512_unpacklo_epi16(__m512i __A, __m512i __B) {
1474   return (__m512i)__builtin_shufflevector((__v32hi)__A, (__v32hi)__B,
1475                                           0,  32+0,   1, 32+1,
1476                                           2,  32+2,   3, 32+3,
1477                                           8,  32+8,   9, 32+9,
1478                                           10, 32+10, 11, 32+11,
1479                                           16, 32+16, 17, 32+17,
1480                                           18, 32+18, 19, 32+19,
1481                                           24, 32+24, 25, 32+25,
1482                                           26, 32+26, 27, 32+27);
1483 }
1484
1485 static __inline__ __m512i __DEFAULT_FN_ATTRS
1486 _mm512_mask_unpacklo_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
1487   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1488                                        (__v32hi)_mm512_unpacklo_epi16(__A, __B),
1489                                        (__v32hi)__W);
1490 }
1491
1492 static __inline__ __m512i __DEFAULT_FN_ATTRS
1493 _mm512_maskz_unpacklo_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
1494   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1495                                        (__v32hi)_mm512_unpacklo_epi16(__A, __B),
1496                                        (__v32hi)_mm512_setzero_hi());
1497 }
1498
1499 static __inline__ __m512i __DEFAULT_FN_ATTRS
1500 _mm512_cvtepi8_epi16(__m256i __A)
1501 {
1502   /* This function always performs a signed extension, but __v32qi is a char
1503      which may be signed or unsigned, so use __v32qs. */
1504   return (__m512i)__builtin_convertvector((__v32qs)__A, __v32hi);
1505 }
1506
1507 static __inline__ __m512i __DEFAULT_FN_ATTRS
1508 _mm512_mask_cvtepi8_epi16(__m512i __W, __mmask32 __U, __m256i __A)
1509 {
1510   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1511                                              (__v32hi)_mm512_cvtepi8_epi16(__A),
1512                                              (__v32hi)__W);
1513 }
1514
1515 static __inline__ __m512i __DEFAULT_FN_ATTRS
1516 _mm512_maskz_cvtepi8_epi16(__mmask32 __U, __m256i __A)
1517 {
1518   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1519                                              (__v32hi)_mm512_cvtepi8_epi16(__A),
1520                                              (__v32hi)_mm512_setzero_hi());
1521 }
1522
1523 static __inline__ __m512i __DEFAULT_FN_ATTRS
1524 _mm512_cvtepu8_epi16(__m256i __A)
1525 {
1526   return (__m512i)__builtin_convertvector((__v32qu)__A, __v32hi);
1527 }
1528
1529 static __inline__ __m512i __DEFAULT_FN_ATTRS
1530 _mm512_mask_cvtepu8_epi16(__m512i __W, __mmask32 __U, __m256i __A)
1531 {
1532   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1533                                              (__v32hi)_mm512_cvtepu8_epi16(__A),
1534                                              (__v32hi)__W);
1535 }
1536
1537 static __inline__ __m512i __DEFAULT_FN_ATTRS
1538 _mm512_maskz_cvtepu8_epi16(__mmask32 __U, __m256i __A)
1539 {
1540   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1541                                              (__v32hi)_mm512_cvtepu8_epi16(__A),
1542                                              (__v32hi)_mm512_setzero_hi());
1543 }
1544
1545
1546 #define _mm512_cmp_epi8_mask(a, b, p) __extension__ ({ \
1547   (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \
1548                                          (__v64qi)(__m512i)(b), (int)(p), \
1549                                          (__mmask64)-1); })
1550
1551 #define _mm512_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \
1552   (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \
1553                                          (__v64qi)(__m512i)(b), (int)(p), \
1554                                          (__mmask64)(m)); })
1555
1556 #define _mm512_cmp_epu8_mask(a, b, p) __extension__ ({ \
1557   (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)(__m512i)(a), \
1558                                           (__v64qi)(__m512i)(b), (int)(p), \
1559                                           (__mmask64)-1); })
1560
1561 #define _mm512_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \
1562   (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)(__m512i)(a), \
1563                                           (__v64qi)(__m512i)(b), (int)(p), \
1564                                           (__mmask64)(m)); })
1565
1566 #define _mm512_cmp_epi16_mask(a, b, p) __extension__ ({ \
1567   (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)(__m512i)(a), \
1568                                          (__v32hi)(__m512i)(b), (int)(p), \
1569                                          (__mmask32)-1); })
1570
1571 #define _mm512_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \
1572   (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)(__m512i)(a), \
1573                                          (__v32hi)(__m512i)(b), (int)(p), \
1574                                          (__mmask32)(m)); })
1575
1576 #define _mm512_cmp_epu16_mask(a, b, p) __extension__ ({ \
1577   (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)(__m512i)(a), \
1578                                           (__v32hi)(__m512i)(b), (int)(p), \
1579                                           (__mmask32)-1); })
1580
1581 #define _mm512_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \
1582   (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)(__m512i)(a), \
1583                                           (__v32hi)(__m512i)(b), (int)(p), \
1584                                           (__mmask32)(m)); })
1585
1586 #define _mm512_shufflehi_epi16(A, imm) __extension__ ({ \
1587   (__m512i)__builtin_shufflevector((__v32hi)(__m512i)(A), \
1588                                    (__v32hi)_mm512_undefined_epi32(), \
1589                                    0, 1, 2, 3, \
1590                                    4  + (((imm) >> 0) & 0x3), \
1591                                    4  + (((imm) >> 2) & 0x3), \
1592                                    4  + (((imm) >> 4) & 0x3), \
1593                                    4  + (((imm) >> 6) & 0x3), \
1594                                    8, 9, 10, 11, \
1595                                    12 + (((imm) >> 0) & 0x3), \
1596                                    12 + (((imm) >> 2) & 0x3), \
1597                                    12 + (((imm) >> 4) & 0x3), \
1598                                    12 + (((imm) >> 6) & 0x3), \
1599                                    16, 17, 18, 19, \
1600                                    20 + (((imm) >> 0) & 0x3), \
1601                                    20 + (((imm) >> 2) & 0x3), \
1602                                    20 + (((imm) >> 4) & 0x3), \
1603                                    20 + (((imm) >> 6) & 0x3), \
1604                                    24, 25, 26, 27, \
1605                                    28 + (((imm) >> 0) & 0x3), \
1606                                    28 + (((imm) >> 2) & 0x3), \
1607                                    28 + (((imm) >> 4) & 0x3), \
1608                                    28 + (((imm) >> 6) & 0x3)); })
1609
1610 #define _mm512_mask_shufflehi_epi16(W, U, A, imm) __extension__ ({ \
1611   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1612                                       (__v32hi)_mm512_shufflehi_epi16((A), \
1613                                                                       (imm)), \
1614                                       (__v32hi)(__m512i)(W)); })
1615
1616 #define _mm512_maskz_shufflehi_epi16(U, A, imm) __extension__ ({ \
1617   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1618                                       (__v32hi)_mm512_shufflehi_epi16((A), \
1619                                                                       (imm)), \
1620                                       (__v32hi)_mm512_setzero_hi()); })
1621
1622 #define _mm512_shufflelo_epi16(A, imm) __extension__ ({ \
1623   (__m512i)__builtin_shufflevector((__v32hi)(__m512i)(A), \
1624                                    (__v32hi)_mm512_undefined_epi32(), \
1625                                    0 + (((imm) >> 0) & 0x3), \
1626                                    0 + (((imm) >> 2) & 0x3), \
1627                                    0 + (((imm) >> 4) & 0x3), \
1628                                    0 + (((imm) >> 6) & 0x3), \
1629                                    4, 5, 6, 7, \
1630                                    8 + (((imm) >> 0) & 0x3), \
1631                                    8 + (((imm) >> 2) & 0x3), \
1632                                    8 + (((imm) >> 4) & 0x3), \
1633                                    8 + (((imm) >> 6) & 0x3), \
1634                                    12, 13, 14, 15, \
1635                                    16 + (((imm) >> 0) & 0x3), \
1636                                    16 + (((imm) >> 2) & 0x3), \
1637                                    16 + (((imm) >> 4) & 0x3), \
1638                                    16 + (((imm) >> 6) & 0x3), \
1639                                    20, 21, 22, 23, \
1640                                    24 + (((imm) >> 0) & 0x3), \
1641                                    24 + (((imm) >> 2) & 0x3), \
1642                                    24 + (((imm) >> 4) & 0x3), \
1643                                    24 + (((imm) >> 6) & 0x3), \
1644                                    28, 29, 30, 31); })
1645
1646
1647 #define _mm512_mask_shufflelo_epi16(W, U, A, imm) __extension__ ({ \
1648   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1649                                       (__v32hi)_mm512_shufflelo_epi16((A), \
1650                                                                       (imm)), \
1651                                       (__v32hi)(__m512i)(W)); })
1652
1653
1654 #define _mm512_maskz_shufflelo_epi16(U, A, imm) __extension__ ({ \
1655   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1656                                       (__v32hi)_mm512_shufflelo_epi16((A), \
1657                                                                       (imm)), \
1658                                       (__v32hi)_mm512_setzero_hi()); })
1659
1660 static __inline__ __m512i __DEFAULT_FN_ATTRS
1661 _mm512_sllv_epi16(__m512i __A, __m512i __B)
1662 {
1663   return (__m512i)__builtin_ia32_psllv32hi((__v32hi) __A, (__v32hi) __B);
1664 }
1665
1666 static __inline__ __m512i __DEFAULT_FN_ATTRS
1667 _mm512_mask_sllv_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B)
1668 {
1669   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1670                                            (__v32hi)_mm512_sllv_epi16(__A, __B),
1671                                            (__v32hi)__W);
1672 }
1673
1674 static __inline__ __m512i __DEFAULT_FN_ATTRS
1675 _mm512_maskz_sllv_epi16(__mmask32 __U, __m512i __A, __m512i __B)
1676 {
1677   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1678                                            (__v32hi)_mm512_sllv_epi16(__A, __B),
1679                                            (__v32hi)_mm512_setzero_hi());
1680 }
1681
1682 static __inline__ __m512i __DEFAULT_FN_ATTRS
1683 _mm512_sll_epi16(__m512i __A, __m128i __B)
1684 {
1685   return (__m512i)__builtin_ia32_psllw512((__v32hi) __A, (__v8hi) __B);
1686 }
1687
1688 static __inline__ __m512i __DEFAULT_FN_ATTRS
1689 _mm512_mask_sll_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m128i __B)
1690 {
1691   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1692                                           (__v32hi)_mm512_sll_epi16(__A, __B),
1693                                           (__v32hi)__W);
1694 }
1695
1696 static __inline__ __m512i __DEFAULT_FN_ATTRS
1697 _mm512_maskz_sll_epi16(__mmask32 __U, __m512i __A, __m128i __B)
1698 {
1699   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1700                                           (__v32hi)_mm512_sll_epi16(__A, __B),
1701                                           (__v32hi)_mm512_setzero_hi());
1702 }
1703
1704 static __inline__ __m512i __DEFAULT_FN_ATTRS
1705 _mm512_slli_epi16(__m512i __A, int __B)
1706 {
1707   return (__m512i)__builtin_ia32_psllwi512((__v32hi)__A, __B);
1708 }
1709
1710 static __inline__ __m512i __DEFAULT_FN_ATTRS
1711 _mm512_mask_slli_epi16(__m512i __W, __mmask32 __U, __m512i __A, int __B)
1712 {
1713   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1714                                          (__v32hi)_mm512_slli_epi16(__A, __B),
1715                                          (__v32hi)__W);
1716 }
1717
1718 static __inline__ __m512i __DEFAULT_FN_ATTRS
1719 _mm512_maskz_slli_epi16(__mmask32 __U, __m512i __A, int __B)
1720 {
1721   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1722                                          (__v32hi)_mm512_slli_epi16(__A, __B),
1723                                          (__v32hi)_mm512_setzero_hi());
1724 }
1725
1726 #define _mm512_bslli_epi128(a, imm) __extension__ ({ \
1727   (__m512i)__builtin_shufflevector(                                          \
1728        (__v64qi)_mm512_setzero_si512(),                                      \
1729        (__v64qi)(__m512i)(a),                                                \
1730        ((char)(imm)&0xF0) ?  0 : ((char)(imm)>0x0 ? 16 :  64) - (char)(imm), \
1731        ((char)(imm)&0xF0) ?  1 : ((char)(imm)>0x1 ? 17 :  65) - (char)(imm), \
1732        ((char)(imm)&0xF0) ?  2 : ((char)(imm)>0x2 ? 18 :  66) - (char)(imm), \
1733        ((char)(imm)&0xF0) ?  3 : ((char)(imm)>0x3 ? 19 :  67) - (char)(imm), \
1734        ((char)(imm)&0xF0) ?  4 : ((char)(imm)>0x4 ? 20 :  68) - (char)(imm), \
1735        ((char)(imm)&0xF0) ?  5 : ((char)(imm)>0x5 ? 21 :  69) - (char)(imm), \
1736        ((char)(imm)&0xF0) ?  6 : ((char)(imm)>0x6 ? 22 :  70) - (char)(imm), \
1737        ((char)(imm)&0xF0) ?  7 : ((char)(imm)>0x7 ? 23 :  71) - (char)(imm), \
1738        ((char)(imm)&0xF0) ?  8 : ((char)(imm)>0x8 ? 24 :  72) - (char)(imm), \
1739        ((char)(imm)&0xF0) ?  9 : ((char)(imm)>0x9 ? 25 :  73) - (char)(imm), \
1740        ((char)(imm)&0xF0) ? 10 : ((char)(imm)>0xA ? 26 :  74) - (char)(imm), \
1741        ((char)(imm)&0xF0) ? 11 : ((char)(imm)>0xB ? 27 :  75) - (char)(imm), \
1742        ((char)(imm)&0xF0) ? 12 : ((char)(imm)>0xC ? 28 :  76) - (char)(imm), \
1743        ((char)(imm)&0xF0) ? 13 : ((char)(imm)>0xD ? 29 :  77) - (char)(imm), \
1744        ((char)(imm)&0xF0) ? 14 : ((char)(imm)>0xE ? 30 :  78) - (char)(imm), \
1745        ((char)(imm)&0xF0) ? 15 : ((char)(imm)>0xF ? 31 :  79) - (char)(imm), \
1746        ((char)(imm)&0xF0) ? 16 : ((char)(imm)>0x0 ? 32 :  80) - (char)(imm), \
1747        ((char)(imm)&0xF0) ? 17 : ((char)(imm)>0x1 ? 33 :  81) - (char)(imm), \
1748        ((char)(imm)&0xF0) ? 18 : ((char)(imm)>0x2 ? 34 :  82) - (char)(imm), \
1749        ((char)(imm)&0xF0) ? 19 : ((char)(imm)>0x3 ? 35 :  83) - (char)(imm), \
1750        ((char)(imm)&0xF0) ? 20 : ((char)(imm)>0x4 ? 36 :  84) - (char)(imm), \
1751        ((char)(imm)&0xF0) ? 21 : ((char)(imm)>0x5 ? 37 :  85) - (char)(imm), \
1752        ((char)(imm)&0xF0) ? 22 : ((char)(imm)>0x6 ? 38 :  86) - (char)(imm), \
1753        ((char)(imm)&0xF0) ? 23 : ((char)(imm)>0x7 ? 39 :  87) - (char)(imm), \
1754        ((char)(imm)&0xF0) ? 24 : ((char)(imm)>0x8 ? 40 :  88) - (char)(imm), \
1755        ((char)(imm)&0xF0) ? 25 : ((char)(imm)>0x9 ? 41 :  89) - (char)(imm), \
1756        ((char)(imm)&0xF0) ? 26 : ((char)(imm)>0xA ? 42 :  90) - (char)(imm), \
1757        ((char)(imm)&0xF0) ? 27 : ((char)(imm)>0xB ? 43 :  91) - (char)(imm), \
1758        ((char)(imm)&0xF0) ? 28 : ((char)(imm)>0xC ? 44 :  92) - (char)(imm), \
1759        ((char)(imm)&0xF0) ? 29 : ((char)(imm)>0xD ? 45 :  93) - (char)(imm), \
1760        ((char)(imm)&0xF0) ? 30 : ((char)(imm)>0xE ? 46 :  94) - (char)(imm), \
1761        ((char)(imm)&0xF0) ? 31 : ((char)(imm)>0xF ? 47 :  95) - (char)(imm), \
1762        ((char)(imm)&0xF0) ? 32 : ((char)(imm)>0x0 ? 48 :  96) - (char)(imm), \
1763        ((char)(imm)&0xF0) ? 33 : ((char)(imm)>0x1 ? 49 :  97) - (char)(imm), \
1764        ((char)(imm)&0xF0) ? 34 : ((char)(imm)>0x2 ? 50 :  98) - (char)(imm), \
1765        ((char)(imm)&0xF0) ? 35 : ((char)(imm)>0x3 ? 51 :  99) - (char)(imm), \
1766        ((char)(imm)&0xF0) ? 36 : ((char)(imm)>0x4 ? 52 : 100) - (char)(imm), \
1767        ((char)(imm)&0xF0) ? 37 : ((char)(imm)>0x5 ? 53 : 101) - (char)(imm), \
1768        ((char)(imm)&0xF0) ? 38 : ((char)(imm)>0x6 ? 54 : 102) - (char)(imm), \
1769        ((char)(imm)&0xF0) ? 39 : ((char)(imm)>0x7 ? 55 : 103) - (char)(imm), \
1770        ((char)(imm)&0xF0) ? 40 : ((char)(imm)>0x8 ? 56 : 104) - (char)(imm), \
1771        ((char)(imm)&0xF0) ? 41 : ((char)(imm)>0x9 ? 57 : 105) - (char)(imm), \
1772        ((char)(imm)&0xF0) ? 42 : ((char)(imm)>0xA ? 58 : 106) - (char)(imm), \
1773        ((char)(imm)&0xF0) ? 43 : ((char)(imm)>0xB ? 59 : 107) - (char)(imm), \
1774        ((char)(imm)&0xF0) ? 44 : ((char)(imm)>0xC ? 60 : 108) - (char)(imm), \
1775        ((char)(imm)&0xF0) ? 45 : ((char)(imm)>0xD ? 61 : 109) - (char)(imm), \
1776        ((char)(imm)&0xF0) ? 46 : ((char)(imm)>0xE ? 62 : 110) - (char)(imm), \
1777        ((char)(imm)&0xF0) ? 47 : ((char)(imm)>0xF ? 63 : 111) - (char)(imm), \
1778        ((char)(imm)&0xF0) ? 48 : ((char)(imm)>0x0 ? 64 : 112) - (char)(imm), \
1779        ((char)(imm)&0xF0) ? 49 : ((char)(imm)>0x1 ? 65 : 113) - (char)(imm), \
1780        ((char)(imm)&0xF0) ? 50 : ((char)(imm)>0x2 ? 66 : 114) - (char)(imm), \
1781        ((char)(imm)&0xF0) ? 51 : ((char)(imm)>0x3 ? 67 : 115) - (char)(imm), \
1782        ((char)(imm)&0xF0) ? 52 : ((char)(imm)>0x4 ? 68 : 116) - (char)(imm), \
1783        ((char)(imm)&0xF0) ? 53 : ((char)(imm)>0x5 ? 69 : 117) - (char)(imm), \
1784        ((char)(imm)&0xF0) ? 54 : ((char)(imm)>0x6 ? 70 : 118) - (char)(imm), \
1785        ((char)(imm)&0xF0) ? 55 : ((char)(imm)>0x7 ? 71 : 119) - (char)(imm), \
1786        ((char)(imm)&0xF0) ? 56 : ((char)(imm)>0x8 ? 72 : 120) - (char)(imm), \
1787        ((char)(imm)&0xF0) ? 57 : ((char)(imm)>0x9 ? 73 : 121) - (char)(imm), \
1788        ((char)(imm)&0xF0) ? 58 : ((char)(imm)>0xA ? 74 : 122) - (char)(imm), \
1789        ((char)(imm)&0xF0) ? 59 : ((char)(imm)>0xB ? 75 : 123) - (char)(imm), \
1790        ((char)(imm)&0xF0) ? 60 : ((char)(imm)>0xC ? 76 : 124) - (char)(imm), \
1791        ((char)(imm)&0xF0) ? 61 : ((char)(imm)>0xD ? 77 : 125) - (char)(imm), \
1792        ((char)(imm)&0xF0) ? 62 : ((char)(imm)>0xE ? 78 : 126) - (char)(imm), \
1793        ((char)(imm)&0xF0) ? 63 : ((char)(imm)>0xF ? 79 : 127) - (char)(imm)); })
1794
1795 static __inline__ __m512i __DEFAULT_FN_ATTRS
1796 _mm512_srlv_epi16(__m512i __A, __m512i __B)
1797 {
1798   return (__m512i)__builtin_ia32_psrlv32hi((__v32hi)__A, (__v32hi)__B);
1799 }
1800
1801 static __inline__ __m512i __DEFAULT_FN_ATTRS
1802 _mm512_mask_srlv_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B)
1803 {
1804   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1805                                            (__v32hi)_mm512_srlv_epi16(__A, __B),
1806                                            (__v32hi)__W);
1807 }
1808
1809 static __inline__ __m512i __DEFAULT_FN_ATTRS
1810 _mm512_maskz_srlv_epi16(__mmask32 __U, __m512i __A, __m512i __B)
1811 {
1812   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1813                                            (__v32hi)_mm512_srlv_epi16(__A, __B),
1814                                            (__v32hi)_mm512_setzero_hi());
1815 }
1816
1817 static __inline__ __m512i __DEFAULT_FN_ATTRS
1818 _mm512_srav_epi16(__m512i __A, __m512i __B)
1819 {
1820   return (__m512i)__builtin_ia32_psrav32hi((__v32hi)__A, (__v32hi)__B);
1821 }
1822
1823 static __inline__ __m512i __DEFAULT_FN_ATTRS
1824 _mm512_mask_srav_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B)
1825 {
1826   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1827                                            (__v32hi)_mm512_srav_epi16(__A, __B),
1828                                            (__v32hi)__W);
1829 }
1830
1831 static __inline__ __m512i __DEFAULT_FN_ATTRS
1832 _mm512_maskz_srav_epi16(__mmask32 __U, __m512i __A, __m512i __B)
1833 {
1834   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1835                                            (__v32hi)_mm512_srav_epi16(__A, __B),
1836                                            (__v32hi)_mm512_setzero_hi());
1837 }
1838
1839 static __inline__ __m512i __DEFAULT_FN_ATTRS
1840 _mm512_sra_epi16(__m512i __A, __m128i __B)
1841 {
1842   return (__m512i)__builtin_ia32_psraw512((__v32hi) __A, (__v8hi) __B);
1843 }
1844
1845 static __inline__ __m512i __DEFAULT_FN_ATTRS
1846 _mm512_mask_sra_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m128i __B)
1847 {
1848   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1849                                           (__v32hi)_mm512_sra_epi16(__A, __B),
1850                                           (__v32hi)__W);
1851 }
1852
1853 static __inline__ __m512i __DEFAULT_FN_ATTRS
1854 _mm512_maskz_sra_epi16(__mmask32 __U, __m512i __A, __m128i __B)
1855 {
1856   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1857                                           (__v32hi)_mm512_sra_epi16(__A, __B),
1858                                           (__v32hi)_mm512_setzero_hi());
1859 }
1860
1861 static __inline__ __m512i __DEFAULT_FN_ATTRS
1862 _mm512_srai_epi16(__m512i __A, int __B)
1863 {
1864   return (__m512i)__builtin_ia32_psrawi512((__v32hi)__A, __B);
1865 }
1866
1867 static __inline__ __m512i __DEFAULT_FN_ATTRS
1868 _mm512_mask_srai_epi16(__m512i __W, __mmask32 __U, __m512i __A, int __B)
1869 {
1870   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1871                                          (__v32hi)_mm512_srai_epi16(__A, __B),
1872                                          (__v32hi)__W);
1873 }
1874
1875 static __inline__ __m512i __DEFAULT_FN_ATTRS
1876 _mm512_maskz_srai_epi16(__mmask32 __U, __m512i __A, int __B)
1877 {
1878   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1879                                          (__v32hi)_mm512_srai_epi16(__A, __B),
1880                                          (__v32hi)_mm512_setzero_hi());
1881 }
1882
1883 static __inline__ __m512i __DEFAULT_FN_ATTRS
1884 _mm512_srl_epi16(__m512i __A, __m128i __B)
1885 {
1886   return (__m512i)__builtin_ia32_psrlw512((__v32hi) __A, (__v8hi) __B);
1887 }
1888
1889 static __inline__ __m512i __DEFAULT_FN_ATTRS
1890 _mm512_mask_srl_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m128i __B)
1891 {
1892   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1893                                           (__v32hi)_mm512_srl_epi16(__A, __B),
1894                                           (__v32hi)__W);
1895 }
1896
1897 static __inline__ __m512i __DEFAULT_FN_ATTRS
1898 _mm512_maskz_srl_epi16(__mmask32 __U, __m512i __A, __m128i __B)
1899 {
1900   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1901                                           (__v32hi)_mm512_srl_epi16(__A, __B),
1902                                           (__v32hi)_mm512_setzero_hi());
1903 }
1904
1905 static __inline__ __m512i __DEFAULT_FN_ATTRS
1906 _mm512_srli_epi16(__m512i __A, int __B)
1907 {
1908   return (__m512i)__builtin_ia32_psrlwi512((__v32hi)__A, __B);
1909 }
1910
1911 static __inline__ __m512i __DEFAULT_FN_ATTRS
1912 _mm512_mask_srli_epi16(__m512i __W, __mmask32 __U, __m512i __A, int __B)
1913 {
1914   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1915                                          (__v32hi)_mm512_srli_epi16(__A, __B),
1916                                          (__v32hi)__W);
1917 }
1918
1919 static __inline__ __m512i __DEFAULT_FN_ATTRS
1920 _mm512_maskz_srli_epi16(__mmask32 __U, __m512i __A, int __B)
1921 {
1922   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1923                                          (__v32hi)_mm512_srli_epi16(__A, __B),
1924                                          (__v32hi)_mm512_setzero_hi());
1925 }
1926
1927 #define _mm512_bsrli_epi128(a, imm) __extension__ ({ \
1928   (__m512i)__builtin_shufflevector(                     \
1929       (__v64qi)(__m512i)(a),                      \
1930       (__v64qi)_mm512_setzero_si512(),            \
1931       ((char)(imm)&0xF0) ?  64 : (char)(imm) + ((char)(imm)>0xF ?  48 : 0),  \
1932       ((char)(imm)&0xF0) ?  65 : (char)(imm) + ((char)(imm)>0xE ?  49 : 1),  \
1933       ((char)(imm)&0xF0) ?  66 : (char)(imm) + ((char)(imm)>0xD ?  50 : 2),  \
1934       ((char)(imm)&0xF0) ?  67 : (char)(imm) + ((char)(imm)>0xC ?  51 : 3),  \
1935       ((char)(imm)&0xF0) ?  68 : (char)(imm) + ((char)(imm)>0xB ?  52 : 4),  \
1936       ((char)(imm)&0xF0) ?  69 : (char)(imm) + ((char)(imm)>0xA ?  53 : 5),  \
1937       ((char)(imm)&0xF0) ?  70 : (char)(imm) + ((char)(imm)>0x9 ?  54 : 6),  \
1938       ((char)(imm)&0xF0) ?  71 : (char)(imm) + ((char)(imm)>0x8 ?  55 : 7),  \
1939       ((char)(imm)&0xF0) ?  72 : (char)(imm) + ((char)(imm)>0x7 ?  56 : 8),  \
1940       ((char)(imm)&0xF0) ?  73 : (char)(imm) + ((char)(imm)>0x6 ?  57 : 9),  \
1941       ((char)(imm)&0xF0) ?  74 : (char)(imm) + ((char)(imm)>0x5 ?  58 : 10), \
1942       ((char)(imm)&0xF0) ?  75 : (char)(imm) + ((char)(imm)>0x4 ?  59 : 11), \
1943       ((char)(imm)&0xF0) ?  76 : (char)(imm) + ((char)(imm)>0x3 ?  60 : 12), \
1944       ((char)(imm)&0xF0) ?  77 : (char)(imm) + ((char)(imm)>0x2 ?  61 : 13), \
1945       ((char)(imm)&0xF0) ?  78 : (char)(imm) + ((char)(imm)>0x1 ?  62 : 14), \
1946       ((char)(imm)&0xF0) ?  79 : (char)(imm) + ((char)(imm)>0x0 ?  63 : 15), \
1947       ((char)(imm)&0xF0) ?  80 : (char)(imm) + ((char)(imm)>0xF ?  64 : 16), \
1948       ((char)(imm)&0xF0) ?  81 : (char)(imm) + ((char)(imm)>0xE ?  65 : 17), \
1949       ((char)(imm)&0xF0) ?  82 : (char)(imm) + ((char)(imm)>0xD ?  66 : 18), \
1950       ((char)(imm)&0xF0) ?  83 : (char)(imm) + ((char)(imm)>0xC ?  67 : 19), \
1951       ((char)(imm)&0xF0) ?  84 : (char)(imm) + ((char)(imm)>0xB ?  68 : 20), \
1952       ((char)(imm)&0xF0) ?  85 : (char)(imm) + ((char)(imm)>0xA ?  69 : 21), \
1953       ((char)(imm)&0xF0) ?  86 : (char)(imm) + ((char)(imm)>0x9 ?  70 : 22), \
1954       ((char)(imm)&0xF0) ?  87 : (char)(imm) + ((char)(imm)>0x8 ?  71 : 23), \
1955       ((char)(imm)&0xF0) ?  88 : (char)(imm) + ((char)(imm)>0x7 ?  72 : 24), \
1956       ((char)(imm)&0xF0) ?  89 : (char)(imm) + ((char)(imm)>0x6 ?  73 : 25), \
1957       ((char)(imm)&0xF0) ?  90 : (char)(imm) + ((char)(imm)>0x5 ?  74 : 26), \
1958       ((char)(imm)&0xF0) ?  91 : (char)(imm) + ((char)(imm)>0x4 ?  75 : 27), \
1959       ((char)(imm)&0xF0) ?  92 : (char)(imm) + ((char)(imm)>0x3 ?  76 : 28), \
1960       ((char)(imm)&0xF0) ?  93 : (char)(imm) + ((char)(imm)>0x2 ?  77 : 29), \
1961       ((char)(imm)&0xF0) ?  94 : (char)(imm) + ((char)(imm)>0x1 ?  78 : 30), \
1962       ((char)(imm)&0xF0) ?  95 : (char)(imm) + ((char)(imm)>0x0 ?  79 : 31), \
1963       ((char)(imm)&0xF0) ?  96 : (char)(imm) + ((char)(imm)>0xF ?  80 : 32), \
1964       ((char)(imm)&0xF0) ?  97 : (char)(imm) + ((char)(imm)>0xE ?  81 : 33), \
1965       ((char)(imm)&0xF0) ?  98 : (char)(imm) + ((char)(imm)>0xD ?  82 : 34), \
1966       ((char)(imm)&0xF0) ?  99 : (char)(imm) + ((char)(imm)>0xC ?  83 : 35), \
1967       ((char)(imm)&0xF0) ? 100 : (char)(imm) + ((char)(imm)>0xB ?  84 : 36), \
1968       ((char)(imm)&0xF0) ? 101 : (char)(imm) + ((char)(imm)>0xA ?  85 : 37), \
1969       ((char)(imm)&0xF0) ? 102 : (char)(imm) + ((char)(imm)>0x9 ?  86 : 38), \
1970       ((char)(imm)&0xF0) ? 103 : (char)(imm) + ((char)(imm)>0x8 ?  87 : 39), \
1971       ((char)(imm)&0xF0) ? 104 : (char)(imm) + ((char)(imm)>0x7 ?  88 : 40), \
1972       ((char)(imm)&0xF0) ? 105 : (char)(imm) + ((char)(imm)>0x6 ?  89 : 41), \
1973       ((char)(imm)&0xF0) ? 106 : (char)(imm) + ((char)(imm)>0x5 ?  90 : 42), \
1974       ((char)(imm)&0xF0) ? 107 : (char)(imm) + ((char)(imm)>0x4 ?  91 : 43), \
1975       ((char)(imm)&0xF0) ? 108 : (char)(imm) + ((char)(imm)>0x3 ?  92 : 44), \
1976       ((char)(imm)&0xF0) ? 109 : (char)(imm) + ((char)(imm)>0x2 ?  93 : 45), \
1977       ((char)(imm)&0xF0) ? 110 : (char)(imm) + ((char)(imm)>0x1 ?  94 : 46), \
1978       ((char)(imm)&0xF0) ? 111 : (char)(imm) + ((char)(imm)>0x0 ?  95 : 47), \
1979       ((char)(imm)&0xF0) ? 112 : (char)(imm) + ((char)(imm)>0xF ?  96 : 48), \
1980       ((char)(imm)&0xF0) ? 113 : (char)(imm) + ((char)(imm)>0xE ?  97 : 49), \
1981       ((char)(imm)&0xF0) ? 114 : (char)(imm) + ((char)(imm)>0xD ?  98 : 50), \
1982       ((char)(imm)&0xF0) ? 115 : (char)(imm) + ((char)(imm)>0xC ?  99 : 51), \
1983       ((char)(imm)&0xF0) ? 116 : (char)(imm) + ((char)(imm)>0xB ? 100 : 52), \
1984       ((char)(imm)&0xF0) ? 117 : (char)(imm) + ((char)(imm)>0xA ? 101 : 53), \
1985       ((char)(imm)&0xF0) ? 118 : (char)(imm) + ((char)(imm)>0x9 ? 102 : 54), \
1986       ((char)(imm)&0xF0) ? 119 : (char)(imm) + ((char)(imm)>0x8 ? 103 : 55), \
1987       ((char)(imm)&0xF0) ? 120 : (char)(imm) + ((char)(imm)>0x7 ? 104 : 56), \
1988       ((char)(imm)&0xF0) ? 121 : (char)(imm) + ((char)(imm)>0x6 ? 105 : 57), \
1989       ((char)(imm)&0xF0) ? 122 : (char)(imm) + ((char)(imm)>0x5 ? 106 : 58), \
1990       ((char)(imm)&0xF0) ? 123 : (char)(imm) + ((char)(imm)>0x4 ? 107 : 59), \
1991       ((char)(imm)&0xF0) ? 124 : (char)(imm) + ((char)(imm)>0x3 ? 108 : 60), \
1992       ((char)(imm)&0xF0) ? 125 : (char)(imm) + ((char)(imm)>0x2 ? 109 : 61), \
1993       ((char)(imm)&0xF0) ? 126 : (char)(imm) + ((char)(imm)>0x1 ? 110 : 62), \
1994       ((char)(imm)&0xF0) ? 127 : (char)(imm) + ((char)(imm)>0x0 ? 111 : 63)); })
1995
1996 static __inline__ __m512i __DEFAULT_FN_ATTRS
1997 _mm512_mask_mov_epi16 (__m512i __W, __mmask32 __U, __m512i __A)
1998 {
1999   return (__m512i) __builtin_ia32_selectw_512 ((__mmask32) __U,
2000                 (__v32hi) __A,
2001                 (__v32hi) __W);
2002 }
2003
2004 static __inline__ __m512i __DEFAULT_FN_ATTRS
2005 _mm512_maskz_mov_epi16 (__mmask32 __U, __m512i __A)
2006 {
2007   return (__m512i) __builtin_ia32_selectw_512 ((__mmask32) __U,
2008                 (__v32hi) __A,
2009                 (__v32hi) _mm512_setzero_hi ());
2010 }
2011
2012 static __inline__ __m512i __DEFAULT_FN_ATTRS
2013 _mm512_mask_mov_epi8 (__m512i __W, __mmask64 __U, __m512i __A)
2014 {
2015   return (__m512i) __builtin_ia32_selectb_512 ((__mmask64) __U,
2016                 (__v64qi) __A,
2017                 (__v64qi) __W);
2018 }
2019
2020 static __inline__ __m512i __DEFAULT_FN_ATTRS
2021 _mm512_maskz_mov_epi8 (__mmask64 __U, __m512i __A)
2022 {
2023   return (__m512i) __builtin_ia32_selectb_512 ((__mmask64) __U,
2024                 (__v64qi) __A,
2025                 (__v64qi) _mm512_setzero_hi ());
2026 }
2027
2028 static __inline__ __m512i __DEFAULT_FN_ATTRS
2029 _mm512_mask_set1_epi8 (__m512i __O, __mmask64 __M, char __A)
2030 {
2031   return (__m512i) __builtin_ia32_pbroadcastb512_gpr_mask (__A,
2032                  (__v64qi) __O,
2033                  __M);
2034 }
2035
2036 static __inline__ __m512i __DEFAULT_FN_ATTRS
2037 _mm512_maskz_set1_epi8 (__mmask64 __M, char __A)
2038 {
2039   return (__m512i) __builtin_ia32_pbroadcastb512_gpr_mask (__A,
2040                  (__v64qi)
2041                  _mm512_setzero_qi(),
2042                  __M);
2043 }
2044
2045 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2046 _mm512_kunpackd (__mmask64 __A, __mmask64 __B)
2047 {
2048   return (__mmask64) __builtin_ia32_kunpckdi ((__mmask64) __A,
2049                 (__mmask64) __B);
2050 }
2051
2052 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2053 _mm512_kunpackw (__mmask32 __A, __mmask32 __B)
2054 {
2055   return (__mmask32) __builtin_ia32_kunpcksi ((__mmask32) __A,
2056                 (__mmask32) __B);
2057 }
2058
2059 static __inline__ __m512i __DEFAULT_FN_ATTRS
2060 _mm512_mask_loadu_epi16 (__m512i __W, __mmask32 __U, void const *__P)
2061 {
2062   return (__m512i) __builtin_ia32_loaddquhi512_mask ((__v32hi *) __P,
2063                  (__v32hi) __W,
2064                  (__mmask32) __U);
2065 }
2066
2067 static __inline__ __m512i __DEFAULT_FN_ATTRS
2068 _mm512_maskz_loadu_epi16 (__mmask32 __U, void const *__P)
2069 {
2070   return (__m512i) __builtin_ia32_loaddquhi512_mask ((__v32hi *) __P,
2071                  (__v32hi)
2072                  _mm512_setzero_hi (),
2073                  (__mmask32) __U);
2074 }
2075
2076 static __inline__ __m512i __DEFAULT_FN_ATTRS
2077 _mm512_mask_loadu_epi8 (__m512i __W, __mmask64 __U, void const *__P)
2078 {
2079   return (__m512i) __builtin_ia32_loaddquqi512_mask ((__v64qi *) __P,
2080                  (__v64qi) __W,
2081                  (__mmask64) __U);
2082 }
2083
2084 static __inline__ __m512i __DEFAULT_FN_ATTRS
2085 _mm512_maskz_loadu_epi8 (__mmask64 __U, void const *__P)
2086 {
2087   return (__m512i) __builtin_ia32_loaddquqi512_mask ((__v64qi *) __P,
2088                  (__v64qi)
2089                  _mm512_setzero_hi (),
2090                  (__mmask64) __U);
2091 }
2092 static __inline__ void __DEFAULT_FN_ATTRS
2093 _mm512_mask_storeu_epi16 (void *__P, __mmask32 __U, __m512i __A)
2094 {
2095   __builtin_ia32_storedquhi512_mask ((__v32hi *) __P,
2096              (__v32hi) __A,
2097              (__mmask32) __U);
2098 }
2099
2100 static __inline__ void __DEFAULT_FN_ATTRS
2101 _mm512_mask_storeu_epi8 (void *__P, __mmask64 __U, __m512i __A)
2102 {
2103   __builtin_ia32_storedquqi512_mask ((__v64qi *) __P,
2104              (__v64qi) __A,
2105              (__mmask64) __U);
2106 }
2107
2108 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2109 _mm512_test_epi8_mask (__m512i __A, __m512i __B)
2110 {
2111   return (__mmask64) __builtin_ia32_ptestmb512 ((__v64qi) __A,
2112             (__v64qi) __B,
2113             (__mmask64) -1);
2114 }
2115
2116 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2117 _mm512_mask_test_epi8_mask (__mmask64 __U, __m512i __A, __m512i __B)
2118 {
2119   return (__mmask64) __builtin_ia32_ptestmb512 ((__v64qi) __A,
2120             (__v64qi) __B, __U);
2121 }
2122
2123 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2124 _mm512_test_epi16_mask (__m512i __A, __m512i __B)
2125 {
2126   return (__mmask32) __builtin_ia32_ptestmw512 ((__v32hi) __A,
2127             (__v32hi) __B,
2128             (__mmask32) -1);
2129 }
2130
2131 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2132 _mm512_mask_test_epi16_mask (__mmask32 __U, __m512i __A, __m512i __B)
2133 {
2134   return (__mmask32) __builtin_ia32_ptestmw512 ((__v32hi) __A,
2135             (__v32hi) __B, __U);
2136 }
2137
2138 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2139 _mm512_testn_epi8_mask (__m512i __A, __m512i __B)
2140 {
2141   return (__mmask64) __builtin_ia32_ptestnmb512 ((__v64qi) __A,
2142              (__v64qi) __B,
2143              (__mmask64) -1);
2144 }
2145
2146 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2147 _mm512_mask_testn_epi8_mask (__mmask64 __U, __m512i __A, __m512i __B)
2148 {
2149   return (__mmask64) __builtin_ia32_ptestnmb512 ((__v64qi) __A,
2150              (__v64qi) __B, __U);
2151 }
2152
2153 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2154 _mm512_testn_epi16_mask (__m512i __A, __m512i __B)
2155 {
2156   return (__mmask32) __builtin_ia32_ptestnmw512 ((__v32hi) __A,
2157              (__v32hi) __B,
2158              (__mmask32) -1);
2159 }
2160
2161 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2162 _mm512_mask_testn_epi16_mask (__mmask32 __U, __m512i __A, __m512i __B)
2163 {
2164   return (__mmask32) __builtin_ia32_ptestnmw512 ((__v32hi) __A,
2165              (__v32hi) __B, __U);
2166 }
2167
2168 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2169 _mm512_movepi8_mask (__m512i __A)
2170 {
2171   return (__mmask64) __builtin_ia32_cvtb2mask512 ((__v64qi) __A);
2172 }
2173
2174 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2175 _mm512_movepi16_mask (__m512i __A)
2176 {
2177   return (__mmask32) __builtin_ia32_cvtw2mask512 ((__v32hi) __A);
2178 }
2179
2180 static __inline__ __m512i __DEFAULT_FN_ATTRS
2181 _mm512_movm_epi8 (__mmask64 __A)
2182 {
2183   return (__m512i) __builtin_ia32_cvtmask2b512 (__A);
2184 }
2185
2186 static __inline__ __m512i __DEFAULT_FN_ATTRS
2187 _mm512_movm_epi16 (__mmask32 __A)
2188 {
2189   return (__m512i) __builtin_ia32_cvtmask2w512 (__A);
2190 }
2191
2192 static __inline__ __m512i __DEFAULT_FN_ATTRS
2193 _mm512_broadcastb_epi8 (__m128i __A)
2194 {
2195   return (__m512i)__builtin_shufflevector((__v16qi) __A,
2196                                           (__v16qi)_mm_undefined_si128(),
2197                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2198                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2199                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2200                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
2201 }
2202
2203 static __inline__ __m512i __DEFAULT_FN_ATTRS
2204 _mm512_mask_broadcastb_epi8 (__m512i __O, __mmask64 __M, __m128i __A)
2205 {
2206   return (__m512i)__builtin_ia32_selectb_512(__M,
2207                                              (__v64qi) _mm512_broadcastb_epi8(__A),
2208                                              (__v64qi) __O);
2209 }
2210
2211 static __inline__ __m512i __DEFAULT_FN_ATTRS
2212 _mm512_maskz_broadcastb_epi8 (__mmask64 __M, __m128i __A)
2213 {
2214   return (__m512i)__builtin_ia32_selectb_512(__M,
2215                                              (__v64qi) _mm512_broadcastb_epi8(__A),
2216                                              (__v64qi) _mm512_setzero_si512());
2217 }
2218
2219 static __inline__ __m512i __DEFAULT_FN_ATTRS
2220 _mm512_mask_set1_epi16 (__m512i __O, __mmask32 __M, short __A)
2221 {
2222   return (__m512i) __builtin_ia32_pbroadcastw512_gpr_mask (__A,
2223                  (__v32hi) __O,
2224                  __M);
2225 }
2226
2227 static __inline__ __m512i __DEFAULT_FN_ATTRS
2228 _mm512_maskz_set1_epi16 (__mmask32 __M, short __A)
2229 {
2230   return (__m512i) __builtin_ia32_pbroadcastw512_gpr_mask (__A,
2231                  (__v32hi) _mm512_setzero_hi(),
2232                  __M);
2233 }
2234
2235 static __inline__ __m512i __DEFAULT_FN_ATTRS
2236 _mm512_broadcastw_epi16 (__m128i __A)
2237 {
2238   return (__m512i)__builtin_shufflevector((__v8hi) __A,
2239                                           (__v8hi)_mm_undefined_si128(),
2240                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2241                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
2242 }
2243
2244 static __inline__ __m512i __DEFAULT_FN_ATTRS
2245 _mm512_mask_broadcastw_epi16 (__m512i __O, __mmask32 __M, __m128i __A)
2246 {
2247   return (__m512i)__builtin_ia32_selectw_512(__M,
2248                                              (__v32hi) _mm512_broadcastw_epi16(__A),
2249                                              (__v32hi) __O);
2250 }
2251
2252 static __inline__ __m512i __DEFAULT_FN_ATTRS
2253 _mm512_maskz_broadcastw_epi16 (__mmask32 __M, __m128i __A)
2254 {
2255   return (__m512i)__builtin_ia32_selectw_512(__M,
2256                                              (__v32hi) _mm512_broadcastw_epi16(__A),
2257                                              (__v32hi) _mm512_setzero_si512());
2258 }
2259
2260 static __inline__ __m512i __DEFAULT_FN_ATTRS
2261 _mm512_permutexvar_epi16 (__m512i __A, __m512i __B)
2262 {
2263   return (__m512i) __builtin_ia32_permvarhi512_mask ((__v32hi) __B,
2264                  (__v32hi) __A,
2265                  (__v32hi) _mm512_undefined_epi32 (),
2266                  (__mmask32) -1);
2267 }
2268
2269 static __inline__ __m512i __DEFAULT_FN_ATTRS
2270 _mm512_maskz_permutexvar_epi16 (__mmask32 __M, __m512i __A,
2271         __m512i __B)
2272 {
2273   return (__m512i) __builtin_ia32_permvarhi512_mask ((__v32hi) __B,
2274                  (__v32hi) __A,
2275                  (__v32hi) _mm512_setzero_hi(),
2276                  (__mmask32) __M);
2277 }
2278
2279 static __inline__ __m512i __DEFAULT_FN_ATTRS
2280 _mm512_mask_permutexvar_epi16 (__m512i __W, __mmask32 __M, __m512i __A,
2281              __m512i __B)
2282 {
2283   return (__m512i) __builtin_ia32_permvarhi512_mask ((__v32hi) __B,
2284                  (__v32hi) __A,
2285                  (__v32hi) __W,
2286                  (__mmask32) __M);
2287 }
2288
2289 #define _mm512_alignr_epi8(A, B, N) __extension__ ({\
2290   (__m512i)__builtin_ia32_palignr512_mask((__v64qi)(__m512i)(A), \
2291                                           (__v64qi)(__m512i)(B), (int)(N), \
2292                                           (__v64qi)_mm512_undefined_pd(), \
2293                                           (__mmask64)-1); })
2294
2295 #define _mm512_mask_alignr_epi8(W, U, A, B, N) __extension__({\
2296   (__m512i)__builtin_ia32_palignr512_mask((__v64qi)(__m512i)(A), \
2297                                           (__v64qi)(__m512i)(B), (int)(N), \
2298                                           (__v64qi)(__m512i)(W), \
2299                                           (__mmask64)(U)); })
2300
2301 #define _mm512_maskz_alignr_epi8(U, A, B, N) __extension__({\
2302   (__m512i)__builtin_ia32_palignr512_mask((__v64qi)(__m512i)(A), \
2303                                           (__v64qi)(__m512i)(B), (int)(N), \
2304                                           (__v64qi)_mm512_setzero_si512(), \
2305                                           (__mmask64)(U)); })
2306
2307 #define _mm512_dbsad_epu8(A, B, imm) __extension__ ({\
2308   (__m512i)__builtin_ia32_dbpsadbw512_mask((__v64qi)(__m512i)(A), \
2309                                            (__v64qi)(__m512i)(B), (int)(imm), \
2310                                            (__v32hi)_mm512_undefined_epi32(), \
2311                                            (__mmask32)-1); })
2312
2313 #define _mm512_mask_dbsad_epu8(W, U, A, B, imm) ({\
2314   (__m512i)__builtin_ia32_dbpsadbw512_mask((__v64qi)(__m512i)(A), \
2315                                            (__v64qi)(__m512i)(B), (int)(imm), \
2316                                            (__v32hi)(__m512i)(W), \
2317                                            (__mmask32)(U)); })
2318
2319 #define _mm512_maskz_dbsad_epu8(U, A, B, imm) ({\
2320   (__m512i)__builtin_ia32_dbpsadbw512_mask((__v64qi)(__m512i)(A), \
2321                                            (__v64qi)(__m512i)(B), (int)(imm), \
2322                                            (__v32hi)_mm512_setzero_hi(), \
2323                                            (__mmask32)(U)); })
2324
2325 static __inline__ __m512i __DEFAULT_FN_ATTRS
2326 _mm512_sad_epu8 (__m512i __A, __m512i __B)
2327 {
2328  return (__m512i) __builtin_ia32_psadbw512 ((__v64qi) __A,
2329                (__v64qi) __B);
2330 }
2331
2332
2333
2334 #undef __DEFAULT_FN_ATTRS
2335
2336 #endif