contrib/llvm/tools/clang/lib/Headers/avx512bwintrin.h

   1 /*===------------- avx512bwintrin.h - AVX512BW intrinsics ------------------===
   2  *
   3  *
   4  * Permission is hereby granted, free of charge, to any person obtaining a copy
   5  * of this software and associated documentation files (the "Software"), to deal
   6  * in the Software without restriction, including without limitation the rights
   7  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
   8  * copies of the Software, and to permit persons to whom the Software is
   9  * furnished to do so, subject to the following conditions:
  10  *
  11  * The above copyright notice and this permission notice shall be included in
  12  * all copies or substantial portions of the Software.
  13  *
  14  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  15  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  16  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  17  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  18  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  19  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  20  * THE SOFTWARE.
  21  *
  22  *===-----------------------------------------------------------------------===
  23  */
  24 #ifndef __IMMINTRIN_H
  25 #error "Never use <avx512bwintrin.h> directly; include <immintrin.h> instead."
  26 #endif
  27
  28 #ifndef __AVX512BWINTRIN_H
  29 #define __AVX512BWINTRIN_H
  30
  31 typedef unsigned int __mmask32;
  32 typedef unsigned long long __mmask64;
  33
  34 /* Define the default attributes for the functions in this file. */
  35 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512bw")))
  36
  37 static  __inline __m512i __DEFAULT_FN_ATTRS
  38 _mm512_setzero_qi(void) {
  39   return (__m512i)(__v64qi){ 0, 0, 0, 0, 0, 0, 0, 0,
  40                              0, 0, 0, 0, 0, 0, 0, 0,
  41                              0, 0, 0, 0, 0, 0, 0, 0,
  42                              0, 0, 0, 0, 0, 0, 0, 0,
  43                              0, 0, 0, 0, 0, 0, 0, 0,
  44                              0, 0, 0, 0, 0, 0, 0, 0,
  45                              0, 0, 0, 0, 0, 0, 0, 0,
  46                              0, 0, 0, 0, 0, 0, 0, 0 };
  47 }
  48
  49 static  __inline __m512i __DEFAULT_FN_ATTRS
  50 _mm512_setzero_hi(void) {
  51   return (__m512i)(__v32hi){ 0, 0, 0, 0, 0, 0, 0, 0,
  52                              0, 0, 0, 0, 0, 0, 0, 0,
  53                              0, 0, 0, 0, 0, 0, 0, 0,
  54                              0, 0, 0, 0, 0, 0, 0, 0 };
  55 }
  56
  57 /* Integer compare */
  58
  59 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  60 _mm512_cmpeq_epi8_mask(__m512i __a, __m512i __b) {
  61   return (__mmask64)__builtin_ia32_pcmpeqb512_mask((__v64qi)__a, (__v64qi)__b,
  62                                                    (__mmask64)-1);
  63 }
  64
  65 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  66 _mm512_mask_cmpeq_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
  67   return (__mmask64)__builtin_ia32_pcmpeqb512_mask((__v64qi)__a, (__v64qi)__b,
  68                                                    __u);
  69 }
  70
  71 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  72 _mm512_cmpeq_epu8_mask(__m512i __a, __m512i __b) {
  73   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 0,
  74                                                  (__mmask64)-1);
  75 }
  76
  77 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
  78 _mm512_mask_cmpeq_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
  79   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 0,
  80                                                  __u);
  81 }
  82
  83 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  84 _mm512_cmpeq_epi16_mask(__m512i __a, __m512i __b) {
  85   return (__mmask32)__builtin_ia32_pcmpeqw512_mask((__v32hi)__a, (__v32hi)__b,
  86                                                    (__mmask32)-1);
  87 }
  88
  89 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  90 _mm512_mask_cmpeq_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
  91   return (__mmask32)__builtin_ia32_pcmpeqw512_mask((__v32hi)__a, (__v32hi)__b,
  92                                                    __u);
  93 }
  94
  95 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  96 _mm512_cmpeq_epu16_mask(__m512i __a, __m512i __b) {
  97   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 0,
  98                                                  (__mmask32)-1);
  99 }
 100
 101 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 102 _mm512_mask_cmpeq_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 103   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 0,
 104                                                  __u);
 105 }
 106
 107 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 108 _mm512_cmpge_epi8_mask(__m512i __a, __m512i __b) {
 109   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 110                                                 (__mmask64)-1);
 111 }
 112
 113 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 114 _mm512_mask_cmpge_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 115   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 116                                                 __u);
 117 }
 118
 119 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 120 _mm512_cmpge_epu8_mask(__m512i __a, __m512i __b) {
 121   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 122                                                  (__mmask64)-1);
 123 }
 124
 125 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 126 _mm512_mask_cmpge_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 127   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 5,
 128                                                  __u);
 129 }
 130
 131 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 132 _mm512_cmpge_epi16_mask(__m512i __a, __m512i __b) {
 133   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 134                                                 (__mmask32)-1);
 135 }
 136
 137 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 138 _mm512_mask_cmpge_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 139   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 140                                                 __u);
 141 }
 142
 143 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 144 _mm512_cmpge_epu16_mask(__m512i __a, __m512i __b) {
 145   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 146                                                  (__mmask32)-1);
 147 }
 148
 149 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 150 _mm512_mask_cmpge_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 151   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 5,
 152                                                  __u);
 153 }
 154
 155 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 156 _mm512_cmpgt_epi8_mask(__m512i __a, __m512i __b) {
 157   return (__mmask64)__builtin_ia32_pcmpgtb512_mask((__v64qi)__a, (__v64qi)__b,
 158                                                    (__mmask64)-1);
 159 }
 160
 161 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 162 _mm512_mask_cmpgt_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 163   return (__mmask64)__builtin_ia32_pcmpgtb512_mask((__v64qi)__a, (__v64qi)__b,
 164                                                    __u);
 165 }
 166
 167 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 168 _mm512_cmpgt_epu8_mask(__m512i __a, __m512i __b) {
 169   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 6,
 170                                                  (__mmask64)-1);
 171 }
 172
 173 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 174 _mm512_mask_cmpgt_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 175   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 6,
 176                                                  __u);
 177 }
 178
 179 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 180 _mm512_cmpgt_epi16_mask(__m512i __a, __m512i __b) {
 181   return (__mmask32)__builtin_ia32_pcmpgtw512_mask((__v32hi)__a, (__v32hi)__b,
 182                                                    (__mmask32)-1);
 183 }
 184
 185 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 186 _mm512_mask_cmpgt_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 187   return (__mmask32)__builtin_ia32_pcmpgtw512_mask((__v32hi)__a, (__v32hi)__b,
 188                                                    __u);
 189 }
 190
 191 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 192 _mm512_cmpgt_epu16_mask(__m512i __a, __m512i __b) {
 193   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 6,
 194                                                  (__mmask32)-1);
 195 }
 196
 197 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 198 _mm512_mask_cmpgt_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 199   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 6,
 200                                                  __u);
 201 }
 202
 203 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 204 _mm512_cmple_epi8_mask(__m512i __a, __m512i __b) {
 205   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 206                                                 (__mmask64)-1);
 207 }
 208
 209 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 210 _mm512_mask_cmple_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 211   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 212                                                 __u);
 213 }
 214
 215 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 216 _mm512_cmple_epu8_mask(__m512i __a, __m512i __b) {
 217   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 218                                                  (__mmask64)-1);
 219 }
 220
 221 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 222 _mm512_mask_cmple_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 223   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 2,
 224                                                  __u);
 225 }
 226
 227 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 228 _mm512_cmple_epi16_mask(__m512i __a, __m512i __b) {
 229   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 230                                                 (__mmask32)-1);
 231 }
 232
 233 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 234 _mm512_mask_cmple_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 235   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 236                                                 __u);
 237 }
 238
 239 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 240 _mm512_cmple_epu16_mask(__m512i __a, __m512i __b) {
 241   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 242                                                  (__mmask32)-1);
 243 }
 244
 245 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 246 _mm512_mask_cmple_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 247   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 2,
 248                                                  __u);
 249 }
 250
 251 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 252 _mm512_cmplt_epi8_mask(__m512i __a, __m512i __b) {
 253   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 254                                                 (__mmask64)-1);
 255 }
 256
 257 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 258 _mm512_mask_cmplt_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 259   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 260                                                 __u);
 261 }
 262
 263 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 264 _mm512_cmplt_epu8_mask(__m512i __a, __m512i __b) {
 265   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 266                                                  (__mmask64)-1);
 267 }
 268
 269 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 270 _mm512_mask_cmplt_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 271   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 1,
 272                                                  __u);
 273 }
 274
 275 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 276 _mm512_cmplt_epi16_mask(__m512i __a, __m512i __b) {
 277   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 278                                                 (__mmask32)-1);
 279 }
 280
 281 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 282 _mm512_mask_cmplt_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 283   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 284                                                 __u);
 285 }
 286
 287 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 288 _mm512_cmplt_epu16_mask(__m512i __a, __m512i __b) {
 289   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 290                                                  (__mmask32)-1);
 291 }
 292
 293 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 294 _mm512_mask_cmplt_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 295   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 1,
 296                                                  __u);
 297 }
 298
 299 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 300 _mm512_cmpneq_epi8_mask(__m512i __a, __m512i __b) {
 301   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 302                                                 (__mmask64)-1);
 303 }
 304
 305 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 306 _mm512_mask_cmpneq_epi8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 307   return (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 308                                                 __u);
 309 }
 310
 311 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 312 _mm512_cmpneq_epu8_mask(__m512i __a, __m512i __b) {
 313   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 314                                                  (__mmask64)-1);
 315 }
 316
 317 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
 318 _mm512_mask_cmpneq_epu8_mask(__mmask64 __u, __m512i __a, __m512i __b) {
 319   return (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)__a, (__v64qi)__b, 4,
 320                                                  __u);
 321 }
 322
 323 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 324 _mm512_cmpneq_epi16_mask(__m512i __a, __m512i __b) {
 325   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 326                                                 (__mmask32)-1);
 327 }
 328
 329 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 330 _mm512_mask_cmpneq_epi16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 331   return (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 332                                                 __u);
 333 }
 334
 335 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 336 _mm512_cmpneq_epu16_mask(__m512i __a, __m512i __b) {
 337   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 338                                                  (__mmask32)-1);
 339 }
 340
 341 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 342 _mm512_mask_cmpneq_epu16_mask(__mmask32 __u, __m512i __a, __m512i __b) {
 343   return (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)__a, (__v32hi)__b, 4,
 344                                                  __u);
 345 }
 346
 347 static __inline__ __m512i __DEFAULT_FN_ATTRS
 348 _mm512_add_epi8 (__m512i __A, __m512i __B) {
 349   return (__m512i) ((__v64qu) __A + (__v64qu) __B);
 350 }
 351
 352 static __inline__ __m512i __DEFAULT_FN_ATTRS
 353 _mm512_mask_add_epi8 (__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
 354   return (__m512i) __builtin_ia32_paddb512_mask ((__v64qi) __A,
 355              (__v64qi) __B,
 356              (__v64qi) __W,
 357              (__mmask64) __U);
 358 }
 359
 360 static __inline__ __m512i __DEFAULT_FN_ATTRS
 361 _mm512_maskz_add_epi8 (__mmask64 __U, __m512i __A, __m512i __B) {
 362   return (__m512i) __builtin_ia32_paddb512_mask ((__v64qi) __A,
 363              (__v64qi) __B,
 364              (__v64qi) _mm512_setzero_qi(),
 365              (__mmask64) __U);
 366 }
 367
 368 static __inline__ __m512i __DEFAULT_FN_ATTRS
 369 _mm512_sub_epi8 (__m512i __A, __m512i __B) {
 370   return (__m512i) ((__v64qu) __A - (__v64qu) __B);
 371 }
 372
 373 static __inline__ __m512i __DEFAULT_FN_ATTRS
 374 _mm512_mask_sub_epi8 (__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
 375   return (__m512i) __builtin_ia32_psubb512_mask ((__v64qi) __A,
 376              (__v64qi) __B,
 377              (__v64qi) __W,
 378              (__mmask64) __U);
 379 }
 380
 381 static __inline__ __m512i __DEFAULT_FN_ATTRS
 382 _mm512_maskz_sub_epi8 (__mmask64 __U, __m512i __A, __m512i __B) {
 383   return (__m512i) __builtin_ia32_psubb512_mask ((__v64qi) __A,
 384              (__v64qi) __B,
 385              (__v64qi) _mm512_setzero_qi(),
 386              (__mmask64) __U);
 387 }
 388
 389 static __inline__ __m512i __DEFAULT_FN_ATTRS
 390 _mm512_add_epi16 (__m512i __A, __m512i __B) {
 391   return (__m512i) ((__v32hu) __A + (__v32hu) __B);
 392 }
 393
 394 static __inline__ __m512i __DEFAULT_FN_ATTRS
 395 _mm512_mask_add_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
 396   return (__m512i) __builtin_ia32_paddw512_mask ((__v32hi) __A,
 397              (__v32hi) __B,
 398              (__v32hi) __W,
 399              (__mmask32) __U);
 400 }
 401
 402 static __inline__ __m512i __DEFAULT_FN_ATTRS
 403 _mm512_maskz_add_epi16 (__mmask32 __U, __m512i __A, __m512i __B) {
 404   return (__m512i) __builtin_ia32_paddw512_mask ((__v32hi) __A,
 405              (__v32hi) __B,
 406              (__v32hi) _mm512_setzero_hi(),
 407              (__mmask32) __U);
 408 }
 409
 410 static __inline__ __m512i __DEFAULT_FN_ATTRS
 411 _mm512_sub_epi16 (__m512i __A, __m512i __B) {
 412   return (__m512i) ((__v32hu) __A - (__v32hu) __B);
 413 }
 414
 415 static __inline__ __m512i __DEFAULT_FN_ATTRS
 416 _mm512_mask_sub_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
 417   return (__m512i) __builtin_ia32_psubw512_mask ((__v32hi) __A,
 418              (__v32hi) __B,
 419              (__v32hi) __W,
 420              (__mmask32) __U);
 421 }
 422
 423 static __inline__ __m512i __DEFAULT_FN_ATTRS
 424 _mm512_maskz_sub_epi16 (__mmask32 __U, __m512i __A, __m512i __B) {
 425   return (__m512i) __builtin_ia32_psubw512_mask ((__v32hi) __A,
 426              (__v32hi) __B,
 427              (__v32hi) _mm512_setzero_hi(),
 428              (__mmask32) __U);
 429 }
 430
 431 static __inline__ __m512i __DEFAULT_FN_ATTRS
 432 _mm512_mullo_epi16 (__m512i __A, __m512i __B) {
 433   return (__m512i) ((__v32hu) __A * (__v32hu) __B);
 434 }
 435
 436 static __inline__ __m512i __DEFAULT_FN_ATTRS
 437 _mm512_mask_mullo_epi16 (__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
 438   return (__m512i) __builtin_ia32_pmullw512_mask ((__v32hi) __A,
 439               (__v32hi) __B,
 440               (__v32hi) __W,
 441               (__mmask32) __U);
 442 }
 443
 444 static __inline__ __m512i __DEFAULT_FN_ATTRS
 445 _mm512_maskz_mullo_epi16 (__mmask32 __U, __m512i __A, __m512i __B) {
 446   return (__m512i) __builtin_ia32_pmullw512_mask ((__v32hi) __A,
 447               (__v32hi) __B,
 448               (__v32hi) _mm512_setzero_hi(),
 449               (__mmask32) __U);
 450 }
 451
 452 static __inline__ __m512i __DEFAULT_FN_ATTRS
 453 _mm512_mask_blend_epi8 (__mmask64 __U, __m512i __A, __m512i __W)
 454 {
 455   return (__m512i) __builtin_ia32_selectb_512 ((__mmask64) __U,
 456               (__v64qi) __W,
 457               (__v64qi) __A);
 458 }
 459
 460 static __inline__ __m512i __DEFAULT_FN_ATTRS
 461 _mm512_mask_blend_epi16 (__mmask32 __U, __m512i __A, __m512i __W)
 462 {
 463   return (__m512i) __builtin_ia32_selectw_512 ((__mmask32) __U,
 464               (__v32hi) __W,
 465               (__v32hi) __A);
 466 }
 467
 468 static __inline__ __m512i __DEFAULT_FN_ATTRS
 469 _mm512_abs_epi8 (__m512i __A)
 470 {
 471   return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A,
 472               (__v64qi) _mm512_setzero_qi(),
 473               (__mmask64) -1);
 474 }
 475
 476 static __inline__ __m512i __DEFAULT_FN_ATTRS
 477 _mm512_mask_abs_epi8 (__m512i __W, __mmask64 __U, __m512i __A)
 478 {
 479   return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A,
 480               (__v64qi) __W,
 481               (__mmask64) __U);
 482 }
 483
 484 static __inline__ __m512i __DEFAULT_FN_ATTRS
 485 _mm512_maskz_abs_epi8 (__mmask64 __U, __m512i __A)
 486 {
 487   return (__m512i) __builtin_ia32_pabsb512_mask ((__v64qi) __A,
 488               (__v64qi) _mm512_setzero_qi(),
 489               (__mmask64) __U);
 490 }
 491
 492 static __inline__ __m512i __DEFAULT_FN_ATTRS
 493 _mm512_abs_epi16 (__m512i __A)
 494 {
 495   return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A,
 496               (__v32hi) _mm512_setzero_hi(),
 497               (__mmask32) -1);
 498 }
 499
 500 static __inline__ __m512i __DEFAULT_FN_ATTRS
 501 _mm512_mask_abs_epi16 (__m512i __W, __mmask32 __U, __m512i __A)
 502 {
 503   return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A,
 504               (__v32hi) __W,
 505               (__mmask32) __U);
 506 }
 507
 508 static __inline__ __m512i __DEFAULT_FN_ATTRS
 509 _mm512_maskz_abs_epi16 (__mmask32 __U, __m512i __A)
 510 {
 511   return (__m512i) __builtin_ia32_pabsw512_mask ((__v32hi) __A,
 512               (__v32hi) _mm512_setzero_hi(),
 513               (__mmask32) __U);
 514 }
 515
 516 static __inline__ __m512i __DEFAULT_FN_ATTRS
 517 _mm512_packs_epi32 (__m512i __A, __m512i __B)
 518 {
 519   return (__m512i) __builtin_ia32_packssdw512_mask ((__v16si) __A,
 520               (__v16si) __B,
 521               (__v32hi) _mm512_setzero_hi(),
 522               (__mmask32) -1);
 523 }
 524
 525 static __inline__ __m512i __DEFAULT_FN_ATTRS
 526 _mm512_maskz_packs_epi32 (__mmask32 __M, __m512i __A, __m512i __B)
 527 {
 528   return (__m512i) __builtin_ia32_packssdw512_mask ((__v16si) __A,
 529               (__v16si) __B,
 530               (__v32hi) _mm512_setzero_hi(),
 531               __M);
 532 }
 533
 534 static __inline__ __m512i __DEFAULT_FN_ATTRS
 535 _mm512_mask_packs_epi32 (__m512i __W, __mmask32 __M, __m512i __A,
 536        __m512i __B)
 537 {
 538   return (__m512i) __builtin_ia32_packssdw512_mask ((__v16si) __A,
 539               (__v16si) __B,
 540               (__v32hi) __W,
 541               __M);
 542 }
 543
 544 static __inline__ __m512i __DEFAULT_FN_ATTRS
 545 _mm512_packs_epi16 (__m512i __A, __m512i __B)
 546 {
 547   return (__m512i) __builtin_ia32_packsswb512_mask ((__v32hi) __A,
 548               (__v32hi) __B,
 549               (__v64qi) _mm512_setzero_qi(),
 550               (__mmask64) -1);
 551 }
 552
 553 static __inline__ __m512i __DEFAULT_FN_ATTRS
 554 _mm512_mask_packs_epi16 (__m512i __W, __mmask64 __M, __m512i __A,
 555        __m512i __B)
 556 {
 557   return (__m512i) __builtin_ia32_packsswb512_mask ((__v32hi) __A,
 558               (__v32hi) __B,
 559               (__v64qi) __W,
 560               (__mmask64) __M);
 561 }
 562
 563 static __inline__ __m512i __DEFAULT_FN_ATTRS
 564 _mm512_maskz_packs_epi16 (__mmask64 __M, __m512i __A, __m512i __B)
 565 {
 566   return (__m512i) __builtin_ia32_packsswb512_mask ((__v32hi) __A,
 567               (__v32hi) __B,
 568               (__v64qi) _mm512_setzero_qi(),
 569               __M);
 570 }
 571
 572 static __inline__ __m512i __DEFAULT_FN_ATTRS
 573 _mm512_packus_epi32 (__m512i __A, __m512i __B)
 574 {
 575   return (__m512i) __builtin_ia32_packusdw512_mask ((__v16si) __A,
 576               (__v16si) __B,
 577               (__v32hi) _mm512_setzero_hi(),
 578               (__mmask32) -1);
 579 }
 580
 581 static __inline__ __m512i __DEFAULT_FN_ATTRS
 582 _mm512_maskz_packus_epi32 (__mmask32 __M, __m512i __A, __m512i __B)
 583 {
 584   return (__m512i) __builtin_ia32_packusdw512_mask ((__v16si) __A,
 585               (__v16si) __B,
 586               (__v32hi) _mm512_setzero_hi(),
 587               __M);
 588 }
 589
 590 static __inline__ __m512i __DEFAULT_FN_ATTRS
 591 _mm512_mask_packus_epi32 (__m512i __W, __mmask32 __M, __m512i __A,
 592         __m512i __B)
 593 {
 594   return (__m512i) __builtin_ia32_packusdw512_mask ((__v16si) __A,
 595               (__v16si) __B,
 596               (__v32hi) __W,
 597               __M);
 598 }
 599
 600 static __inline__ __m512i __DEFAULT_FN_ATTRS
 601 _mm512_packus_epi16 (__m512i __A, __m512i __B)
 602 {
 603   return (__m512i) __builtin_ia32_packuswb512_mask ((__v32hi) __A,
 604               (__v32hi) __B,
 605               (__v64qi) _mm512_setzero_qi(),
 606               (__mmask64) -1);
 607 }
 608
 609 static __inline__ __m512i __DEFAULT_FN_ATTRS
 610 _mm512_mask_packus_epi16 (__m512i __W, __mmask64 __M, __m512i __A,
 611         __m512i __B)
 612 {
 613   return (__m512i) __builtin_ia32_packuswb512_mask ((__v32hi) __A,
 614               (__v32hi) __B,
 615               (__v64qi) __W,
 616               (__mmask64) __M);
 617 }
 618
 619 static __inline__ __m512i __DEFAULT_FN_ATTRS
 620 _mm512_maskz_packus_epi16 (__mmask64 __M, __m512i __A, __m512i __B)
 621 {
 622   return (__m512i) __builtin_ia32_packuswb512_mask ((__v32hi) __A,
 623               (__v32hi) __B,
 624               (__v64qi) _mm512_setzero_qi(),
 625               (__mmask64) __M);
 626 }
 627
 628 static __inline__ __m512i __DEFAULT_FN_ATTRS
 629 _mm512_adds_epi8 (__m512i __A, __m512i __B)
 630 {
 631   return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A,
 632               (__v64qi) __B,
 633               (__v64qi) _mm512_setzero_qi(),
 634               (__mmask64) -1);
 635 }
 636
 637 static __inline__ __m512i __DEFAULT_FN_ATTRS
 638 _mm512_mask_adds_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
 639            __m512i __B)
 640 {
 641   return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A,
 642               (__v64qi) __B,
 643               (__v64qi) __W,
 644               (__mmask64) __U);
 645 }
 646
 647 static __inline__ __m512i __DEFAULT_FN_ATTRS
 648 _mm512_maskz_adds_epi8 (__mmask64 __U, __m512i __A, __m512i __B)
 649 {
 650   return (__m512i) __builtin_ia32_paddsb512_mask ((__v64qi) __A,
 651               (__v64qi) __B,
 652               (__v64qi) _mm512_setzero_qi(),
 653               (__mmask64) __U);
 654 }
 655
 656 static __inline__ __m512i __DEFAULT_FN_ATTRS
 657 _mm512_adds_epi16 (__m512i __A, __m512i __B)
 658 {
 659   return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A,
 660               (__v32hi) __B,
 661               (__v32hi) _mm512_setzero_hi(),
 662               (__mmask32) -1);
 663 }
 664
 665 static __inline__ __m512i __DEFAULT_FN_ATTRS
 666 _mm512_mask_adds_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
 667       __m512i __B)
 668 {
 669   return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A,
 670               (__v32hi) __B,
 671               (__v32hi) __W,
 672               (__mmask32) __U);
 673 }
 674
 675 static __inline__ __m512i __DEFAULT_FN_ATTRS
 676 _mm512_maskz_adds_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
 677 {
 678   return (__m512i) __builtin_ia32_paddsw512_mask ((__v32hi) __A,
 679               (__v32hi) __B,
 680               (__v32hi) _mm512_setzero_hi(),
 681               (__mmask32) __U);
 682 }
 683
 684 static __inline__ __m512i __DEFAULT_FN_ATTRS
 685 _mm512_adds_epu8 (__m512i __A, __m512i __B)
 686 {
 687   return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A,
 688               (__v64qi) __B,
 689               (__v64qi) _mm512_setzero_qi(),
 690               (__mmask64) -1);
 691 }
 692
 693 static __inline__ __m512i __DEFAULT_FN_ATTRS
 694 _mm512_mask_adds_epu8 (__m512i __W, __mmask64 __U, __m512i __A,
 695            __m512i __B)
 696 {
 697   return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A,
 698               (__v64qi) __B,
 699               (__v64qi) __W,
 700               (__mmask64) __U);
 701 }
 702
 703 static __inline__ __m512i __DEFAULT_FN_ATTRS
 704 _mm512_maskz_adds_epu8 (__mmask64 __U, __m512i __A, __m512i __B)
 705 {
 706   return (__m512i) __builtin_ia32_paddusb512_mask ((__v64qi) __A,
 707               (__v64qi) __B,
 708               (__v64qi) _mm512_setzero_qi(),
 709               (__mmask64) __U);
 710 }
 711
 712 static __inline__ __m512i __DEFAULT_FN_ATTRS
 713 _mm512_adds_epu16 (__m512i __A, __m512i __B)
 714 {
 715   return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A,
 716               (__v32hi) __B,
 717               (__v32hi) _mm512_setzero_hi(),
 718               (__mmask32) -1);
 719 }
 720
 721 static __inline__ __m512i __DEFAULT_FN_ATTRS
 722 _mm512_mask_adds_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
 723       __m512i __B)
 724 {
 725   return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A,
 726               (__v32hi) __B,
 727               (__v32hi) __W,
 728               (__mmask32) __U);
 729 }
 730
 731 static __inline__ __m512i __DEFAULT_FN_ATTRS
 732 _mm512_maskz_adds_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
 733 {
 734   return (__m512i) __builtin_ia32_paddusw512_mask ((__v32hi) __A,
 735               (__v32hi) __B,
 736               (__v32hi) _mm512_setzero_hi(),
 737               (__mmask32) __U);
 738 }
 739
 740 static __inline__ __m512i __DEFAULT_FN_ATTRS
 741 _mm512_avg_epu8 (__m512i __A, __m512i __B)
 742 {
 743   return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A,
 744               (__v64qi) __B,
 745               (__v64qi) _mm512_setzero_qi(),
 746               (__mmask64) -1);
 747 }
 748
 749 static __inline__ __m512i __DEFAULT_FN_ATTRS
 750 _mm512_mask_avg_epu8 (__m512i __W, __mmask64 __U, __m512i __A,
 751           __m512i __B)
 752 {
 753   return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A,
 754               (__v64qi) __B,
 755               (__v64qi) __W,
 756               (__mmask64) __U);
 757 }
 758
 759 static __inline__ __m512i __DEFAULT_FN_ATTRS
 760 _mm512_maskz_avg_epu8 (__mmask64 __U, __m512i __A, __m512i __B)
 761 {
 762   return (__m512i) __builtin_ia32_pavgb512_mask ((__v64qi) __A,
 763               (__v64qi) __B,
 764               (__v64qi) _mm512_setzero_qi(),
 765               (__mmask64) __U);
 766 }
 767
 768 static __inline__ __m512i __DEFAULT_FN_ATTRS
 769 _mm512_avg_epu16 (__m512i __A, __m512i __B)
 770 {
 771   return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A,
 772               (__v32hi) __B,
 773               (__v32hi) _mm512_setzero_hi(),
 774               (__mmask32) -1);
 775 }
 776
 777 static __inline__ __m512i __DEFAULT_FN_ATTRS
 778 _mm512_mask_avg_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
 779            __m512i __B)
 780 {
 781   return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A,
 782               (__v32hi) __B,
 783               (__v32hi) __W,
 784               (__mmask32) __U);
 785 }
 786
 787 static __inline__ __m512i __DEFAULT_FN_ATTRS
 788 _mm512_maskz_avg_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
 789 {
 790   return (__m512i) __builtin_ia32_pavgw512_mask ((__v32hi) __A,
 791               (__v32hi) __B,
 792               (__v32hi) _mm512_setzero_hi(),
 793               (__mmask32) __U);
 794 }
 795
 796 static __inline__ __m512i __DEFAULT_FN_ATTRS
 797 _mm512_max_epi8 (__m512i __A, __m512i __B)
 798 {
 799   return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A,
 800               (__v64qi) __B,
 801               (__v64qi) _mm512_setzero_qi(),
 802               (__mmask64) -1);
 803 }
 804
 805 static __inline__ __m512i __DEFAULT_FN_ATTRS
 806 _mm512_maskz_max_epi8 (__mmask64 __M, __m512i __A, __m512i __B)
 807 {
 808   return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A,
 809               (__v64qi) __B,
 810               (__v64qi) _mm512_setzero_qi(),
 811               (__mmask64) __M);
 812 }
 813
 814 static __inline__ __m512i __DEFAULT_FN_ATTRS
 815 _mm512_mask_max_epi8 (__m512i __W, __mmask64 __M, __m512i __A,
 816           __m512i __B)
 817 {
 818   return (__m512i) __builtin_ia32_pmaxsb512_mask ((__v64qi) __A,
 819               (__v64qi) __B,
 820               (__v64qi) __W,
 821               (__mmask64) __M);
 822 }
 823
 824 static __inline__ __m512i __DEFAULT_FN_ATTRS
 825 _mm512_max_epi16 (__m512i __A, __m512i __B)
 826 {
 827   return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A,
 828               (__v32hi) __B,
 829               (__v32hi) _mm512_setzero_hi(),
 830               (__mmask32) -1);
 831 }
 832
 833 static __inline__ __m512i __DEFAULT_FN_ATTRS
 834 _mm512_maskz_max_epi16 (__mmask32 __M, __m512i __A, __m512i __B)
 835 {
 836   return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A,
 837               (__v32hi) __B,
 838               (__v32hi) _mm512_setzero_hi(),
 839               (__mmask32) __M);
 840 }
 841
 842 static __inline__ __m512i __DEFAULT_FN_ATTRS
 843 _mm512_mask_max_epi16 (__m512i __W, __mmask32 __M, __m512i __A,
 844            __m512i __B)
 845 {
 846   return (__m512i) __builtin_ia32_pmaxsw512_mask ((__v32hi) __A,
 847               (__v32hi) __B,
 848               (__v32hi) __W,
 849               (__mmask32) __M);
 850 }
 851
 852 static __inline__ __m512i __DEFAULT_FN_ATTRS
 853 _mm512_max_epu8 (__m512i __A, __m512i __B)
 854 {
 855   return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A,
 856               (__v64qi) __B,
 857               (__v64qi) _mm512_setzero_qi(),
 858               (__mmask64) -1);
 859 }
 860
 861 static __inline__ __m512i __DEFAULT_FN_ATTRS
 862 _mm512_maskz_max_epu8 (__mmask64 __M, __m512i __A, __m512i __B)
 863 {
 864   return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A,
 865               (__v64qi) __B,
 866               (__v64qi) _mm512_setzero_qi(),
 867               (__mmask64) __M);
 868 }
 869
 870 static __inline__ __m512i __DEFAULT_FN_ATTRS
 871 _mm512_mask_max_epu8 (__m512i __W, __mmask64 __M, __m512i __A,
 872           __m512i __B)
 873 {
 874   return (__m512i) __builtin_ia32_pmaxub512_mask ((__v64qi) __A,
 875               (__v64qi) __B,
 876               (__v64qi) __W,
 877               (__mmask64) __M);
 878 }
 879
 880 static __inline__ __m512i __DEFAULT_FN_ATTRS
 881 _mm512_max_epu16 (__m512i __A, __m512i __B)
 882 {
 883   return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A,
 884               (__v32hi) __B,
 885               (__v32hi) _mm512_setzero_hi(),
 886               (__mmask32) -1);
 887 }
 888
 889 static __inline__ __m512i __DEFAULT_FN_ATTRS
 890 _mm512_maskz_max_epu16 (__mmask32 __M, __m512i __A, __m512i __B)
 891 {
 892   return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A,
 893               (__v32hi) __B,
 894               (__v32hi) _mm512_setzero_hi(),
 895               (__mmask32) __M);
 896 }
 897
 898 static __inline__ __m512i __DEFAULT_FN_ATTRS
 899 _mm512_mask_max_epu16 (__m512i __W, __mmask32 __M, __m512i __A,
 900            __m512i __B)
 901 {
 902   return (__m512i) __builtin_ia32_pmaxuw512_mask ((__v32hi) __A,
 903               (__v32hi) __B,
 904               (__v32hi) __W,
 905               (__mmask32) __M);
 906 }
 907
 908 static __inline__ __m512i __DEFAULT_FN_ATTRS
 909 _mm512_min_epi8 (__m512i __A, __m512i __B)
 910 {
 911   return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A,
 912               (__v64qi) __B,
 913               (__v64qi) _mm512_setzero_qi(),
 914               (__mmask64) -1);
 915 }
 916
 917 static __inline__ __m512i __DEFAULT_FN_ATTRS
 918 _mm512_maskz_min_epi8 (__mmask64 __M, __m512i __A, __m512i __B)
 919 {
 920   return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A,
 921               (__v64qi) __B,
 922               (__v64qi) _mm512_setzero_qi(),
 923               (__mmask64) __M);
 924 }
 925
 926 static __inline__ __m512i __DEFAULT_FN_ATTRS
 927 _mm512_mask_min_epi8 (__m512i __W, __mmask64 __M, __m512i __A,
 928           __m512i __B)
 929 {
 930   return (__m512i) __builtin_ia32_pminsb512_mask ((__v64qi) __A,
 931               (__v64qi) __B,
 932               (__v64qi) __W,
 933               (__mmask64) __M);
 934 }
 935
 936 static __inline__ __m512i __DEFAULT_FN_ATTRS
 937 _mm512_min_epi16 (__m512i __A, __m512i __B)
 938 {
 939   return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A,
 940               (__v32hi) __B,
 941               (__v32hi) _mm512_setzero_hi(),
 942               (__mmask32) -1);
 943 }
 944
 945 static __inline__ __m512i __DEFAULT_FN_ATTRS
 946 _mm512_maskz_min_epi16 (__mmask32 __M, __m512i __A, __m512i __B)
 947 {
 948   return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A,
 949               (__v32hi) __B,
 950               (__v32hi) _mm512_setzero_hi(),
 951               (__mmask32) __M);
 952 }
 953
 954 static __inline__ __m512i __DEFAULT_FN_ATTRS
 955 _mm512_mask_min_epi16 (__m512i __W, __mmask32 __M, __m512i __A,
 956            __m512i __B)
 957 {
 958   return (__m512i) __builtin_ia32_pminsw512_mask ((__v32hi) __A,
 959               (__v32hi) __B,
 960               (__v32hi) __W,
 961               (__mmask32) __M);
 962 }
 963
 964 static __inline__ __m512i __DEFAULT_FN_ATTRS
 965 _mm512_min_epu8 (__m512i __A, __m512i __B)
 966 {
 967   return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A,
 968               (__v64qi) __B,
 969               (__v64qi) _mm512_setzero_qi(),
 970               (__mmask64) -1);
 971 }
 972
 973 static __inline__ __m512i __DEFAULT_FN_ATTRS
 974 _mm512_maskz_min_epu8 (__mmask64 __M, __m512i __A, __m512i __B)
 975 {
 976   return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A,
 977               (__v64qi) __B,
 978               (__v64qi) _mm512_setzero_qi(),
 979               (__mmask64) __M);
 980 }
 981
 982 static __inline__ __m512i __DEFAULT_FN_ATTRS
 983 _mm512_mask_min_epu8 (__m512i __W, __mmask64 __M, __m512i __A,
 984           __m512i __B)
 985 {
 986   return (__m512i) __builtin_ia32_pminub512_mask ((__v64qi) __A,
 987               (__v64qi) __B,
 988               (__v64qi) __W,
 989               (__mmask64) __M);
 990 }
 991
 992 static __inline__ __m512i __DEFAULT_FN_ATTRS
 993 _mm512_min_epu16 (__m512i __A, __m512i __B)
 994 {
 995   return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A,
 996               (__v32hi) __B,
 997               (__v32hi) _mm512_setzero_hi(),
 998               (__mmask32) -1);
 999 }
1000
1001 static __inline__ __m512i __DEFAULT_FN_ATTRS
1002 _mm512_maskz_min_epu16 (__mmask32 __M, __m512i __A, __m512i __B)
1003 {
1004   return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A,
1005               (__v32hi) __B,
1006               (__v32hi) _mm512_setzero_hi(),
1007               (__mmask32) __M);
1008 }
1009
1010 static __inline__ __m512i __DEFAULT_FN_ATTRS
1011 _mm512_mask_min_epu16 (__m512i __W, __mmask32 __M, __m512i __A,
1012            __m512i __B)
1013 {
1014   return (__m512i) __builtin_ia32_pminuw512_mask ((__v32hi) __A,
1015               (__v32hi) __B,
1016               (__v32hi) __W,
1017               (__mmask32) __M);
1018 }
1019
1020 static __inline__ __m512i __DEFAULT_FN_ATTRS
1021 _mm512_shuffle_epi8 (__m512i __A, __m512i __B)
1022 {
1023   return (__m512i) __builtin_ia32_pshufb512_mask ((__v64qi) __A,
1024               (__v64qi) __B,
1025               (__v64qi) _mm512_setzero_qi(),
1026               (__mmask64) -1);
1027 }
1028
1029 static __inline__ __m512i __DEFAULT_FN_ATTRS
1030 _mm512_mask_shuffle_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
1031         __m512i __B)
1032 {
1033   return (__m512i) __builtin_ia32_pshufb512_mask ((__v64qi) __A,
1034               (__v64qi) __B,
1035               (__v64qi) __W,
1036               (__mmask64) __U);
1037 }
1038
1039 static __inline__ __m512i __DEFAULT_FN_ATTRS
1040 _mm512_maskz_shuffle_epi8 (__mmask64 __U, __m512i __A, __m512i __B)
1041 {
1042   return (__m512i) __builtin_ia32_pshufb512_mask ((__v64qi) __A,
1043               (__v64qi) __B,
1044               (__v64qi) _mm512_setzero_qi(),
1045               (__mmask64) __U);
1046 }
1047
1048 static __inline__ __m512i __DEFAULT_FN_ATTRS
1049 _mm512_subs_epi8 (__m512i __A, __m512i __B)
1050 {
1051   return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A,
1052               (__v64qi) __B,
1053               (__v64qi) _mm512_setzero_qi(),
1054               (__mmask64) -1);
1055 }
1056
1057 static __inline__ __m512i __DEFAULT_FN_ATTRS
1058 _mm512_mask_subs_epi8 (__m512i __W, __mmask64 __U, __m512i __A,
1059            __m512i __B)
1060 {
1061   return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A,
1062               (__v64qi) __B,
1063               (__v64qi) __W,
1064               (__mmask64) __U);
1065 }
1066
1067 static __inline__ __m512i __DEFAULT_FN_ATTRS
1068 _mm512_maskz_subs_epi8 (__mmask64 __U, __m512i __A, __m512i __B)
1069 {
1070   return (__m512i) __builtin_ia32_psubsb512_mask ((__v64qi) __A,
1071               (__v64qi) __B,
1072               (__v64qi) _mm512_setzero_qi(),
1073               (__mmask64) __U);
1074 }
1075
1076 static __inline__ __m512i __DEFAULT_FN_ATTRS
1077 _mm512_subs_epi16 (__m512i __A, __m512i __B)
1078 {
1079   return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A,
1080               (__v32hi) __B,
1081               (__v32hi) _mm512_setzero_hi(),
1082               (__mmask32) -1);
1083 }
1084
1085 static __inline__ __m512i __DEFAULT_FN_ATTRS
1086 _mm512_mask_subs_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1087       __m512i __B)
1088 {
1089   return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A,
1090               (__v32hi) __B,
1091               (__v32hi) __W,
1092               (__mmask32) __U);
1093 }
1094
1095 static __inline__ __m512i __DEFAULT_FN_ATTRS
1096 _mm512_maskz_subs_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1097 {
1098   return (__m512i) __builtin_ia32_psubsw512_mask ((__v32hi) __A,
1099               (__v32hi) __B,
1100               (__v32hi) _mm512_setzero_hi(),
1101               (__mmask32) __U);
1102 }
1103
1104 static __inline__ __m512i __DEFAULT_FN_ATTRS
1105 _mm512_subs_epu8 (__m512i __A, __m512i __B)
1106 {
1107   return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A,
1108               (__v64qi) __B,
1109               (__v64qi) _mm512_setzero_qi(),
1110               (__mmask64) -1);
1111 }
1112
1113 static __inline__ __m512i __DEFAULT_FN_ATTRS
1114 _mm512_mask_subs_epu8 (__m512i __W, __mmask64 __U, __m512i __A,
1115            __m512i __B)
1116 {
1117   return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A,
1118               (__v64qi) __B,
1119               (__v64qi) __W,
1120               (__mmask64) __U);
1121 }
1122
1123 static __inline__ __m512i __DEFAULT_FN_ATTRS
1124 _mm512_maskz_subs_epu8 (__mmask64 __U, __m512i __A, __m512i __B)
1125 {
1126   return (__m512i) __builtin_ia32_psubusb512_mask ((__v64qi) __A,
1127               (__v64qi) __B,
1128               (__v64qi) _mm512_setzero_qi(),
1129               (__mmask64) __U);
1130 }
1131
1132 static __inline__ __m512i __DEFAULT_FN_ATTRS
1133 _mm512_subs_epu16 (__m512i __A, __m512i __B)
1134 {
1135   return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A,
1136               (__v32hi) __B,
1137               (__v32hi) _mm512_setzero_hi(),
1138               (__mmask32) -1);
1139 }
1140
1141 static __inline__ __m512i __DEFAULT_FN_ATTRS
1142 _mm512_mask_subs_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
1143       __m512i __B)
1144 {
1145   return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A,
1146               (__v32hi) __B,
1147               (__v32hi) __W,
1148               (__mmask32) __U);
1149 }
1150
1151 static __inline__ __m512i __DEFAULT_FN_ATTRS
1152 _mm512_maskz_subs_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
1153 {
1154   return (__m512i) __builtin_ia32_psubusw512_mask ((__v32hi) __A,
1155               (__v32hi) __B,
1156               (__v32hi) _mm512_setzero_hi(),
1157               (__mmask32) __U);
1158 }
1159
1160 static __inline__ __m512i __DEFAULT_FN_ATTRS
1161 _mm512_mask2_permutex2var_epi16 (__m512i __A, __m512i __I,
1162          __mmask32 __U, __m512i __B)
1163 {
1164   return (__m512i) __builtin_ia32_vpermi2varhi512_mask ((__v32hi) __A,
1165               (__v32hi) __I /* idx */ ,
1166               (__v32hi) __B,
1167               (__mmask32) __U);
1168 }
1169
1170 static __inline__ __m512i __DEFAULT_FN_ATTRS
1171 _mm512_permutex2var_epi16 (__m512i __A, __m512i __I, __m512i __B)
1172 {
1173   return (__m512i) __builtin_ia32_vpermt2varhi512_mask ((__v32hi) __I /* idx */,
1174               (__v32hi) __A,
1175               (__v32hi) __B,
1176               (__mmask32) -1);
1177 }
1178
1179 static __inline__ __m512i __DEFAULT_FN_ATTRS
1180 _mm512_mask_permutex2var_epi16 (__m512i __A, __mmask32 __U,
1181         __m512i __I, __m512i __B)
1182 {
1183   return (__m512i) __builtin_ia32_vpermt2varhi512_mask ((__v32hi) __I /* idx */,
1184               (__v32hi) __A,
1185               (__v32hi) __B,
1186               (__mmask32) __U);
1187 }
1188
1189 static __inline__ __m512i __DEFAULT_FN_ATTRS
1190 _mm512_maskz_permutex2var_epi16 (__mmask32 __U, __m512i __A,
1191          __m512i __I, __m512i __B)
1192 {
1193   return (__m512i) __builtin_ia32_vpermt2varhi512_maskz ((__v32hi) __I
1194               /* idx */ ,
1195               (__v32hi) __A,
1196               (__v32hi) __B,
1197               (__mmask32) __U);
1198 }
1199
1200 static __inline__ __m512i __DEFAULT_FN_ATTRS
1201 _mm512_mulhrs_epi16 (__m512i __A, __m512i __B)
1202 {
1203   return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A,
1204                 (__v32hi) __B,
1205                 (__v32hi) _mm512_setzero_hi(),
1206                 (__mmask32) -1);
1207 }
1208
1209 static __inline__ __m512i __DEFAULT_FN_ATTRS
1210 _mm512_mask_mulhrs_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1211         __m512i __B)
1212 {
1213   return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A,
1214                 (__v32hi) __B,
1215                 (__v32hi) __W,
1216                 (__mmask32) __U);
1217 }
1218
1219 static __inline__ __m512i __DEFAULT_FN_ATTRS
1220 _mm512_maskz_mulhrs_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1221 {
1222   return (__m512i) __builtin_ia32_pmulhrsw512_mask ((__v32hi) __A,
1223                 (__v32hi) __B,
1224                 (__v32hi) _mm512_setzero_hi(),
1225                 (__mmask32) __U);
1226 }
1227
1228 static __inline__ __m512i __DEFAULT_FN_ATTRS
1229 _mm512_mulhi_epi16 (__m512i __A, __m512i __B)
1230 {
1231   return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A,
1232               (__v32hi) __B,
1233               (__v32hi) _mm512_setzero_hi(),
1234               (__mmask32) -1);
1235 }
1236
1237 static __inline__ __m512i __DEFAULT_FN_ATTRS
1238 _mm512_mask_mulhi_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1239        __m512i __B)
1240 {
1241   return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A,
1242               (__v32hi) __B,
1243               (__v32hi) __W,
1244               (__mmask32) __U);
1245 }
1246
1247 static __inline__ __m512i __DEFAULT_FN_ATTRS
1248 _mm512_maskz_mulhi_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1249 {
1250   return (__m512i) __builtin_ia32_pmulhw512_mask ((__v32hi) __A,
1251               (__v32hi) __B,
1252               (__v32hi) _mm512_setzero_hi(),
1253               (__mmask32) __U);
1254 }
1255
1256 static __inline__ __m512i __DEFAULT_FN_ATTRS
1257 _mm512_mulhi_epu16 (__m512i __A, __m512i __B)
1258 {
1259   return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A,
1260                (__v32hi) __B,
1261                (__v32hi) _mm512_setzero_hi(),
1262                (__mmask32) -1);
1263 }
1264
1265 static __inline__ __m512i __DEFAULT_FN_ATTRS
1266 _mm512_mask_mulhi_epu16 (__m512i __W, __mmask32 __U, __m512i __A,
1267        __m512i __B)
1268 {
1269   return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A,
1270                (__v32hi) __B,
1271                (__v32hi) __W,
1272                (__mmask32) __U);
1273 }
1274
1275 static __inline__ __m512i __DEFAULT_FN_ATTRS
1276 _mm512_maskz_mulhi_epu16 (__mmask32 __U, __m512i __A, __m512i __B)
1277 {
1278   return (__m512i) __builtin_ia32_pmulhuw512_mask ((__v32hi) __A,
1279                (__v32hi) __B,
1280                (__v32hi) _mm512_setzero_hi(),
1281                (__mmask32) __U);
1282 }
1283
1284 static __inline__ __m512i __DEFAULT_FN_ATTRS
1285 _mm512_maddubs_epi16 (__m512i __X, __m512i __Y) {
1286   return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X,
1287                  (__v64qi) __Y,
1288                  (__v32hi) _mm512_setzero_hi(),
1289                  (__mmask32) -1);
1290 }
1291
1292 static __inline__ __m512i __DEFAULT_FN_ATTRS
1293 _mm512_mask_maddubs_epi16 (__m512i __W, __mmask32 __U, __m512i __X,
1294          __m512i __Y) {
1295   return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X,
1296                  (__v64qi) __Y,
1297                  (__v32hi) __W,
1298                  (__mmask32) __U);
1299 }
1300
1301 static __inline__ __m512i __DEFAULT_FN_ATTRS
1302 _mm512_maskz_maddubs_epi16 (__mmask32 __U, __m512i __X, __m512i __Y) {
1303   return (__m512i) __builtin_ia32_pmaddubsw512_mask ((__v64qi) __X,
1304                  (__v64qi) __Y,
1305                  (__v32hi) _mm512_setzero_hi(),
1306                  (__mmask32) __U);
1307 }
1308
1309 static __inline__ __m512i __DEFAULT_FN_ATTRS
1310 _mm512_madd_epi16 (__m512i __A, __m512i __B) {
1311   return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A,
1312                (__v32hi) __B,
1313                (__v16si) _mm512_setzero_si512(),
1314                (__mmask16) -1);
1315 }
1316
1317 static __inline__ __m512i __DEFAULT_FN_ATTRS
1318 _mm512_mask_madd_epi16 (__m512i __W, __mmask16 __U, __m512i __A,
1319       __m512i __B) {
1320   return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A,
1321                (__v32hi) __B,
1322                (__v16si) __W,
1323                (__mmask16) __U);
1324 }
1325
1326 static __inline__ __m512i __DEFAULT_FN_ATTRS
1327 _mm512_maskz_madd_epi16 (__mmask16 __U, __m512i __A, __m512i __B) {
1328   return (__m512i) __builtin_ia32_pmaddwd512_mask ((__v32hi) __A,
1329                (__v32hi) __B,
1330                (__v16si) _mm512_setzero_si512(),
1331                (__mmask16) __U);
1332 }
1333
1334 static __inline__ __m256i __DEFAULT_FN_ATTRS
1335 _mm512_cvtsepi16_epi8 (__m512i __A) {
1336   return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
1337                (__v32qi)_mm256_setzero_si256(),
1338                (__mmask32) -1);
1339 }
1340
1341 static __inline__ __m256i __DEFAULT_FN_ATTRS
1342 _mm512_mask_cvtsepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
1343   return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
1344                (__v32qi)__O,
1345                __M);
1346 }
1347
1348 static __inline__ __m256i __DEFAULT_FN_ATTRS
1349 _mm512_maskz_cvtsepi16_epi8 (__mmask32 __M, __m512i __A) {
1350   return (__m256i) __builtin_ia32_pmovswb512_mask ((__v32hi) __A,
1351                (__v32qi) _mm256_setzero_si256(),
1352                __M);
1353 }
1354
1355 static __inline__ __m256i __DEFAULT_FN_ATTRS
1356 _mm512_cvtusepi16_epi8 (__m512i __A) {
1357   return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
1358                 (__v32qi) _mm256_setzero_si256(),
1359                 (__mmask32) -1);
1360 }
1361
1362 static __inline__ __m256i __DEFAULT_FN_ATTRS
1363 _mm512_mask_cvtusepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
1364   return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
1365                 (__v32qi) __O,
1366                 __M);
1367 }
1368
1369 static __inline__ __m256i __DEFAULT_FN_ATTRS
1370 _mm512_maskz_cvtusepi16_epi8 (__mmask32 __M, __m512i __A) {
1371   return (__m256i) __builtin_ia32_pmovuswb512_mask ((__v32hi) __A,
1372                 (__v32qi) _mm256_setzero_si256(),
1373                 __M);
1374 }
1375
1376 static __inline__ __m256i __DEFAULT_FN_ATTRS
1377 _mm512_cvtepi16_epi8 (__m512i __A) {
1378   return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
1379               (__v32qi) _mm256_setzero_si256(),
1380               (__mmask32) -1);
1381 }
1382
1383 static __inline__ __m256i __DEFAULT_FN_ATTRS
1384 _mm512_mask_cvtepi16_epi8 (__m256i __O, __mmask32 __M, __m512i __A) {
1385   return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
1386               (__v32qi) __O,
1387               __M);
1388 }
1389
1390 static __inline__ __m256i __DEFAULT_FN_ATTRS
1391 _mm512_maskz_cvtepi16_epi8 (__mmask32 __M, __m512i __A) {
1392   return (__m256i) __builtin_ia32_pmovwb512_mask ((__v32hi) __A,
1393               (__v32qi) _mm256_setzero_si256(),
1394               __M);
1395 }
1396
1397 static __inline__ void __DEFAULT_FN_ATTRS
1398 _mm512_mask_cvtepi16_storeu_epi8 (void * __P, __mmask32 __M, __m512i __A)
1399 {
1400   __builtin_ia32_pmovwb512mem_mask ((__v32qi *) __P, (__v32hi) __A, __M);
1401 }
1402
1403 static __inline__ void __DEFAULT_FN_ATTRS
1404 _mm512_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask32 __M, __m512i __A)
1405 {
1406   __builtin_ia32_pmovswb512mem_mask ((__v32qi *) __P, (__v32hi) __A, __M);
1407 }
1408
1409 static __inline__ void __DEFAULT_FN_ATTRS
1410 _mm512_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask32 __M, __m512i __A)
1411 {
1412   __builtin_ia32_pmovuswb512mem_mask ((__v32qi *) __P, (__v32hi) __A, __M);
1413 }
1414
1415 static __inline__ __m512i __DEFAULT_FN_ATTRS
1416 _mm512_unpackhi_epi8(__m512i __A, __m512i __B) {
1417   return (__m512i)__builtin_shufflevector((__v64qi)__A, (__v64qi)__B,
1418                                           8,  64+8,   9, 64+9,
1419                                           10, 64+10, 11, 64+11,
1420                                           12, 64+12, 13, 64+13,
1421                                           14, 64+14, 15, 64+15,
1422                                           24, 64+24, 25, 64+25,
1423                                           26, 64+26, 27, 64+27,
1424                                           28, 64+28, 29, 64+29,
1425                                           30, 64+30, 31, 64+31,
1426                                           40, 64+40, 41, 64+41,
1427                                           42, 64+42, 43, 64+43,
1428                                           44, 64+44, 45, 64+45,
1429                                           46, 64+46, 47, 64+47,
1430                                           56, 64+56, 57, 64+57,
1431                                           58, 64+58, 59, 64+59,
1432                                           60, 64+60, 61, 64+61,
1433                                           62, 64+62, 63, 64+63);
1434 }
1435
1436 static __inline__ __m512i __DEFAULT_FN_ATTRS
1437 _mm512_mask_unpackhi_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
1438   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1439                                         (__v64qi)_mm512_unpackhi_epi8(__A, __B),
1440                                         (__v64qi)__W);
1441 }
1442
1443 static __inline__ __m512i __DEFAULT_FN_ATTRS
1444 _mm512_maskz_unpackhi_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
1445   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1446                                         (__v64qi)_mm512_unpackhi_epi8(__A, __B),
1447                                         (__v64qi)_mm512_setzero_qi());
1448 }
1449
1450 static __inline__ __m512i __DEFAULT_FN_ATTRS
1451 _mm512_unpackhi_epi16(__m512i __A, __m512i __B) {
1452   return (__m512i)__builtin_shufflevector((__v32hi)__A, (__v32hi)__B,
1453                                           4,  32+4,   5, 32+5,
1454                                           6,  32+6,   7, 32+7,
1455                                           12, 32+12, 13, 32+13,
1456                                           14, 32+14, 15, 32+15,
1457                                           20, 32+20, 21, 32+21,
1458                                           22, 32+22, 23, 32+23,
1459                                           28, 32+28, 29, 32+29,
1460                                           30, 32+30, 31, 32+31);
1461 }
1462
1463 static __inline__ __m512i __DEFAULT_FN_ATTRS
1464 _mm512_mask_unpackhi_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
1465   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1466                                        (__v32hi)_mm512_unpackhi_epi16(__A, __B),
1467                                        (__v32hi)__W);
1468 }
1469
1470 static __inline__ __m512i __DEFAULT_FN_ATTRS
1471 _mm512_maskz_unpackhi_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
1472   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1473                                        (__v32hi)_mm512_unpackhi_epi16(__A, __B),
1474                                        (__v32hi)_mm512_setzero_hi());
1475 }
1476
1477 static __inline__ __m512i __DEFAULT_FN_ATTRS
1478 _mm512_unpacklo_epi8(__m512i __A, __m512i __B) {
1479   return (__m512i)__builtin_shufflevector((__v64qi)__A, (__v64qi)__B,
1480                                           0,  64+0,   1, 64+1,
1481                                           2,  64+2,   3, 64+3,
1482                                           4,  64+4,   5, 64+5,
1483                                           6,  64+6,   7, 64+7,
1484                                           16, 64+16, 17, 64+17,
1485                                           18, 64+18, 19, 64+19,
1486                                           20, 64+20, 21, 64+21,
1487                                           22, 64+22, 23, 64+23,
1488                                           32, 64+32, 33, 64+33,
1489                                           34, 64+34, 35, 64+35,
1490                                           36, 64+36, 37, 64+37,
1491                                           38, 64+38, 39, 64+39,
1492                                           48, 64+48, 49, 64+49,
1493                                           50, 64+50, 51, 64+51,
1494                                           52, 64+52, 53, 64+53,
1495                                           54, 64+54, 55, 64+55);
1496 }
1497
1498 static __inline__ __m512i __DEFAULT_FN_ATTRS
1499 _mm512_mask_unpacklo_epi8(__m512i __W, __mmask64 __U, __m512i __A, __m512i __B) {
1500   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1501                                         (__v64qi)_mm512_unpacklo_epi8(__A, __B),
1502                                         (__v64qi)__W);
1503 }
1504
1505 static __inline__ __m512i __DEFAULT_FN_ATTRS
1506 _mm512_maskz_unpacklo_epi8(__mmask64 __U, __m512i __A, __m512i __B) {
1507   return (__m512i)__builtin_ia32_selectb_512((__mmask64)__U,
1508                                         (__v64qi)_mm512_unpacklo_epi8(__A, __B),
1509                                         (__v64qi)_mm512_setzero_qi());
1510 }
1511
1512 static __inline__ __m512i __DEFAULT_FN_ATTRS
1513 _mm512_unpacklo_epi16(__m512i __A, __m512i __B) {
1514   return (__m512i)__builtin_shufflevector((__v32hi)__A, (__v32hi)__B,
1515                                           0,  32+0,   1, 32+1,
1516                                           2,  32+2,   3, 32+3,
1517                                           8,  32+8,   9, 32+9,
1518                                           10, 32+10, 11, 32+11,
1519                                           16, 32+16, 17, 32+17,
1520                                           18, 32+18, 19, 32+19,
1521                                           24, 32+24, 25, 32+25,
1522                                           26, 32+26, 27, 32+27);
1523 }
1524
1525 static __inline__ __m512i __DEFAULT_FN_ATTRS
1526 _mm512_mask_unpacklo_epi16(__m512i __W, __mmask32 __U, __m512i __A, __m512i __B) {
1527   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1528                                        (__v32hi)_mm512_unpacklo_epi16(__A, __B),
1529                                        (__v32hi)__W);
1530 }
1531
1532 static __inline__ __m512i __DEFAULT_FN_ATTRS
1533 _mm512_maskz_unpacklo_epi16(__mmask32 __U, __m512i __A, __m512i __B) {
1534   return (__m512i)__builtin_ia32_selectw_512((__mmask32)__U,
1535                                        (__v32hi)_mm512_unpacklo_epi16(__A, __B),
1536                                        (__v32hi)_mm512_setzero_hi());
1537 }
1538
1539 static __inline__ __m512i __DEFAULT_FN_ATTRS
1540 _mm512_cvtepi8_epi16 (__m256i __A)
1541 {
1542   return (__m512i) __builtin_ia32_pmovsxbw512_mask ((__v32qi) __A,
1543                 (__v32hi)
1544                 _mm512_setzero_hi (),
1545                 (__mmask32) -1);
1546 }
1547
1548 static __inline__ __m512i __DEFAULT_FN_ATTRS
1549 _mm512_mask_cvtepi8_epi16 (__m512i __W, __mmask32 __U, __m256i __A)
1550 {
1551   return (__m512i) __builtin_ia32_pmovsxbw512_mask ((__v32qi) __A,
1552                 (__v32hi) __W,
1553                 (__mmask32) __U);
1554 }
1555
1556 static __inline__ __m512i __DEFAULT_FN_ATTRS
1557 _mm512_maskz_cvtepi8_epi16 (__mmask32 __U, __m256i __A)
1558 {
1559   return (__m512i) __builtin_ia32_pmovsxbw512_mask ((__v32qi) __A,
1560                 (__v32hi)
1561                 _mm512_setzero_hi(),
1562                 (__mmask32) __U);
1563 }
1564
1565 static __inline__ __m512i __DEFAULT_FN_ATTRS
1566 _mm512_cvtepu8_epi16 (__m256i __A)
1567 {
1568   return (__m512i) __builtin_ia32_pmovzxbw512_mask ((__v32qi) __A,
1569                 (__v32hi)
1570                 _mm512_setzero_hi (),
1571                 (__mmask32) -1);
1572 }
1573
1574 static __inline__ __m512i __DEFAULT_FN_ATTRS
1575 _mm512_mask_cvtepu8_epi16 (__m512i __W, __mmask32 __U, __m256i __A)
1576 {
1577   return (__m512i) __builtin_ia32_pmovzxbw512_mask ((__v32qi) __A,
1578                 (__v32hi) __W,
1579                 (__mmask32) __U);
1580 }
1581
1582 static __inline__ __m512i __DEFAULT_FN_ATTRS
1583 _mm512_maskz_cvtepu8_epi16 (__mmask32 __U, __m256i __A)
1584 {
1585   return (__m512i) __builtin_ia32_pmovzxbw512_mask ((__v32qi) __A,
1586                 (__v32hi)
1587                 _mm512_setzero_hi(),
1588                 (__mmask32) __U);
1589 }
1590
1591
1592 #define _mm512_cmp_epi8_mask(a, b, p) __extension__ ({ \
1593   (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \
1594                                          (__v64qi)(__m512i)(b), (int)(p), \
1595                                          (__mmask64)-1); })
1596
1597 #define _mm512_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \
1598   (__mmask64)__builtin_ia32_cmpb512_mask((__v64qi)(__m512i)(a), \
1599                                          (__v64qi)(__m512i)(b), (int)(p), \
1600                                          (__mmask64)(m)); })
1601
1602 #define _mm512_cmp_epu8_mask(a, b, p) __extension__ ({ \
1603   (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)(__m512i)(a), \
1604                                           (__v64qi)(__m512i)(b), (int)(p), \
1605                                           (__mmask64)-1); })
1606
1607 #define _mm512_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \
1608   (__mmask64)__builtin_ia32_ucmpb512_mask((__v64qi)(__m512i)(a), \
1609                                           (__v64qi)(__m512i)(b), (int)(p), \
1610                                           (__mmask64)(m)); })
1611
1612 #define _mm512_cmp_epi16_mask(a, b, p) __extension__ ({ \
1613   (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)(__m512i)(a), \
1614                                          (__v32hi)(__m512i)(b), (int)(p), \
1615                                          (__mmask32)-1); })
1616
1617 #define _mm512_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \
1618   (__mmask32)__builtin_ia32_cmpw512_mask((__v32hi)(__m512i)(a), \
1619                                          (__v32hi)(__m512i)(b), (int)(p), \
1620                                          (__mmask32)(m)); })
1621
1622 #define _mm512_cmp_epu16_mask(a, b, p) __extension__ ({ \
1623   (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)(__m512i)(a), \
1624                                           (__v32hi)(__m512i)(b), (int)(p), \
1625                                           (__mmask32)-1); })
1626
1627 #define _mm512_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \
1628   (__mmask32)__builtin_ia32_ucmpw512_mask((__v32hi)(__m512i)(a), \
1629                                           (__v32hi)(__m512i)(b), (int)(p), \
1630                                           (__mmask32)(m)); })
1631
1632 #define _mm512_shufflehi_epi16(A, imm) __extension__ ({ \
1633   (__m512i)__builtin_shufflevector((__v32hi)(__m512i)(A), \
1634                                    (__v32hi)_mm512_undefined_epi32(), \
1635                                    0, 1, 2, 3, \
1636                                    4  + (((imm) >> 0) & 0x3), \
1637                                    4  + (((imm) >> 2) & 0x3), \
1638                                    4  + (((imm) >> 4) & 0x3), \
1639                                    4  + (((imm) >> 6) & 0x3), \
1640                                    8, 9, 10, 11, \
1641                                    12 + (((imm) >> 0) & 0x3), \
1642                                    12 + (((imm) >> 2) & 0x3), \
1643                                    12 + (((imm) >> 4) & 0x3), \
1644                                    12 + (((imm) >> 6) & 0x3), \
1645                                    16, 17, 18, 19, \
1646                                    20 + (((imm) >> 0) & 0x3), \
1647                                    20 + (((imm) >> 2) & 0x3), \
1648                                    20 + (((imm) >> 4) & 0x3), \
1649                                    20 + (((imm) >> 6) & 0x3), \
1650                                    24, 25, 26, 27, \
1651                                    28 + (((imm) >> 0) & 0x3), \
1652                                    28 + (((imm) >> 2) & 0x3), \
1653                                    28 + (((imm) >> 4) & 0x3), \
1654                                    28 + (((imm) >> 6) & 0x3)); })
1655
1656 #define _mm512_mask_shufflehi_epi16(W, U, A, imm) __extension__ ({ \
1657   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1658                                       (__v32hi)_mm512_shufflehi_epi16((A), \
1659                                                                       (imm)), \
1660                                       (__v32hi)(__m512i)(W)); })
1661
1662 #define _mm512_maskz_shufflehi_epi16(U, A, imm) __extension__ ({ \
1663   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1664                                       (__v32hi)_mm512_shufflehi_epi16((A), \
1665                                                                       (imm)), \
1666                                       (__v32hi)_mm512_setzero_hi()); })
1667
1668 #define _mm512_shufflelo_epi16(A, imm) __extension__ ({ \
1669   (__m512i)__builtin_shufflevector((__v32hi)(__m512i)(A), \
1670                                    (__v32hi)_mm512_undefined_epi32(), \
1671                                    0 + (((imm) >> 0) & 0x3), \
1672                                    0 + (((imm) >> 2) & 0x3), \
1673                                    0 + (((imm) >> 4) & 0x3), \
1674                                    0 + (((imm) >> 6) & 0x3), \
1675                                    4, 5, 6, 7, \
1676                                    8 + (((imm) >> 0) & 0x3), \
1677                                    8 + (((imm) >> 2) & 0x3), \
1678                                    8 + (((imm) >> 4) & 0x3), \
1679                                    8 + (((imm) >> 6) & 0x3), \
1680                                    12, 13, 14, 15, \
1681                                    16 + (((imm) >> 0) & 0x3), \
1682                                    16 + (((imm) >> 2) & 0x3), \
1683                                    16 + (((imm) >> 4) & 0x3), \
1684                                    16 + (((imm) >> 6) & 0x3), \
1685                                    20, 21, 22, 23, \
1686                                    24 + (((imm) >> 0) & 0x3), \
1687                                    24 + (((imm) >> 2) & 0x3), \
1688                                    24 + (((imm) >> 4) & 0x3), \
1689                                    24 + (((imm) >> 6) & 0x3), \
1690                                    28, 29, 30, 31); })
1691
1692
1693 #define _mm512_mask_shufflelo_epi16(W, U, A, imm) __extension__ ({ \
1694   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1695                                       (__v32hi)_mm512_shufflelo_epi16((A), \
1696                                                                       (imm)), \
1697                                       (__v32hi)(__m512i)(W)); })
1698
1699
1700 #define _mm512_maskz_shufflelo_epi16(U, A, imm) __extension__ ({ \
1701   (__m512i)__builtin_ia32_selectw_512((__mmask32)(U), \
1702                                       (__v32hi)_mm512_shufflelo_epi16((A), \
1703                                                                       (imm)), \
1704                                       (__v32hi)_mm512_setzero_hi()); })
1705
1706 static __inline__ __m512i __DEFAULT_FN_ATTRS
1707 _mm512_sllv_epi16 (__m512i __A, __m512i __B)
1708 {
1709   return (__m512i) __builtin_ia32_psllv32hi_mask ((__v32hi) __A,
1710               (__v32hi) __B,
1711               (__v32hi)
1712               _mm512_setzero_hi (),
1713               (__mmask32) -1);
1714 }
1715
1716 static __inline__ __m512i __DEFAULT_FN_ATTRS
1717 _mm512_mask_sllv_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1718       __m512i __B)
1719 {
1720   return (__m512i) __builtin_ia32_psllv32hi_mask ((__v32hi) __A,
1721               (__v32hi) __B,
1722               (__v32hi) __W,
1723               (__mmask32) __U);
1724 }
1725
1726 static __inline__ __m512i __DEFAULT_FN_ATTRS
1727 _mm512_maskz_sllv_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1728 {
1729   return (__m512i) __builtin_ia32_psllv32hi_mask ((__v32hi) __A,
1730               (__v32hi) __B,
1731               (__v32hi)
1732               _mm512_setzero_hi (),
1733               (__mmask32) __U);
1734 }
1735
1736 static __inline__ __m512i __DEFAULT_FN_ATTRS
1737 _mm512_sll_epi16 (__m512i __A, __m128i __B)
1738 {
1739   return (__m512i) __builtin_ia32_psllw512_mask ((__v32hi) __A,
1740              (__v8hi) __B,
1741              (__v32hi)
1742              _mm512_setzero_hi (),
1743              (__mmask32) -1);
1744 }
1745
1746 static __inline__ __m512i __DEFAULT_FN_ATTRS
1747 _mm512_mask_sll_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1748            __m128i __B)
1749 {
1750   return (__m512i) __builtin_ia32_psllw512_mask ((__v32hi) __A,
1751              (__v8hi) __B,
1752              (__v32hi) __W,
1753              (__mmask32) __U);
1754 }
1755
1756 static __inline__ __m512i __DEFAULT_FN_ATTRS
1757 _mm512_maskz_sll_epi16 (__mmask32 __U, __m512i __A, __m128i __B)
1758 {
1759   return (__m512i) __builtin_ia32_psllw512_mask ((__v32hi) __A,
1760              (__v8hi) __B,
1761              (__v32hi)
1762              _mm512_setzero_hi (),
1763              (__mmask32) __U);
1764 }
1765
1766 #define _mm512_slli_epi16(A, B) __extension__ ({ \
1767   (__m512i)__builtin_ia32_psllwi512_mask((__v32hi)(__m512i)(A), (int)(B), \
1768                                          (__v32hi)_mm512_setzero_hi(), \
1769                                          (__mmask32)-1); })
1770
1771 #define _mm512_mask_slli_epi16(W, U, A, B) __extension__ ({ \
1772   (__m512i)__builtin_ia32_psllwi512_mask((__v32hi)(__m512i)(A), (int)(B), \
1773                                          (__v32hi)(__m512i)(W), \
1774                                          (__mmask32)(U)); })
1775
1776 #define _mm512_maskz_slli_epi16(U, A, B) __extension__ ({ \
1777   (__m512i)__builtin_ia32_psllwi512_mask((__v32hi)(__m512i)(A), (int)(B), \
1778                                          (__v32hi)_mm512_setzero_hi(), \
1779                                          (__mmask32)(U)); })
1780
1781 #define _mm512_bslli_epi128(a, imm) __extension__ ({ \
1782   (__m512i)__builtin_shufflevector(                                          \
1783        (__v64qi)_mm512_setzero_si512(),                                      \
1784        (__v64qi)(__m512i)(a),                                                \
1785        ((char)(imm)&0xF0) ?  0 : ((char)(imm)>0x0 ? 16 :  64) - (char)(imm), \
1786        ((char)(imm)&0xF0) ?  1 : ((char)(imm)>0x1 ? 17 :  65) - (char)(imm), \
1787        ((char)(imm)&0xF0) ?  2 : ((char)(imm)>0x2 ? 18 :  66) - (char)(imm), \
1788        ((char)(imm)&0xF0) ?  3 : ((char)(imm)>0x3 ? 19 :  67) - (char)(imm), \
1789        ((char)(imm)&0xF0) ?  4 : ((char)(imm)>0x4 ? 20 :  68) - (char)(imm), \
1790        ((char)(imm)&0xF0) ?  5 : ((char)(imm)>0x5 ? 21 :  69) - (char)(imm), \
1791        ((char)(imm)&0xF0) ?  6 : ((char)(imm)>0x6 ? 22 :  70) - (char)(imm), \
1792        ((char)(imm)&0xF0) ?  7 : ((char)(imm)>0x7 ? 23 :  71) - (char)(imm), \
1793        ((char)(imm)&0xF0) ?  8 : ((char)(imm)>0x8 ? 24 :  72) - (char)(imm), \
1794        ((char)(imm)&0xF0) ?  9 : ((char)(imm)>0x9 ? 25 :  73) - (char)(imm), \
1795        ((char)(imm)&0xF0) ? 10 : ((char)(imm)>0xA ? 26 :  74) - (char)(imm), \
1796        ((char)(imm)&0xF0) ? 11 : ((char)(imm)>0xB ? 27 :  75) - (char)(imm), \
1797        ((char)(imm)&0xF0) ? 12 : ((char)(imm)>0xC ? 28 :  76) - (char)(imm), \
1798        ((char)(imm)&0xF0) ? 13 : ((char)(imm)>0xD ? 29 :  77) - (char)(imm), \
1799        ((char)(imm)&0xF0) ? 14 : ((char)(imm)>0xE ? 30 :  78) - (char)(imm), \
1800        ((char)(imm)&0xF0) ? 15 : ((char)(imm)>0xF ? 31 :  79) - (char)(imm), \
1801        ((char)(imm)&0xF0) ? 16 : ((char)(imm)>0x0 ? 32 :  80) - (char)(imm), \
1802        ((char)(imm)&0xF0) ? 17 : ((char)(imm)>0x1 ? 33 :  81) - (char)(imm), \
1803        ((char)(imm)&0xF0) ? 18 : ((char)(imm)>0x2 ? 34 :  82) - (char)(imm), \
1804        ((char)(imm)&0xF0) ? 19 : ((char)(imm)>0x3 ? 35 :  83) - (char)(imm), \
1805        ((char)(imm)&0xF0) ? 20 : ((char)(imm)>0x4 ? 36 :  84) - (char)(imm), \
1806        ((char)(imm)&0xF0) ? 21 : ((char)(imm)>0x5 ? 37 :  85) - (char)(imm), \
1807        ((char)(imm)&0xF0) ? 22 : ((char)(imm)>0x6 ? 38 :  86) - (char)(imm), \
1808        ((char)(imm)&0xF0) ? 23 : ((char)(imm)>0x7 ? 39 :  87) - (char)(imm), \
1809        ((char)(imm)&0xF0) ? 24 : ((char)(imm)>0x8 ? 40 :  88) - (char)(imm), \
1810        ((char)(imm)&0xF0) ? 25 : ((char)(imm)>0x9 ? 41 :  89) - (char)(imm), \
1811        ((char)(imm)&0xF0) ? 26 : ((char)(imm)>0xA ? 42 :  90) - (char)(imm), \
1812        ((char)(imm)&0xF0) ? 27 : ((char)(imm)>0xB ? 43 :  91) - (char)(imm), \
1813        ((char)(imm)&0xF0) ? 28 : ((char)(imm)>0xC ? 44 :  92) - (char)(imm), \
1814        ((char)(imm)&0xF0) ? 29 : ((char)(imm)>0xD ? 45 :  93) - (char)(imm), \
1815        ((char)(imm)&0xF0) ? 30 : ((char)(imm)>0xE ? 46 :  94) - (char)(imm), \
1816        ((char)(imm)&0xF0) ? 31 : ((char)(imm)>0xF ? 47 :  95) - (char)(imm), \
1817        ((char)(imm)&0xF0) ? 32 : ((char)(imm)>0x0 ? 48 :  96) - (char)(imm), \
1818        ((char)(imm)&0xF0) ? 33 : ((char)(imm)>0x1 ? 49 :  97) - (char)(imm), \
1819        ((char)(imm)&0xF0) ? 34 : ((char)(imm)>0x2 ? 50 :  98) - (char)(imm), \
1820        ((char)(imm)&0xF0) ? 35 : ((char)(imm)>0x3 ? 51 :  99) - (char)(imm), \
1821        ((char)(imm)&0xF0) ? 36 : ((char)(imm)>0x4 ? 52 : 100) - (char)(imm), \
1822        ((char)(imm)&0xF0) ? 37 : ((char)(imm)>0x5 ? 53 : 101) - (char)(imm), \
1823        ((char)(imm)&0xF0) ? 38 : ((char)(imm)>0x6 ? 54 : 102) - (char)(imm), \
1824        ((char)(imm)&0xF0) ? 39 : ((char)(imm)>0x7 ? 55 : 103) - (char)(imm), \
1825        ((char)(imm)&0xF0) ? 40 : ((char)(imm)>0x8 ? 56 : 104) - (char)(imm), \
1826        ((char)(imm)&0xF0) ? 41 : ((char)(imm)>0x9 ? 57 : 105) - (char)(imm), \
1827        ((char)(imm)&0xF0) ? 42 : ((char)(imm)>0xA ? 58 : 106) - (char)(imm), \
1828        ((char)(imm)&0xF0) ? 43 : ((char)(imm)>0xB ? 59 : 107) - (char)(imm), \
1829        ((char)(imm)&0xF0) ? 44 : ((char)(imm)>0xC ? 60 : 108) - (char)(imm), \
1830        ((char)(imm)&0xF0) ? 45 : ((char)(imm)>0xD ? 61 : 109) - (char)(imm), \
1831        ((char)(imm)&0xF0) ? 46 : ((char)(imm)>0xE ? 62 : 110) - (char)(imm), \
1832        ((char)(imm)&0xF0) ? 47 : ((char)(imm)>0xF ? 63 : 111) - (char)(imm), \
1833        ((char)(imm)&0xF0) ? 48 : ((char)(imm)>0x0 ? 64 : 112) - (char)(imm), \
1834        ((char)(imm)&0xF0) ? 49 : ((char)(imm)>0x1 ? 65 : 113) - (char)(imm), \
1835        ((char)(imm)&0xF0) ? 50 : ((char)(imm)>0x2 ? 66 : 114) - (char)(imm), \
1836        ((char)(imm)&0xF0) ? 51 : ((char)(imm)>0x3 ? 67 : 115) - (char)(imm), \
1837        ((char)(imm)&0xF0) ? 52 : ((char)(imm)>0x4 ? 68 : 116) - (char)(imm), \
1838        ((char)(imm)&0xF0) ? 53 : ((char)(imm)>0x5 ? 69 : 117) - (char)(imm), \
1839        ((char)(imm)&0xF0) ? 54 : ((char)(imm)>0x6 ? 70 : 118) - (char)(imm), \
1840        ((char)(imm)&0xF0) ? 55 : ((char)(imm)>0x7 ? 71 : 119) - (char)(imm), \
1841        ((char)(imm)&0xF0) ? 56 : ((char)(imm)>0x8 ? 72 : 120) - (char)(imm), \
1842        ((char)(imm)&0xF0) ? 57 : ((char)(imm)>0x9 ? 73 : 121) - (char)(imm), \
1843        ((char)(imm)&0xF0) ? 58 : ((char)(imm)>0xA ? 74 : 122) - (char)(imm), \
1844        ((char)(imm)&0xF0) ? 59 : ((char)(imm)>0xB ? 75 : 123) - (char)(imm), \
1845        ((char)(imm)&0xF0) ? 60 : ((char)(imm)>0xC ? 76 : 124) - (char)(imm), \
1846        ((char)(imm)&0xF0) ? 61 : ((char)(imm)>0xD ? 77 : 125) - (char)(imm), \
1847        ((char)(imm)&0xF0) ? 62 : ((char)(imm)>0xE ? 78 : 126) - (char)(imm), \
1848        ((char)(imm)&0xF0) ? 63 : ((char)(imm)>0xF ? 79 : 127) - (char)(imm)); })
1849
1850 static __inline__ __m512i __DEFAULT_FN_ATTRS
1851 _mm512_srlv_epi16 (__m512i __A, __m512i __B)
1852 {
1853   return (__m512i) __builtin_ia32_psrlv32hi_mask ((__v32hi) __A,
1854               (__v32hi) __B,
1855               (__v32hi)
1856               _mm512_setzero_hi (),
1857               (__mmask32) -1);
1858 }
1859
1860 static __inline__ __m512i __DEFAULT_FN_ATTRS
1861 _mm512_mask_srlv_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1862       __m512i __B)
1863 {
1864   return (__m512i) __builtin_ia32_psrlv32hi_mask ((__v32hi) __A,
1865               (__v32hi) __B,
1866               (__v32hi) __W,
1867               (__mmask32) __U);
1868 }
1869
1870 static __inline__ __m512i __DEFAULT_FN_ATTRS
1871 _mm512_maskz_srlv_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1872 {
1873   return (__m512i) __builtin_ia32_psrlv32hi_mask ((__v32hi) __A,
1874               (__v32hi) __B,
1875               (__v32hi)
1876               _mm512_setzero_hi (),
1877               (__mmask32) __U);
1878 }
1879
1880 static __inline__ __m512i __DEFAULT_FN_ATTRS
1881 _mm512_srav_epi16 (__m512i __A, __m512i __B)
1882 {
1883   return (__m512i) __builtin_ia32_psrav32hi_mask ((__v32hi) __A,
1884               (__v32hi) __B,
1885               (__v32hi)
1886               _mm512_setzero_hi (),
1887               (__mmask32) -1);
1888 }
1889
1890 static __inline__ __m512i __DEFAULT_FN_ATTRS
1891 _mm512_mask_srav_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1892       __m512i __B)
1893 {
1894   return (__m512i) __builtin_ia32_psrav32hi_mask ((__v32hi) __A,
1895               (__v32hi) __B,
1896               (__v32hi) __W,
1897               (__mmask32) __U);
1898 }
1899
1900 static __inline__ __m512i __DEFAULT_FN_ATTRS
1901 _mm512_maskz_srav_epi16 (__mmask32 __U, __m512i __A, __m512i __B)
1902 {
1903   return (__m512i) __builtin_ia32_psrav32hi_mask ((__v32hi) __A,
1904               (__v32hi) __B,
1905               (__v32hi)
1906               _mm512_setzero_hi (),
1907               (__mmask32) __U);
1908 }
1909
1910 static __inline__ __m512i __DEFAULT_FN_ATTRS
1911 _mm512_sra_epi16 (__m512i __A, __m128i __B)
1912 {
1913  return (__m512i) __builtin_ia32_psraw512_mask ((__v32hi) __A,
1914              (__v8hi) __B,
1915              (__v32hi)
1916              _mm512_setzero_hi (),
1917              (__mmask32) -1);
1918 }
1919
1920 static __inline__ __m512i __DEFAULT_FN_ATTRS
1921 _mm512_mask_sra_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1922            __m128i __B)
1923 {
1924   return (__m512i) __builtin_ia32_psraw512_mask ((__v32hi) __A,
1925              (__v8hi) __B,
1926              (__v32hi) __W,
1927             (__mmask32) __U);
1928 }
1929
1930 static __inline__ __m512i __DEFAULT_FN_ATTRS
1931 _mm512_maskz_sra_epi16 (__mmask32 __U, __m512i __A, __m128i __B)
1932 {
1933   return (__m512i) __builtin_ia32_psraw512_mask ((__v32hi) __A,
1934              (__v8hi) __B,
1935              (__v32hi)
1936              _mm512_setzero_hi (),
1937             (__mmask32) __U);
1938 }
1939
1940 #define _mm512_srai_epi16(A, B) __extension__ ({ \
1941   (__m512i)__builtin_ia32_psrawi512_mask((__v32hi)(__m512i)(A), (int)(B), \
1942                                          (__v32hi)_mm512_setzero_hi(), \
1943                                          (__mmask32)-1); })
1944
1945 #define _mm512_mask_srai_epi16(W, U, A, B) __extension__ ({ \
1946   (__m512i)__builtin_ia32_psrawi512_mask((__v32hi)(__m512i)(A), (int)(B), \
1947                                          (__v32hi)(__m512i)(W), \
1948                                          (__mmask32)(U)); })
1949
1950 #define _mm512_maskz_srai_epi16(U, A, B) __extension__ ({ \
1951   (__m512i)__builtin_ia32_psrawi512_mask((__v32hi)(__m512i)(A), (int)(B), \
1952                                          (__v32hi)_mm512_setzero_hi(), \
1953                                          (__mmask32)(U)); })
1954
1955
1956 static __inline__ __m512i __DEFAULT_FN_ATTRS
1957 _mm512_srl_epi16 (__m512i __A, __m128i __B)
1958 {
1959   return (__m512i) __builtin_ia32_psrlw512_mask ((__v32hi) __A,
1960              (__v8hi) __B,
1961              (__v32hi)
1962              _mm512_setzero_hi (),
1963              (__mmask32) -1);
1964 }
1965
1966 static __inline__ __m512i __DEFAULT_FN_ATTRS
1967 _mm512_mask_srl_epi16 (__m512i __W, __mmask32 __U, __m512i __A,
1968            __m128i __B)
1969 {
1970   return (__m512i) __builtin_ia32_psrlw512_mask ((__v32hi) __A,
1971              (__v8hi) __B,
1972              (__v32hi) __W,
1973              (__mmask32) __U);
1974 }
1975
1976 static __inline__ __m512i __DEFAULT_FN_ATTRS
1977 _mm512_maskz_srl_epi16 (__mmask32 __U, __m512i __A, __m128i __B)
1978 {
1979   return (__m512i) __builtin_ia32_psrlw512_mask ((__v32hi) __A,
1980              (__v8hi) __B,
1981              (__v32hi)
1982              _mm512_setzero_hi (),
1983              (__mmask32) __U);
1984 }
1985
1986 #define _mm512_srli_epi16(A, imm) __extension__ ({ \
1987   (__m512i)__builtin_ia32_psrlwi512_mask((__v32hi)(__m512i)(A), (int)(imm), \
1988                                          (__v32hi)_mm512_setzero_hi(), \
1989                                          (__mmask32)-1); })
1990
1991 #define _mm512_mask_srli_epi16(W, U, A, imm) __extension__ ({ \
1992   (__m512i)__builtin_ia32_psrlwi512_mask((__v32hi)(__m512i)(A), (int)(imm), \
1993                                          (__v32hi)(__m512i)(W), \
1994                                          (__mmask32)(U)); })
1995
1996 #define _mm512_maskz_srli_epi16(U, A, imm) __extension__ ({ \
1997   (__m512i)__builtin_ia32_psrlwi512_mask((__v32hi)(__m512i)(A), (int)(imm), \
1998                                          (__v32hi)_mm512_setzero_hi(), \
1999                                          (__mmask32)(U)); })
2000
2001 #define _mm512_bsrli_epi128(a, imm) __extension__ ({ \
2002   (__m512i)__builtin_shufflevector(                     \
2003       (__v64qi)(__m512i)(a),                      \
2004       (__v64qi)_mm512_setzero_si512(),            \
2005       ((char)(imm)&0xF0) ?  64 : (char)(imm) + ((char)(imm)>0xF ?  48 : 0),  \
2006       ((char)(imm)&0xF0) ?  65 : (char)(imm) + ((char)(imm)>0xE ?  49 : 1),  \
2007       ((char)(imm)&0xF0) ?  66 : (char)(imm) + ((char)(imm)>0xD ?  50 : 2),  \
2008       ((char)(imm)&0xF0) ?  67 : (char)(imm) + ((char)(imm)>0xC ?  51 : 3),  \
2009       ((char)(imm)&0xF0) ?  68 : (char)(imm) + ((char)(imm)>0xB ?  52 : 4),  \
2010       ((char)(imm)&0xF0) ?  69 : (char)(imm) + ((char)(imm)>0xA ?  53 : 5),  \
2011       ((char)(imm)&0xF0) ?  70 : (char)(imm) + ((char)(imm)>0x9 ?  54 : 6),  \
2012       ((char)(imm)&0xF0) ?  71 : (char)(imm) + ((char)(imm)>0x8 ?  55 : 7),  \
2013       ((char)(imm)&0xF0) ?  72 : (char)(imm) + ((char)(imm)>0x7 ?  56 : 8),  \
2014       ((char)(imm)&0xF0) ?  73 : (char)(imm) + ((char)(imm)>0x6 ?  57 : 9),  \
2015       ((char)(imm)&0xF0) ?  74 : (char)(imm) + ((char)(imm)>0x5 ?  58 : 10), \
2016       ((char)(imm)&0xF0) ?  75 : (char)(imm) + ((char)(imm)>0x4 ?  59 : 11), \
2017       ((char)(imm)&0xF0) ?  76 : (char)(imm) + ((char)(imm)>0x3 ?  60 : 12), \
2018       ((char)(imm)&0xF0) ?  77 : (char)(imm) + ((char)(imm)>0x2 ?  61 : 13), \
2019       ((char)(imm)&0xF0) ?  78 : (char)(imm) + ((char)(imm)>0x1 ?  62 : 14), \
2020       ((char)(imm)&0xF0) ?  79 : (char)(imm) + ((char)(imm)>0x0 ?  63 : 15), \
2021       ((char)(imm)&0xF0) ?  80 : (char)(imm) + ((char)(imm)>0xF ?  64 : 16), \
2022       ((char)(imm)&0xF0) ?  81 : (char)(imm) + ((char)(imm)>0xE ?  65 : 17), \
2023       ((char)(imm)&0xF0) ?  82 : (char)(imm) + ((char)(imm)>0xD ?  66 : 18), \
2024       ((char)(imm)&0xF0) ?  83 : (char)(imm) + ((char)(imm)>0xC ?  67 : 19), \
2025       ((char)(imm)&0xF0) ?  84 : (char)(imm) + ((char)(imm)>0xB ?  68 : 20), \
2026       ((char)(imm)&0xF0) ?  85 : (char)(imm) + ((char)(imm)>0xA ?  69 : 21), \
2027       ((char)(imm)&0xF0) ?  86 : (char)(imm) + ((char)(imm)>0x9 ?  70 : 22), \
2028       ((char)(imm)&0xF0) ?  87 : (char)(imm) + ((char)(imm)>0x8 ?  71 : 23), \
2029       ((char)(imm)&0xF0) ?  88 : (char)(imm) + ((char)(imm)>0x7 ?  72 : 24), \
2030       ((char)(imm)&0xF0) ?  89 : (char)(imm) + ((char)(imm)>0x6 ?  73 : 25), \
2031       ((char)(imm)&0xF0) ?  90 : (char)(imm) + ((char)(imm)>0x5 ?  74 : 26), \
2032       ((char)(imm)&0xF0) ?  91 : (char)(imm) + ((char)(imm)>0x4 ?  75 : 27), \
2033       ((char)(imm)&0xF0) ?  92 : (char)(imm) + ((char)(imm)>0x3 ?  76 : 28), \
2034       ((char)(imm)&0xF0) ?  93 : (char)(imm) + ((char)(imm)>0x2 ?  77 : 29), \
2035       ((char)(imm)&0xF0) ?  94 : (char)(imm) + ((char)(imm)>0x1 ?  78 : 30), \
2036       ((char)(imm)&0xF0) ?  95 : (char)(imm) + ((char)(imm)>0x0 ?  79 : 31), \
2037       ((char)(imm)&0xF0) ?  96 : (char)(imm) + ((char)(imm)>0xF ?  80 : 32), \
2038       ((char)(imm)&0xF0) ?  97 : (char)(imm) + ((char)(imm)>0xE ?  81 : 33), \
2039       ((char)(imm)&0xF0) ?  98 : (char)(imm) + ((char)(imm)>0xD ?  82 : 34), \
2040       ((char)(imm)&0xF0) ?  99 : (char)(imm) + ((char)(imm)>0xC ?  83 : 35), \
2041       ((char)(imm)&0xF0) ? 100 : (char)(imm) + ((char)(imm)>0xB ?  84 : 36), \
2042       ((char)(imm)&0xF0) ? 101 : (char)(imm) + ((char)(imm)>0xA ?  85 : 37), \
2043       ((char)(imm)&0xF0) ? 102 : (char)(imm) + ((char)(imm)>0x9 ?  86 : 38), \
2044       ((char)(imm)&0xF0) ? 103 : (char)(imm) + ((char)(imm)>0x8 ?  87 : 39), \
2045       ((char)(imm)&0xF0) ? 104 : (char)(imm) + ((char)(imm)>0x7 ?  88 : 40), \
2046       ((char)(imm)&0xF0) ? 105 : (char)(imm) + ((char)(imm)>0x6 ?  89 : 41), \
2047       ((char)(imm)&0xF0) ? 106 : (char)(imm) + ((char)(imm)>0x5 ?  90 : 42), \
2048       ((char)(imm)&0xF0) ? 107 : (char)(imm) + ((char)(imm)>0x4 ?  91 : 43), \
2049       ((char)(imm)&0xF0) ? 108 : (char)(imm) + ((char)(imm)>0x3 ?  92 : 44), \
2050       ((char)(imm)&0xF0) ? 109 : (char)(imm) + ((char)(imm)>0x2 ?  93 : 45), \
2051       ((char)(imm)&0xF0) ? 110 : (char)(imm) + ((char)(imm)>0x1 ?  94 : 46), \
2052       ((char)(imm)&0xF0) ? 111 : (char)(imm) + ((char)(imm)>0x0 ?  95 : 47), \
2053       ((char)(imm)&0xF0) ? 112 : (char)(imm) + ((char)(imm)>0xF ?  96 : 48), \
2054       ((char)(imm)&0xF0) ? 113 : (char)(imm) + ((char)(imm)>0xE ?  97 : 49), \
2055       ((char)(imm)&0xF0) ? 114 : (char)(imm) + ((char)(imm)>0xD ?  98 : 50), \
2056       ((char)(imm)&0xF0) ? 115 : (char)(imm) + ((char)(imm)>0xC ?  99 : 51), \
2057       ((char)(imm)&0xF0) ? 116 : (char)(imm) + ((char)(imm)>0xB ? 100 : 52), \
2058       ((char)(imm)&0xF0) ? 117 : (char)(imm) + ((char)(imm)>0xA ? 101 : 53), \
2059       ((char)(imm)&0xF0) ? 118 : (char)(imm) + ((char)(imm)>0x9 ? 102 : 54), \
2060       ((char)(imm)&0xF0) ? 119 : (char)(imm) + ((char)(imm)>0x8 ? 103 : 55), \
2061       ((char)(imm)&0xF0) ? 120 : (char)(imm) + ((char)(imm)>0x7 ? 104 : 56), \
2062       ((char)(imm)&0xF0) ? 121 : (char)(imm) + ((char)(imm)>0x6 ? 105 : 57), \
2063       ((char)(imm)&0xF0) ? 122 : (char)(imm) + ((char)(imm)>0x5 ? 106 : 58), \
2064       ((char)(imm)&0xF0) ? 123 : (char)(imm) + ((char)(imm)>0x4 ? 107 : 59), \
2065       ((char)(imm)&0xF0) ? 124 : (char)(imm) + ((char)(imm)>0x3 ? 108 : 60), \
2066       ((char)(imm)&0xF0) ? 125 : (char)(imm) + ((char)(imm)>0x2 ? 109 : 61), \
2067       ((char)(imm)&0xF0) ? 126 : (char)(imm) + ((char)(imm)>0x1 ? 110 : 62), \
2068       ((char)(imm)&0xF0) ? 127 : (char)(imm) + ((char)(imm)>0x0 ? 111 : 63)); })
2069
2070 static __inline__ __m512i __DEFAULT_FN_ATTRS
2071 _mm512_mask_mov_epi16 (__m512i __W, __mmask32 __U, __m512i __A)
2072 {
2073   return (__m512i) __builtin_ia32_selectw_512 ((__mmask32) __U,
2074                 (__v32hi) __A,
2075                 (__v32hi) __W);
2076 }
2077
2078 static __inline__ __m512i __DEFAULT_FN_ATTRS
2079 _mm512_maskz_mov_epi16 (__mmask32 __U, __m512i __A)
2080 {
2081   return (__m512i) __builtin_ia32_selectw_512 ((__mmask32) __U,
2082                 (__v32hi) __A,
2083                 (__v32hi) _mm512_setzero_hi ());
2084 }
2085
2086 static __inline__ __m512i __DEFAULT_FN_ATTRS
2087 _mm512_mask_mov_epi8 (__m512i __W, __mmask64 __U, __m512i __A)
2088 {
2089   return (__m512i) __builtin_ia32_selectb_512 ((__mmask64) __U,
2090                 (__v64qi) __A,
2091                 (__v64qi) __W);
2092 }
2093
2094 static __inline__ __m512i __DEFAULT_FN_ATTRS
2095 _mm512_maskz_mov_epi8 (__mmask64 __U, __m512i __A)
2096 {
2097   return (__m512i) __builtin_ia32_selectb_512 ((__mmask64) __U,
2098                 (__v64qi) __A,
2099                 (__v64qi) _mm512_setzero_hi ());
2100 }
2101
2102 static __inline__ __m512i __DEFAULT_FN_ATTRS
2103 _mm512_mask_set1_epi8 (__m512i __O, __mmask64 __M, char __A)
2104 {
2105   return (__m512i) __builtin_ia32_pbroadcastb512_gpr_mask (__A,
2106                  (__v64qi) __O,
2107                  __M);
2108 }
2109
2110 static __inline__ __m512i __DEFAULT_FN_ATTRS
2111 _mm512_maskz_set1_epi8 (__mmask64 __M, char __A)
2112 {
2113   return (__m512i) __builtin_ia32_pbroadcastb512_gpr_mask (__A,
2114                  (__v64qi)
2115                  _mm512_setzero_qi(),
2116                  __M);
2117 }
2118
2119 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2120 _mm512_kunpackd (__mmask64 __A, __mmask64 __B)
2121 {
2122   return (__mmask64) __builtin_ia32_kunpckdi ((__mmask64) __A,
2123                 (__mmask64) __B);
2124 }
2125
2126 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2127 _mm512_kunpackw (__mmask32 __A, __mmask32 __B)
2128 {
2129   return (__mmask32) __builtin_ia32_kunpcksi ((__mmask32) __A,
2130                 (__mmask32) __B);
2131 }
2132
2133 static __inline__ __m512i __DEFAULT_FN_ATTRS
2134 _mm512_mask_loadu_epi16 (__m512i __W, __mmask32 __U, void const *__P)
2135 {
2136   return (__m512i) __builtin_ia32_loaddquhi512_mask ((__v32hi *) __P,
2137                  (__v32hi) __W,
2138                  (__mmask32) __U);
2139 }
2140
2141 static __inline__ __m512i __DEFAULT_FN_ATTRS
2142 _mm512_maskz_loadu_epi16 (__mmask32 __U, void const *__P)
2143 {
2144   return (__m512i) __builtin_ia32_loaddquhi512_mask ((__v32hi *) __P,
2145                  (__v32hi)
2146                  _mm512_setzero_hi (),
2147                  (__mmask32) __U);
2148 }
2149
2150 static __inline__ __m512i __DEFAULT_FN_ATTRS
2151 _mm512_mask_loadu_epi8 (__m512i __W, __mmask64 __U, void const *__P)
2152 {
2153   return (__m512i) __builtin_ia32_loaddquqi512_mask ((__v64qi *) __P,
2154                  (__v64qi) __W,
2155                  (__mmask64) __U);
2156 }
2157
2158 static __inline__ __m512i __DEFAULT_FN_ATTRS
2159 _mm512_maskz_loadu_epi8 (__mmask64 __U, void const *__P)
2160 {
2161   return (__m512i) __builtin_ia32_loaddquqi512_mask ((__v64qi *) __P,
2162                  (__v64qi)
2163                  _mm512_setzero_hi (),
2164                  (__mmask64) __U);
2165 }
2166 static __inline__ void __DEFAULT_FN_ATTRS
2167 _mm512_mask_storeu_epi16 (void *__P, __mmask32 __U, __m512i __A)
2168 {
2169   __builtin_ia32_storedquhi512_mask ((__v32hi *) __P,
2170              (__v32hi) __A,
2171              (__mmask32) __U);
2172 }
2173
2174 static __inline__ void __DEFAULT_FN_ATTRS
2175 _mm512_mask_storeu_epi8 (void *__P, __mmask64 __U, __m512i __A)
2176 {
2177   __builtin_ia32_storedquqi512_mask ((__v64qi *) __P,
2178              (__v64qi) __A,
2179              (__mmask64) __U);
2180 }
2181
2182 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2183 _mm512_test_epi8_mask (__m512i __A, __m512i __B)
2184 {
2185   return (__mmask64) __builtin_ia32_ptestmb512 ((__v64qi) __A,
2186             (__v64qi) __B,
2187             (__mmask64) -1);
2188 }
2189
2190 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2191 _mm512_mask_test_epi8_mask (__mmask64 __U, __m512i __A, __m512i __B)
2192 {
2193   return (__mmask64) __builtin_ia32_ptestmb512 ((__v64qi) __A,
2194             (__v64qi) __B, __U);
2195 }
2196
2197 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2198 _mm512_test_epi16_mask (__m512i __A, __m512i __B)
2199 {
2200   return (__mmask32) __builtin_ia32_ptestmw512 ((__v32hi) __A,
2201             (__v32hi) __B,
2202             (__mmask32) -1);
2203 }
2204
2205 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2206 _mm512_mask_test_epi16_mask (__mmask32 __U, __m512i __A, __m512i __B)
2207 {
2208   return (__mmask32) __builtin_ia32_ptestmw512 ((__v32hi) __A,
2209             (__v32hi) __B, __U);
2210 }
2211
2212 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2213 _mm512_testn_epi8_mask (__m512i __A, __m512i __B)
2214 {
2215   return (__mmask64) __builtin_ia32_ptestnmb512 ((__v64qi) __A,
2216              (__v64qi) __B,
2217              (__mmask64) -1);
2218 }
2219
2220 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2221 _mm512_mask_testn_epi8_mask (__mmask64 __U, __m512i __A, __m512i __B)
2222 {
2223   return (__mmask64) __builtin_ia32_ptestnmb512 ((__v64qi) __A,
2224              (__v64qi) __B, __U);
2225 }
2226
2227 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2228 _mm512_testn_epi16_mask (__m512i __A, __m512i __B)
2229 {
2230   return (__mmask32) __builtin_ia32_ptestnmw512 ((__v32hi) __A,
2231              (__v32hi) __B,
2232              (__mmask32) -1);
2233 }
2234
2235 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2236 _mm512_mask_testn_epi16_mask (__mmask32 __U, __m512i __A, __m512i __B)
2237 {
2238   return (__mmask32) __builtin_ia32_ptestnmw512 ((__v32hi) __A,
2239              (__v32hi) __B, __U);
2240 }
2241
2242 static __inline__ __mmask64 __DEFAULT_FN_ATTRS
2243 _mm512_movepi8_mask (__m512i __A)
2244 {
2245   return (__mmask64) __builtin_ia32_cvtb2mask512 ((__v64qi) __A);
2246 }
2247
2248 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2249 _mm512_movepi16_mask (__m512i __A)
2250 {
2251   return (__mmask32) __builtin_ia32_cvtw2mask512 ((__v32hi) __A);
2252 }
2253
2254 static __inline__ __m512i __DEFAULT_FN_ATTRS
2255 _mm512_movm_epi8 (__mmask64 __A)
2256 {
2257   return (__m512i) __builtin_ia32_cvtmask2b512 (__A);
2258 }
2259
2260 static __inline__ __m512i __DEFAULT_FN_ATTRS
2261 _mm512_movm_epi16 (__mmask32 __A)
2262 {
2263   return (__m512i) __builtin_ia32_cvtmask2w512 (__A);
2264 }
2265
2266 static __inline__ __m512i __DEFAULT_FN_ATTRS
2267 _mm512_broadcastb_epi8 (__m128i __A)
2268 {
2269   return (__m512i)__builtin_shufflevector((__v16qi) __A,
2270                                           (__v16qi)_mm_undefined_si128(),
2271                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2272                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2273                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2274                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
2275 }
2276
2277 static __inline__ __m512i __DEFAULT_FN_ATTRS
2278 _mm512_mask_broadcastb_epi8 (__m512i __O, __mmask64 __M, __m128i __A)
2279 {
2280   return (__m512i)__builtin_ia32_selectb_512(__M,
2281                                              (__v64qi) _mm512_broadcastb_epi8(__A),
2282                                              (__v64qi) __O);
2283 }
2284
2285 static __inline__ __m512i __DEFAULT_FN_ATTRS
2286 _mm512_maskz_broadcastb_epi8 (__mmask64 __M, __m128i __A)
2287 {
2288   return (__m512i)__builtin_ia32_selectb_512(__M,
2289                                              (__v64qi) _mm512_broadcastb_epi8(__A),
2290                                              (__v64qi) _mm512_setzero_si512());
2291 }
2292
2293 static __inline__ __m512i __DEFAULT_FN_ATTRS
2294 _mm512_mask_set1_epi16 (__m512i __O, __mmask32 __M, short __A)
2295 {
2296   return (__m512i) __builtin_ia32_pbroadcastw512_gpr_mask (__A,
2297                  (__v32hi) __O,
2298                  __M);
2299 }
2300
2301 static __inline__ __m512i __DEFAULT_FN_ATTRS
2302 _mm512_maskz_set1_epi16 (__mmask32 __M, short __A)
2303 {
2304   return (__m512i) __builtin_ia32_pbroadcastw512_gpr_mask (__A,
2305                  (__v32hi) _mm512_setzero_hi(),
2306                  __M);
2307 }
2308
2309 static __inline__ __m512i __DEFAULT_FN_ATTRS
2310 _mm512_broadcastw_epi16 (__m128i __A)
2311 {
2312   return (__m512i)__builtin_shufflevector((__v8hi) __A,
2313                                           (__v8hi)_mm_undefined_si128(),
2314                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2315                                           0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
2316 }
2317
2318 static __inline__ __m512i __DEFAULT_FN_ATTRS
2319 _mm512_mask_broadcastw_epi16 (__m512i __O, __mmask32 __M, __m128i __A)
2320 {
2321   return (__m512i)__builtin_ia32_selectw_512(__M,
2322                                              (__v32hi) _mm512_broadcastw_epi16(__A),
2323                                              (__v32hi) __O);
2324 }
2325
2326 static __inline__ __m512i __DEFAULT_FN_ATTRS
2327 _mm512_maskz_broadcastw_epi16 (__mmask32 __M, __m128i __A)
2328 {
2329   return (__m512i)__builtin_ia32_selectw_512(__M,
2330                                              (__v32hi) _mm512_broadcastw_epi16(__A),
2331                                              (__v32hi) _mm512_setzero_si512());
2332 }
2333
2334 static __inline__ __m512i __DEFAULT_FN_ATTRS
2335 _mm512_permutexvar_epi16 (__m512i __A, __m512i __B)
2336 {
2337   return (__m512i) __builtin_ia32_permvarhi512_mask ((__v32hi) __B,
2338                  (__v32hi) __A,
2339                  (__v32hi) _mm512_undefined_epi32 (),
2340                  (__mmask32) -1);
2341 }
2342
2343 static __inline__ __m512i __DEFAULT_FN_ATTRS
2344 _mm512_maskz_permutexvar_epi16 (__mmask32 __M, __m512i __A,
2345         __m512i __B)
2346 {
2347   return (__m512i) __builtin_ia32_permvarhi512_mask ((__v32hi) __B,
2348                  (__v32hi) __A,
2349                  (__v32hi) _mm512_setzero_hi(),
2350                  (__mmask32) __M);
2351 }
2352
2353 static __inline__ __m512i __DEFAULT_FN_ATTRS
2354 _mm512_mask_permutexvar_epi16 (__m512i __W, __mmask32 __M, __m512i __A,
2355              __m512i __B)
2356 {
2357   return (__m512i) __builtin_ia32_permvarhi512_mask ((__v32hi) __B,
2358                  (__v32hi) __A,
2359                  (__v32hi) __W,
2360                  (__mmask32) __M);
2361 }
2362
2363 #define _mm512_alignr_epi8(A, B, N) __extension__ ({\
2364   (__m512i)__builtin_ia32_palignr512_mask((__v64qi)(__m512i)(A), \
2365                                           (__v64qi)(__m512i)(B), (int)(N), \
2366                                           (__v64qi)_mm512_undefined_pd(), \
2367                                           (__mmask64)-1); })
2368
2369 #define _mm512_mask_alignr_epi8(W, U, A, B, N) __extension__({\
2370   (__m512i)__builtin_ia32_palignr512_mask((__v64qi)(__m512i)(A), \
2371                                           (__v64qi)(__m512i)(B), (int)(N), \
2372                                           (__v64qi)(__m512i)(W), \
2373                                           (__mmask64)(U)); })
2374
2375 #define _mm512_maskz_alignr_epi8(U, A, B, N) __extension__({\
2376   (__m512i)__builtin_ia32_palignr512_mask((__v64qi)(__m512i)(A), \
2377                                           (__v64qi)(__m512i)(B), (int)(N), \
2378                                           (__v64qi)_mm512_setzero_si512(), \
2379                                           (__mmask64)(U)); })
2380
2381 #define _mm512_dbsad_epu8(A, B, imm) __extension__ ({\
2382   (__m512i)__builtin_ia32_dbpsadbw512_mask((__v64qi)(__m512i)(A), \
2383                                            (__v64qi)(__m512i)(B), (int)(imm), \
2384                                            (__v32hi)_mm512_undefined_epi32(), \
2385                                            (__mmask32)-1); })
2386
2387 #define _mm512_mask_dbsad_epu8(W, U, A, B, imm) ({\
2388   (__m512i)__builtin_ia32_dbpsadbw512_mask((__v64qi)(__m512i)(A), \
2389                                            (__v64qi)(__m512i)(B), (int)(imm), \
2390                                            (__v32hi)(__m512i)(W), \
2391                                            (__mmask32)(U)); })
2392
2393 #define _mm512_maskz_dbsad_epu8(U, A, B, imm) ({\
2394   (__m512i)__builtin_ia32_dbpsadbw512_mask((__v64qi)(__m512i)(A), \
2395                                            (__v64qi)(__m512i)(B), (int)(imm), \
2396                                            (__v32hi)_mm512_setzero_hi(), \
2397                                            (__mmask32)(U)); })
2398
2399 static __inline__ __m512i __DEFAULT_FN_ATTRS
2400 _mm512_sad_epu8 (__m512i __A, __m512i __B)
2401 {
2402  return (__m512i) __builtin_ia32_psadbw512 ((__v64qi) __A,
2403                (__v64qi) __B);
2404 }
2405
2406
2407
2408 #undef __DEFAULT_FN_ATTRS
2409
2410 #endif