lib/Headers/avx512vlbwintrin.h

   1 /*===---- avx512vlbwintrin.h - AVX512VL and AVX512BW intrinsics ------------===
   2  *
   3  * Permission is hereby granted, free of charge, to any person obtaining a copy
   4  * of this software and associated documentation files (the "Software"), to deal
   5  * in the Software without restriction, including without limitation the rights
   6  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
   7  * copies of the Software, and to permit persons to whom the Software is
   8  * furnished to do so, subject to the following conditions:
   9  *
  10  * The above copyright notice and this permission notice shall be included in
  11  * all copies or substantial portions of the Software.
  12  *
  13  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  14  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  15  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  16  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  17  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  18  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  19  * THE SOFTWARE.
  20  *
  21  *===-----------------------------------------------------------------------===
  22  */
  23
  24 #ifndef __IMMINTRIN_H
  25 #error "Never use <avx512vlbwintrin.h> directly; include <immintrin.h> instead."
  26 #endif
  27
  28 #ifndef __AVX512VLBWINTRIN_H
  29 #define __AVX512VLBWINTRIN_H
  30
  31 /* Define the default attributes for the functions in this file. */
  32 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512vl,avx512bw")))
  33
  34 static  __inline __m128i __DEFAULT_FN_ATTRS
  35 _mm_setzero_hi(void){
  36     return (__m128i)(__v8hi){ 0, 0, 0, 0, 0, 0, 0, 0 };
  37 }
  38
  39 /* Integer compare */
  40
  41 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
  42 _mm_cmpeq_epi8_mask(__m128i __a, __m128i __b) {
  43   return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b,
  44                                                    (__mmask16)-1);
  45 }
  46
  47 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
  48 _mm_mask_cmpeq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
  49   return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b,
  50                                                    __u);
  51 }
  52
  53 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
  54 _mm_cmpeq_epu8_mask(__m128i __a, __m128i __b) {
  55   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0,
  56                                                  (__mmask16)-1);
  57 }
  58
  59 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
  60 _mm_mask_cmpeq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
  61   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0,
  62                                                  __u);
  63 }
  64
  65 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  66 _mm256_cmpeq_epi8_mask(__m256i __a, __m256i __b) {
  67   return (__mmask32)__builtin_ia32_pcmpeqb256_mask((__v32qi)__a, (__v32qi)__b,
  68                                                    (__mmask32)-1);
  69 }
  70
  71 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  72 _mm256_mask_cmpeq_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
  73   return (__mmask32)__builtin_ia32_pcmpeqb256_mask((__v32qi)__a, (__v32qi)__b,
  74                                                    __u);
  75 }
  76
  77 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  78 _mm256_cmpeq_epu8_mask(__m256i __a, __m256i __b) {
  79   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 0,
  80                                                  (__mmask32)-1);
  81 }
  82
  83 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
  84 _mm256_mask_cmpeq_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
  85   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 0,
  86                                                  __u);
  87 }
  88
  89 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
  90 _mm_cmpeq_epi16_mask(__m128i __a, __m128i __b) {
  91   return (__mmask8)__builtin_ia32_pcmpeqw128_mask((__v8hi)__a, (__v8hi)__b,
  92                                                   (__mmask8)-1);
  93 }
  94
  95 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
  96 _mm_mask_cmpeq_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
  97   return (__mmask8)__builtin_ia32_pcmpeqw128_mask((__v8hi)__a, (__v8hi)__b,
  98                                                   __u);
  99 }
 100
 101 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 102 _mm_cmpeq_epu16_mask(__m128i __a, __m128i __b) {
 103   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 0,
 104                                                 (__mmask8)-1);
 105 }
 106
 107 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 108 _mm_mask_cmpeq_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 109   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 0,
 110                                                 __u);
 111 }
 112
 113 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 114 _mm256_cmpeq_epi16_mask(__m256i __a, __m256i __b) {
 115   return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b,
 116                                                    (__mmask16)-1);
 117 }
 118
 119 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 120 _mm256_mask_cmpeq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 121   return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b,
 122                                                    __u);
 123 }
 124
 125 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 126 _mm256_cmpeq_epu16_mask(__m256i __a, __m256i __b) {
 127   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0,
 128                                                  (__mmask16)-1);
 129 }
 130
 131 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 132 _mm256_mask_cmpeq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 133   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0,
 134                                                  __u);
 135 }
 136
 137 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 138 _mm_cmpge_epi8_mask(__m128i __a, __m128i __b) {
 139   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,
 140                                                 (__mmask16)-1);
 141 }
 142
 143 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 144 _mm_mask_cmpge_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 145   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,
 146                                                 __u);
 147 }
 148
 149 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 150 _mm_cmpge_epu8_mask(__m128i __a, __m128i __b) {
 151   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,
 152                                                  (__mmask16)-1);
 153 }
 154
 155 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 156 _mm_mask_cmpge_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 157   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,
 158                                                  __u);
 159 }
 160
 161 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 162 _mm256_cmpge_epi8_mask(__m256i __a, __m256i __b) {
 163   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 5,
 164                                                 (__mmask32)-1);
 165 }
 166
 167 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 168 _mm256_mask_cmpge_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 169   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 5,
 170                                                 __u);
 171 }
 172
 173 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 174 _mm256_cmpge_epu8_mask(__m256i __a, __m256i __b) {
 175   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 5,
 176                                                  (__mmask32)-1);
 177 }
 178
 179 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 180 _mm256_mask_cmpge_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 181   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 5,
 182                                                  __u);
 183 }
 184
 185 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 186 _mm_cmpge_epi16_mask(__m128i __a, __m128i __b) {
 187   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 5,
 188                                                (__mmask8)-1);
 189 }
 190
 191 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 192 _mm_mask_cmpge_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 193   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 5,
 194                                                __u);
 195 }
 196
 197 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 198 _mm_cmpge_epu16_mask(__m128i __a, __m128i __b) {
 199   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 5,
 200                                                 (__mmask8)-1);
 201 }
 202
 203 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 204 _mm_mask_cmpge_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 205   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 5,
 206                                                 __u);
 207 }
 208
 209 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 210 _mm256_cmpge_epi16_mask(__m256i __a, __m256i __b) {
 211   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,
 212                                                 (__mmask16)-1);
 213 }
 214
 215 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 216 _mm256_mask_cmpge_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 217   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,
 218                                                 __u);
 219 }
 220
 221 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 222 _mm256_cmpge_epu16_mask(__m256i __a, __m256i __b) {
 223   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,
 224                                                  (__mmask16)-1);
 225 }
 226
 227 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 228 _mm256_mask_cmpge_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 229   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,
 230                                                  __u);
 231 }
 232
 233 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 234 _mm_cmpgt_epi8_mask(__m128i __a, __m128i __b) {
 235   return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b,
 236                                                    (__mmask16)-1);
 237 }
 238
 239 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 240 _mm_mask_cmpgt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 241   return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b,
 242                                                    __u);
 243 }
 244
 245 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 246 _mm_cmpgt_epu8_mask(__m128i __a, __m128i __b) {
 247   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6,
 248                                                  (__mmask16)-1);
 249 }
 250
 251 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 252 _mm_mask_cmpgt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 253   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6,
 254                                                  __u);
 255 }
 256
 257 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 258 _mm256_cmpgt_epi8_mask(__m256i __a, __m256i __b) {
 259   return (__mmask32)__builtin_ia32_pcmpgtb256_mask((__v32qi)__a, (__v32qi)__b,
 260                                                    (__mmask32)-1);
 261 }
 262
 263 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 264 _mm256_mask_cmpgt_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 265   return (__mmask32)__builtin_ia32_pcmpgtb256_mask((__v32qi)__a, (__v32qi)__b,
 266                                                    __u);
 267 }
 268
 269 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 270 _mm256_cmpgt_epu8_mask(__m256i __a, __m256i __b) {
 271   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 6,
 272                                                  (__mmask32)-1);
 273 }
 274
 275 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 276 _mm256_mask_cmpgt_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 277   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 6,
 278                                                  __u);
 279 }
 280
 281 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 282 _mm_cmpgt_epi16_mask(__m128i __a, __m128i __b) {
 283   return (__mmask8)__builtin_ia32_pcmpgtw128_mask((__v8hi)__a, (__v8hi)__b,
 284                                                   (__mmask8)-1);
 285 }
 286
 287 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 288 _mm_mask_cmpgt_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 289   return (__mmask8)__builtin_ia32_pcmpgtw128_mask((__v8hi)__a, (__v8hi)__b,
 290                                                   __u);
 291 }
 292
 293 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 294 _mm_cmpgt_epu16_mask(__m128i __a, __m128i __b) {
 295   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 6,
 296                                                 (__mmask8)-1);
 297 }
 298
 299 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 300 _mm_mask_cmpgt_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 301   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 6,
 302                                                 __u);
 303 }
 304
 305 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 306 _mm256_cmpgt_epi16_mask(__m256i __a, __m256i __b) {
 307   return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b,
 308                                                    (__mmask16)-1);
 309 }
 310
 311 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 312 _mm256_mask_cmpgt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 313   return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b,
 314                                                    __u);
 315 }
 316
 317 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 318 _mm256_cmpgt_epu16_mask(__m256i __a, __m256i __b) {
 319   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6,
 320                                                  (__mmask16)-1);
 321 }
 322
 323 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 324 _mm256_mask_cmpgt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 325   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6,
 326                                                  __u);
 327 }
 328
 329 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 330 _mm_cmple_epi8_mask(__m128i __a, __m128i __b) {
 331   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,
 332                                                 (__mmask16)-1);
 333 }
 334
 335 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 336 _mm_mask_cmple_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 337   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,
 338                                                 __u);
 339 }
 340
 341 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 342 _mm_cmple_epu8_mask(__m128i __a, __m128i __b) {
 343   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,
 344                                                  (__mmask16)-1);
 345 }
 346
 347 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 348 _mm_mask_cmple_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 349   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,
 350                                                  __u);
 351 }
 352
 353 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 354 _mm256_cmple_epi8_mask(__m256i __a, __m256i __b) {
 355   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 2,
 356                                                 (__mmask32)-1);
 357 }
 358
 359 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 360 _mm256_mask_cmple_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 361   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 2,
 362                                                 __u);
 363 }
 364
 365 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 366 _mm256_cmple_epu8_mask(__m256i __a, __m256i __b) {
 367   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 2,
 368                                                  (__mmask32)-1);
 369 }
 370
 371 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 372 _mm256_mask_cmple_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 373   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 2,
 374                                                  __u);
 375 }
 376
 377 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 378 _mm_cmple_epi16_mask(__m128i __a, __m128i __b) {
 379   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 2,
 380                                                (__mmask8)-1);
 381 }
 382
 383 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 384 _mm_mask_cmple_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 385   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 2,
 386                                                __u);
 387 }
 388
 389 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 390 _mm_cmple_epu16_mask(__m128i __a, __m128i __b) {
 391   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 2,
 392                                                 (__mmask8)-1);
 393 }
 394
 395 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 396 _mm_mask_cmple_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 397   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 2,
 398                                                 __u);
 399 }
 400
 401 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 402 _mm256_cmple_epi16_mask(__m256i __a, __m256i __b) {
 403   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,
 404                                                 (__mmask16)-1);
 405 }
 406
 407 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 408 _mm256_mask_cmple_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 409   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,
 410                                                 __u);
 411 }
 412
 413 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 414 _mm256_cmple_epu16_mask(__m256i __a, __m256i __b) {
 415   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,
 416                                                  (__mmask16)-1);
 417 }
 418
 419 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 420 _mm256_mask_cmple_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 421   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,
 422                                                  __u);
 423 }
 424
 425 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 426 _mm_cmplt_epi8_mask(__m128i __a, __m128i __b) {
 427   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,
 428                                                 (__mmask16)-1);
 429 }
 430
 431 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 432 _mm_mask_cmplt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 433   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,
 434                                                 __u);
 435 }
 436
 437 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 438 _mm_cmplt_epu8_mask(__m128i __a, __m128i __b) {
 439   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,
 440                                                  (__mmask16)-1);
 441 }
 442
 443 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 444 _mm_mask_cmplt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 445   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,
 446                                                  __u);
 447 }
 448
 449 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 450 _mm256_cmplt_epi8_mask(__m256i __a, __m256i __b) {
 451   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 1,
 452                                                 (__mmask32)-1);
 453 }
 454
 455 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 456 _mm256_mask_cmplt_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 457   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 1,
 458                                                 __u);
 459 }
 460
 461 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 462 _mm256_cmplt_epu8_mask(__m256i __a, __m256i __b) {
 463   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 1,
 464                                                  (__mmask32)-1);
 465 }
 466
 467 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 468 _mm256_mask_cmplt_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 469   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 1,
 470                                                  __u);
 471 }
 472
 473 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 474 _mm_cmplt_epi16_mask(__m128i __a, __m128i __b) {
 475   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 1,
 476                                                (__mmask8)-1);
 477 }
 478
 479 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 480 _mm_mask_cmplt_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 481   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 1,
 482                                                __u);
 483 }
 484
 485 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 486 _mm_cmplt_epu16_mask(__m128i __a, __m128i __b) {
 487   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 1,
 488                                                 (__mmask8)-1);
 489 }
 490
 491 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 492 _mm_mask_cmplt_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 493   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 1,
 494                                                 __u);
 495 }
 496
 497 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 498 _mm256_cmplt_epi16_mask(__m256i __a, __m256i __b) {
 499   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,
 500                                                 (__mmask16)-1);
 501 }
 502
 503 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 504 _mm256_mask_cmplt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 505   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,
 506                                                 __u);
 507 }
 508
 509 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 510 _mm256_cmplt_epu16_mask(__m256i __a, __m256i __b) {
 511   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,
 512                                                  (__mmask16)-1);
 513 }
 514
 515 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 516 _mm256_mask_cmplt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 517   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,
 518                                                  __u);
 519 }
 520
 521 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 522 _mm_cmpneq_epi8_mask(__m128i __a, __m128i __b) {
 523   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,
 524                                                 (__mmask16)-1);
 525 }
 526
 527 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 528 _mm_mask_cmpneq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 529   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,
 530                                                 __u);
 531 }
 532
 533 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 534 _mm_cmpneq_epu8_mask(__m128i __a, __m128i __b) {
 535   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,
 536                                                  (__mmask16)-1);
 537 }
 538
 539 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 540 _mm_mask_cmpneq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {
 541   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,
 542                                                  __u);
 543 }
 544
 545 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 546 _mm256_cmpneq_epi8_mask(__m256i __a, __m256i __b) {
 547   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 4,
 548                                                 (__mmask32)-1);
 549 }
 550
 551 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 552 _mm256_mask_cmpneq_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 553   return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 4,
 554                                                 __u);
 555 }
 556
 557 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 558 _mm256_cmpneq_epu8_mask(__m256i __a, __m256i __b) {
 559   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 4,
 560                                                  (__mmask32)-1);
 561 }
 562
 563 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
 564 _mm256_mask_cmpneq_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) {
 565   return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 4,
 566                                                  __u);
 567 }
 568
 569 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 570 _mm_cmpneq_epi16_mask(__m128i __a, __m128i __b) {
 571   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 4,
 572                                                (__mmask8)-1);
 573 }
 574
 575 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 576 _mm_mask_cmpneq_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 577   return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 4,
 578                                                __u);
 579 }
 580
 581 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 582 _mm_cmpneq_epu16_mask(__m128i __a, __m128i __b) {
 583   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 4,
 584                                                 (__mmask8)-1);
 585 }
 586
 587 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
 588 _mm_mask_cmpneq_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) {
 589   return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 4,
 590                                                 __u);
 591 }
 592
 593 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 594 _mm256_cmpneq_epi16_mask(__m256i __a, __m256i __b) {
 595   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,
 596                                                 (__mmask16)-1);
 597 }
 598
 599 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 600 _mm256_mask_cmpneq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 601   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,
 602                                                 __u);
 603 }
 604
 605 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 606 _mm256_cmpneq_epu16_mask(__m256i __a, __m256i __b) {
 607   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,
 608                                                  (__mmask16)-1);
 609 }
 610
 611 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
 612 _mm256_mask_cmpneq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {
 613   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,
 614                                                  __u);
 615 }
 616
 617 static __inline__ __m256i __DEFAULT_FN_ATTRS
 618 _mm256_mask_add_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B){
 619   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
 620                                              (__v32qi)_mm256_add_epi8(__A, __B),
 621                                              (__v32qi)__W);
 622 }
 623
 624 static __inline__ __m256i __DEFAULT_FN_ATTRS
 625 _mm256_maskz_add_epi8(__mmask32 __U, __m256i __A, __m256i __B) {
 626   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
 627                                              (__v32qi)_mm256_add_epi8(__A, __B),
 628                                              (__v32qi)_mm256_setzero_si256());
 629 }
 630
 631 static __inline__ __m256i __DEFAULT_FN_ATTRS
 632 _mm256_mask_add_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
 633   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 634                                              (__v16hi)_mm256_add_epi16(__A, __B),
 635                                              (__v16hi)__W);
 636 }
 637
 638 static __inline__ __m256i __DEFAULT_FN_ATTRS
 639 _mm256_maskz_add_epi16(__mmask16 __U, __m256i __A, __m256i __B) {
 640   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 641                                              (__v16hi)_mm256_add_epi16(__A, __B),
 642                                              (__v16hi)_mm256_setzero_si256());
 643 }
 644
 645 static __inline__ __m256i __DEFAULT_FN_ATTRS
 646 _mm256_mask_sub_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) {
 647   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
 648                                              (__v32qi)_mm256_sub_epi8(__A, __B),
 649                                              (__v32qi)__W);
 650 }
 651
 652 static __inline__ __m256i __DEFAULT_FN_ATTRS
 653 _mm256_maskz_sub_epi8(__mmask32 __U, __m256i __A, __m256i __B) {
 654   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
 655                                              (__v32qi)_mm256_sub_epi8(__A, __B),
 656                                              (__v32qi)_mm256_setzero_si256());
 657 }
 658
 659 static __inline__ __m256i __DEFAULT_FN_ATTRS
 660 _mm256_mask_sub_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
 661   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 662                                              (__v16hi)_mm256_sub_epi16(__A, __B),
 663                                              (__v16hi)__W);
 664 }
 665
 666 static __inline__ __m256i __DEFAULT_FN_ATTRS
 667 _mm256_maskz_sub_epi16(__mmask16 __U, __m256i __A, __m256i __B) {
 668   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 669                                              (__v16hi)_mm256_sub_epi16(__A, __B),
 670                                              (__v16hi)_mm256_setzero_si256());
 671 }
 672
 673 static __inline__ __m128i __DEFAULT_FN_ATTRS
 674 _mm_mask_add_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) {
 675   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 676                                              (__v16qi)_mm_add_epi8(__A, __B),
 677                                              (__v16qi)__W);
 678 }
 679
 680 static __inline__ __m128i __DEFAULT_FN_ATTRS
 681 _mm_maskz_add_epi8(__mmask16 __U, __m128i __A, __m128i __B) {
 682   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 683                                              (__v16qi)_mm_add_epi8(__A, __B),
 684                                              (__v16qi)_mm_setzero_si128());
 685 }
 686
 687 static __inline__ __m128i __DEFAULT_FN_ATTRS
 688 _mm_mask_add_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
 689   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 690                                              (__v8hi)_mm_add_epi16(__A, __B),
 691                                              (__v8hi)__W);
 692 }
 693
 694 static __inline__ __m128i __DEFAULT_FN_ATTRS
 695 _mm_maskz_add_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
 696   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 697                                              (__v8hi)_mm_add_epi16(__A, __B),
 698                                              (__v8hi)_mm_setzero_si128());
 699 }
 700
 701 static __inline__ __m128i __DEFAULT_FN_ATTRS
 702 _mm_mask_sub_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) {
 703   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 704                                              (__v16qi)_mm_sub_epi8(__A, __B),
 705                                              (__v16qi)__W);
 706 }
 707
 708 static __inline__ __m128i __DEFAULT_FN_ATTRS
 709 _mm_maskz_sub_epi8(__mmask16 __U, __m128i __A, __m128i __B) {
 710   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 711                                              (__v16qi)_mm_sub_epi8(__A, __B),
 712                                              (__v16qi)_mm_setzero_si128());
 713 }
 714
 715 static __inline__ __m128i __DEFAULT_FN_ATTRS
 716 _mm_mask_sub_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
 717   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 718                                              (__v8hi)_mm_sub_epi16(__A, __B),
 719                                              (__v8hi)__W);
 720 }
 721
 722 static __inline__ __m128i __DEFAULT_FN_ATTRS
 723 _mm_maskz_sub_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
 724   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 725                                              (__v8hi)_mm_sub_epi16(__A, __B),
 726                                              (__v8hi)_mm_setzero_si128());
 727 }
 728
 729 static __inline__ __m256i __DEFAULT_FN_ATTRS
 730 _mm256_mask_mullo_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
 731   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 732                                              (__v16hi)_mm256_mullo_epi16(__A, __B),
 733                                              (__v16hi)__W);
 734 }
 735
 736 static __inline__ __m256i __DEFAULT_FN_ATTRS
 737 _mm256_maskz_mullo_epi16(__mmask16 __U, __m256i __A, __m256i __B) {
 738   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 739                                              (__v16hi)_mm256_mullo_epi16(__A, __B),
 740                                              (__v16hi)_mm256_setzero_si256());
 741 }
 742
 743 static __inline__ __m128i __DEFAULT_FN_ATTRS
 744 _mm_mask_mullo_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
 745   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 746                                              (__v8hi)_mm_mullo_epi16(__A, __B),
 747                                              (__v8hi)__W);
 748 }
 749
 750 static __inline__ __m128i __DEFAULT_FN_ATTRS
 751 _mm_maskz_mullo_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
 752   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 753                                              (__v8hi)_mm_mullo_epi16(__A, __B),
 754                                              (__v8hi)_mm_setzero_si128());
 755 }
 756
 757 static __inline__ __m128i __DEFAULT_FN_ATTRS
 758 _mm_mask_blend_epi8 (__mmask16 __U, __m128i __A, __m128i __W)
 759 {
 760   return (__m128i) __builtin_ia32_selectb_128 ((__mmask16) __U,
 761               (__v16qi) __W,
 762               (__v16qi) __A);
 763 }
 764
 765 static __inline__ __m256i __DEFAULT_FN_ATTRS
 766 _mm256_mask_blend_epi8 (__mmask32 __U, __m256i __A, __m256i __W)
 767 {
 768   return (__m256i) __builtin_ia32_selectb_256 ((__mmask32) __U,
 769                (__v32qi) __W,
 770                (__v32qi) __A);
 771 }
 772
 773 static __inline__ __m128i __DEFAULT_FN_ATTRS
 774 _mm_mask_blend_epi16 (__mmask8 __U, __m128i __A, __m128i __W)
 775 {
 776   return (__m128i) __builtin_ia32_selectw_128 ((__mmask8) __U,
 777                (__v8hi) __W,
 778                (__v8hi) __A);
 779 }
 780
 781 static __inline__ __m256i __DEFAULT_FN_ATTRS
 782 _mm256_mask_blend_epi16 (__mmask16 __U, __m256i __A, __m256i __W)
 783 {
 784   return (__m256i) __builtin_ia32_selectw_256 ((__mmask16) __U,
 785                (__v16hi) __W,
 786                (__v16hi) __A);
 787 }
 788
 789 static __inline__ __m128i __DEFAULT_FN_ATTRS
 790 _mm_mask_abs_epi8(__m128i __W, __mmask16 __U, __m128i __A)
 791 {
 792   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 793                                              (__v16qi)_mm_abs_epi8(__A),
 794                                              (__v16qi)__W);
 795 }
 796
 797 static __inline__ __m128i __DEFAULT_FN_ATTRS
 798 _mm_maskz_abs_epi8(__mmask16 __U, __m128i __A)
 799 {
 800   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 801                                              (__v16qi)_mm_abs_epi8(__A),
 802                                              (__v16qi)_mm_setzero_si128());
 803 }
 804
 805 static __inline__ __m256i __DEFAULT_FN_ATTRS
 806 _mm256_mask_abs_epi8(__m256i __W, __mmask32 __U, __m256i __A)
 807 {
 808   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
 809                                              (__v32qi)_mm256_abs_epi8(__A),
 810                                              (__v32qi)__W);
 811 }
 812
 813 static __inline__ __m256i __DEFAULT_FN_ATTRS
 814 _mm256_maskz_abs_epi8 (__mmask32 __U, __m256i __A)
 815 {
 816   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
 817                                              (__v32qi)_mm256_abs_epi8(__A),
 818                                              (__v32qi)_mm256_setzero_si256());
 819 }
 820
 821 static __inline__ __m128i __DEFAULT_FN_ATTRS
 822 _mm_mask_abs_epi16(__m128i __W, __mmask8 __U, __m128i __A)
 823 {
 824   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 825                                              (__v8hi)_mm_abs_epi16(__A),
 826                                              (__v8hi)__W);
 827 }
 828
 829 static __inline__ __m128i __DEFAULT_FN_ATTRS
 830 _mm_maskz_abs_epi16(__mmask8 __U, __m128i __A)
 831 {
 832   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
 833                                              (__v8hi)_mm_abs_epi16(__A),
 834                                              (__v8hi)_mm_setzero_si128());
 835 }
 836
 837 static __inline__ __m256i __DEFAULT_FN_ATTRS
 838 _mm256_mask_abs_epi16(__m256i __W, __mmask16 __U, __m256i __A)
 839 {
 840   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 841                                              (__v16hi)_mm256_abs_epi16(__A),
 842                                              (__v16hi)__W);
 843 }
 844
 845 static __inline__ __m256i __DEFAULT_FN_ATTRS
 846 _mm256_maskz_abs_epi16(__mmask16 __U, __m256i __A)
 847 {
 848   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
 849                                              (__v16hi)_mm256_abs_epi16(__A),
 850                                              (__v16hi)_mm256_setzero_si256());
 851 }
 852
 853 static __inline__ __m128i __DEFAULT_FN_ATTRS
 854 _mm_maskz_packs_epi32(__mmask8 __M, __m128i __A, __m128i __B) {
 855   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
 856                                              (__v8hi)_mm_packs_epi32(__A, __B),
 857                                              (__v8hi)_mm_setzero_si128());
 858 }
 859
 860 static __inline__ __m128i __DEFAULT_FN_ATTRS
 861 _mm_mask_packs_epi32(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
 862 {
 863   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
 864                                              (__v8hi)_mm_packs_epi32(__A, __B),
 865                                              (__v8hi)__W);
 866 }
 867
 868 static __inline__ __m256i __DEFAULT_FN_ATTRS
 869 _mm256_maskz_packs_epi32(__mmask16 __M, __m256i __A, __m256i __B)
 870 {
 871   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
 872                                           (__v16hi)_mm256_packs_epi32(__A, __B),
 873                                           (__v16hi)_mm256_setzero_si256());
 874 }
 875
 876 static __inline__ __m256i __DEFAULT_FN_ATTRS
 877 _mm256_mask_packs_epi32(__m256i __W, __mmask16 __M, __m256i __A, __m256i __B)
 878 {
 879   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
 880                                           (__v16hi)_mm256_packs_epi32(__A, __B),
 881                                           (__v16hi)__W);
 882 }
 883
 884 static __inline__ __m128i __DEFAULT_FN_ATTRS
 885 _mm_maskz_packs_epi16(__mmask16 __M, __m128i __A, __m128i __B)
 886 {
 887   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
 888                                              (__v16qi)_mm_packs_epi16(__A, __B),
 889                                              (__v16qi)_mm_setzero_si128());
 890 }
 891
 892 static __inline__ __m128i __DEFAULT_FN_ATTRS
 893 _mm_mask_packs_epi16(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
 894 {
 895   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
 896                                              (__v16qi)_mm_packs_epi16(__A, __B),
 897                                              (__v16qi)__W);
 898 }
 899
 900 static __inline__ __m256i __DEFAULT_FN_ATTRS
 901 _mm256_maskz_packs_epi16(__mmask32 __M, __m256i __A, __m256i __B)
 902 {
 903   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
 904                                           (__v32qi)_mm256_packs_epi16(__A, __B),
 905                                           (__v32qi)_mm256_setzero_si256());
 906 }
 907
 908 static __inline__ __m256i __DEFAULT_FN_ATTRS
 909 _mm256_mask_packs_epi16(__m256i __W, __mmask32 __M, __m256i __A, __m256i __B)
 910 {
 911   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
 912                                           (__v32qi)_mm256_packs_epi16(__A, __B),
 913                                           (__v32qi)__W);
 914 }
 915
 916 static __inline__ __m128i __DEFAULT_FN_ATTRS
 917 _mm_maskz_packus_epi32(__mmask8 __M, __m128i __A, __m128i __B)
 918 {
 919   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
 920                                              (__v8hi)_mm_packus_epi32(__A, __B),
 921                                              (__v8hi)_mm_setzero_si128());
 922 }
 923
 924 static __inline__ __m128i __DEFAULT_FN_ATTRS
 925 _mm_mask_packus_epi32(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
 926 {
 927   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
 928                                              (__v8hi)_mm_packus_epi32(__A, __B),
 929                                              (__v8hi)__W);
 930 }
 931
 932 static __inline__ __m256i __DEFAULT_FN_ATTRS
 933 _mm256_maskz_packus_epi32(__mmask16 __M, __m256i __A, __m256i __B)
 934 {
 935   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
 936                                          (__v16hi)_mm256_packus_epi32(__A, __B),
 937                                          (__v16hi)_mm256_setzero_si256());
 938 }
 939
 940 static __inline__ __m256i __DEFAULT_FN_ATTRS
 941 _mm256_mask_packus_epi32(__m256i __W, __mmask16 __M, __m256i __A, __m256i __B)
 942 {
 943   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
 944                                          (__v16hi)_mm256_packus_epi32(__A, __B),
 945                                          (__v16hi)__W);
 946 }
 947
 948 static __inline__ __m128i __DEFAULT_FN_ATTRS
 949 _mm_maskz_packus_epi16(__mmask16 __M, __m128i __A, __m128i __B)
 950 {
 951   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
 952                                             (__v16qi)_mm_packus_epi16(__A, __B),
 953                                             (__v16qi)_mm_setzero_si128());
 954 }
 955
 956 static __inline__ __m128i __DEFAULT_FN_ATTRS
 957 _mm_mask_packus_epi16(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
 958 {
 959   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
 960                                             (__v16qi)_mm_packus_epi16(__A, __B),
 961                                             (__v16qi)__W);
 962 }
 963
 964 static __inline__ __m256i __DEFAULT_FN_ATTRS
 965 _mm256_maskz_packus_epi16(__mmask32 __M, __m256i __A, __m256i __B)
 966 {
 967   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
 968                                          (__v32qi)_mm256_packus_epi16(__A, __B),
 969                                          (__v32qi)_mm256_setzero_si256());
 970 }
 971
 972 static __inline__ __m256i __DEFAULT_FN_ATTRS
 973 _mm256_mask_packus_epi16(__m256i __W, __mmask32 __M, __m256i __A, __m256i __B)
 974 {
 975   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
 976                                          (__v32qi)_mm256_packus_epi16(__A, __B),
 977                                          (__v32qi)__W);
 978 }
 979
 980 static __inline__ __m128i __DEFAULT_FN_ATTRS
 981 _mm_mask_adds_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B)
 982 {
 983   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 984                                              (__v16qi)_mm_adds_epi8(__A, __B),
 985                                              (__v16qi)__W);
 986 }
 987
 988 static __inline__ __m128i __DEFAULT_FN_ATTRS
 989 _mm_maskz_adds_epi8(__mmask16 __U, __m128i __A, __m128i __B)
 990 {
 991   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
 992                                              (__v16qi)_mm_adds_epi8(__A, __B),
 993                                              (__v16qi)_mm_setzero_si128());
 994 }
 995
 996 static __inline__ __m256i __DEFAULT_FN_ATTRS
 997 _mm256_mask_adds_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B)
 998 {
 999   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1000                                             (__v32qi)_mm256_adds_epi8(__A, __B),
1001                                             (__v32qi)__W);
1002 }
1003
1004 static __inline__ __m256i __DEFAULT_FN_ATTRS
1005 _mm256_maskz_adds_epi8(__mmask32 __U, __m256i __A, __m256i __B)
1006 {
1007   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1008                                             (__v32qi)_mm256_adds_epi8(__A, __B),
1009                                             (__v32qi)_mm256_setzero_si256());
1010 }
1011
1012 static __inline__ __m128i __DEFAULT_FN_ATTRS
1013 _mm_mask_adds_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
1014 {
1015   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1016                                              (__v8hi)_mm_adds_epi16(__A, __B),
1017                                              (__v8hi)__W);
1018 }
1019
1020 static __inline__ __m128i __DEFAULT_FN_ATTRS
1021 _mm_maskz_adds_epi16(__mmask8 __U, __m128i __A, __m128i __B)
1022 {
1023   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1024                                              (__v8hi)_mm_adds_epi16(__A, __B),
1025                                              (__v8hi)_mm_setzero_si128());
1026 }
1027
1028 static __inline__ __m256i __DEFAULT_FN_ATTRS
1029 _mm256_mask_adds_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
1030 {
1031   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1032                                            (__v16hi)_mm256_adds_epi16(__A, __B),
1033                                            (__v16hi)__W);
1034 }
1035
1036 static __inline__ __m256i __DEFAULT_FN_ATTRS
1037 _mm256_maskz_adds_epi16(__mmask16 __U, __m256i __A, __m256i __B)
1038 {
1039   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1040                                            (__v16hi)_mm256_adds_epi16(__A, __B),
1041                                            (__v16hi)_mm256_setzero_si256());
1042 }
1043
1044 static __inline__ __m128i __DEFAULT_FN_ATTRS
1045 _mm_mask_adds_epu8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B)
1046 {
1047   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1048                                              (__v16qi)_mm_adds_epu8(__A, __B),
1049                                              (__v16qi)__W);
1050 }
1051
1052 static __inline__ __m128i __DEFAULT_FN_ATTRS
1053 _mm_maskz_adds_epu8(__mmask16 __U, __m128i __A, __m128i __B)
1054 {
1055   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1056                                              (__v16qi)_mm_adds_epu8(__A, __B),
1057                                              (__v16qi)_mm_setzero_si128());
1058 }
1059
1060 static __inline__ __m256i __DEFAULT_FN_ATTRS
1061 _mm256_mask_adds_epu8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B)
1062 {
1063   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1064                                             (__v32qi)_mm256_adds_epu8(__A, __B),
1065                                             (__v32qi)__W);
1066 }
1067
1068 static __inline__ __m256i __DEFAULT_FN_ATTRS
1069 _mm256_maskz_adds_epu8(__mmask32 __U, __m256i __A, __m256i __B)
1070 {
1071   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1072                                             (__v32qi)_mm256_adds_epu8(__A, __B),
1073                                             (__v32qi)_mm256_setzero_si256());
1074 }
1075
1076 static __inline__ __m128i __DEFAULT_FN_ATTRS
1077 _mm_mask_adds_epu16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
1078 {
1079   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1080                                              (__v8hi)_mm_adds_epu16(__A, __B),
1081                                              (__v8hi)__W);
1082 }
1083
1084 static __inline__ __m128i __DEFAULT_FN_ATTRS
1085 _mm_maskz_adds_epu16(__mmask8 __U, __m128i __A, __m128i __B)
1086 {
1087   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1088                                              (__v8hi)_mm_adds_epu16(__A, __B),
1089                                              (__v8hi)_mm_setzero_si128());
1090 }
1091
1092 static __inline__ __m256i __DEFAULT_FN_ATTRS
1093 _mm256_mask_adds_epu16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
1094 {
1095   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1096                                            (__v16hi)_mm256_adds_epu16(__A, __B),
1097                                            (__v16hi)__W);
1098 }
1099
1100 static __inline__ __m256i __DEFAULT_FN_ATTRS
1101 _mm256_maskz_adds_epu16(__mmask16 __U, __m256i __A, __m256i __B)
1102 {
1103   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1104                                            (__v16hi)_mm256_adds_epu16(__A, __B),
1105                                            (__v16hi)_mm256_setzero_si256());
1106 }
1107
1108 static __inline__ __m128i __DEFAULT_FN_ATTRS
1109 _mm_mask_avg_epu8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B)
1110 {
1111   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1112                                              (__v16qi)_mm_avg_epu8(__A, __B),
1113                                              (__v16qi)__W);
1114 }
1115
1116 static __inline__ __m128i __DEFAULT_FN_ATTRS
1117 _mm_maskz_avg_epu8(__mmask16 __U, __m128i __A, __m128i __B)
1118 {
1119   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1120                                              (__v16qi)_mm_avg_epu8(__A, __B),
1121                                              (__v16qi)_mm_setzero_si128());
1122 }
1123
1124 static __inline__ __m256i __DEFAULT_FN_ATTRS
1125 _mm256_mask_avg_epu8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B)
1126 {
1127   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1128                                              (__v32qi)_mm256_avg_epu8(__A, __B),
1129                                              (__v32qi)__W);
1130 }
1131
1132 static __inline__ __m256i __DEFAULT_FN_ATTRS
1133 _mm256_maskz_avg_epu8(__mmask32 __U, __m256i __A, __m256i __B)
1134 {
1135   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1136                                              (__v32qi)_mm256_avg_epu8(__A, __B),
1137                                              (__v32qi)_mm256_setzero_si256());
1138 }
1139
1140 static __inline__ __m128i __DEFAULT_FN_ATTRS
1141 _mm_mask_avg_epu16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
1142 {
1143   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1144                                              (__v8hi)_mm_avg_epu16(__A, __B),
1145                                              (__v8hi)__W);
1146 }
1147
1148 static __inline__ __m128i __DEFAULT_FN_ATTRS
1149 _mm_maskz_avg_epu16(__mmask8 __U, __m128i __A, __m128i __B)
1150 {
1151   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1152                                              (__v8hi)_mm_avg_epu16(__A, __B),
1153                                              (__v8hi)_mm_setzero_si128());
1154 }
1155
1156 static __inline__ __m256i __DEFAULT_FN_ATTRS
1157 _mm256_mask_avg_epu16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
1158 {
1159   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1160                                             (__v16hi)_mm256_avg_epu16(__A, __B),
1161                                             (__v16hi)__W);
1162 }
1163
1164 static __inline__ __m256i __DEFAULT_FN_ATTRS
1165 _mm256_maskz_avg_epu16(__mmask16 __U, __m256i __A, __m256i __B)
1166 {
1167   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1168                                             (__v16hi)_mm256_avg_epu16(__A, __B),
1169                                             (__v16hi)_mm256_setzero_si256());
1170 }
1171
1172 static __inline__ __m128i __DEFAULT_FN_ATTRS
1173 _mm_maskz_max_epi8(__mmask16 __M, __m128i __A, __m128i __B)
1174 {
1175   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1176                                              (__v16qi)_mm_max_epi8(__A, __B),
1177                                              (__v16qi)_mm_setzero_si128());
1178 }
1179
1180 static __inline__ __m128i __DEFAULT_FN_ATTRS
1181 _mm_mask_max_epi8(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
1182 {
1183   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1184                                              (__v16qi)_mm_max_epi8(__A, __B),
1185                                              (__v16qi)__W);
1186 }
1187
1188 static __inline__ __m256i __DEFAULT_FN_ATTRS
1189 _mm256_maskz_max_epi8(__mmask32 __M, __m256i __A, __m256i __B)
1190 {
1191   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1192                                              (__v32qi)_mm256_max_epi8(__A, __B),
1193                                              (__v32qi)_mm256_setzero_si256());
1194 }
1195
1196 static __inline__ __m256i __DEFAULT_FN_ATTRS
1197 _mm256_mask_max_epi8(__m256i __W, __mmask32 __M, __m256i __A, __m256i __B)
1198 {
1199   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1200                                              (__v32qi)_mm256_max_epi8(__A, __B),
1201                                              (__v32qi)__W);
1202 }
1203
1204 static __inline__ __m128i __DEFAULT_FN_ATTRS
1205 _mm_maskz_max_epi16(__mmask8 __M, __m128i __A, __m128i __B)
1206 {
1207   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1208                                              (__v8hi)_mm_max_epi16(__A, __B),
1209                                              (__v8hi)_mm_setzero_si128());
1210 }
1211
1212 static __inline__ __m128i __DEFAULT_FN_ATTRS
1213 _mm_mask_max_epi16(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B)
1214 {
1215   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1216                                              (__v8hi)_mm_max_epi16(__A, __B),
1217                                              (__v8hi)__W);
1218 }
1219
1220 static __inline__ __m256i __DEFAULT_FN_ATTRS
1221 _mm256_maskz_max_epi16(__mmask16 __M, __m256i __A, __m256i __B)
1222 {
1223   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1224                                             (__v16hi)_mm256_max_epi16(__A, __B),
1225                                             (__v16hi)_mm256_setzero_si256());
1226 }
1227
1228 static __inline__ __m256i __DEFAULT_FN_ATTRS
1229 _mm256_mask_max_epi16(__m256i __W, __mmask16 __M, __m256i __A, __m256i __B)
1230 {
1231   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1232                                             (__v16hi)_mm256_max_epi16(__A, __B),
1233                                             (__v16hi)__W);
1234 }
1235
1236 static __inline__ __m128i __DEFAULT_FN_ATTRS
1237 _mm_maskz_max_epu8(__mmask16 __M, __m128i __A, __m128i __B)
1238 {
1239   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1240                                              (__v16qi)_mm_max_epu8(__A, __B),
1241                                              (__v16qi)_mm_setzero_si128());
1242 }
1243
1244 static __inline__ __m128i __DEFAULT_FN_ATTRS
1245 _mm_mask_max_epu8(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
1246 {
1247   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1248                                              (__v16qi)_mm_max_epu8(__A, __B),
1249                                              (__v16qi)__W);
1250 }
1251
1252 static __inline__ __m256i __DEFAULT_FN_ATTRS
1253 _mm256_maskz_max_epu8 (__mmask32 __M, __m256i __A, __m256i __B)
1254 {
1255   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1256                                              (__v32qi)_mm256_max_epu8(__A, __B),
1257                                              (__v32qi)_mm256_setzero_si256());
1258 }
1259
1260 static __inline__ __m256i __DEFAULT_FN_ATTRS
1261 _mm256_mask_max_epu8(__m256i __W, __mmask32 __M, __m256i __A, __m256i __B)
1262 {
1263   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1264                                              (__v32qi)_mm256_max_epu8(__A, __B),
1265                                              (__v32qi)__W);
1266 }
1267
1268 static __inline__ __m128i __DEFAULT_FN_ATTRS
1269 _mm_maskz_max_epu16(__mmask8 __M, __m128i __A, __m128i __B)
1270 {
1271   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1272                                              (__v8hi)_mm_max_epu16(__A, __B),
1273                                              (__v8hi)_mm_setzero_si128());
1274 }
1275
1276 static __inline__ __m128i __DEFAULT_FN_ATTRS
1277 _mm_mask_max_epu16(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B)
1278 {
1279   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1280                                              (__v8hi)_mm_max_epu16(__A, __B),
1281                                              (__v8hi)__W);
1282 }
1283
1284 static __inline__ __m256i __DEFAULT_FN_ATTRS
1285 _mm256_maskz_max_epu16(__mmask16 __M, __m256i __A, __m256i __B)
1286 {
1287   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1288                                             (__v16hi)_mm256_max_epu16(__A, __B),
1289                                             (__v16hi)_mm256_setzero_si256());
1290 }
1291
1292 static __inline__ __m256i __DEFAULT_FN_ATTRS
1293 _mm256_mask_max_epu16(__m256i __W, __mmask16 __M, __m256i __A, __m256i __B)
1294 {
1295   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1296                                             (__v16hi)_mm256_max_epu16(__A, __B),
1297                                             (__v16hi)__W);
1298 }
1299
1300 static __inline__ __m128i __DEFAULT_FN_ATTRS
1301 _mm_maskz_min_epi8(__mmask16 __M, __m128i __A, __m128i __B)
1302 {
1303   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1304                                              (__v16qi)_mm_min_epi8(__A, __B),
1305                                              (__v16qi)_mm_setzero_si128());
1306 }
1307
1308 static __inline__ __m128i __DEFAULT_FN_ATTRS
1309 _mm_mask_min_epi8(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
1310 {
1311   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1312                                              (__v16qi)_mm_min_epi8(__A, __B),
1313                                              (__v16qi)__W);
1314 }
1315
1316 static __inline__ __m256i __DEFAULT_FN_ATTRS
1317 _mm256_maskz_min_epi8(__mmask32 __M, __m256i __A, __m256i __B)
1318 {
1319   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1320                                              (__v32qi)_mm256_min_epi8(__A, __B),
1321                                              (__v32qi)_mm256_setzero_si256());
1322 }
1323
1324 static __inline__ __m256i __DEFAULT_FN_ATTRS
1325 _mm256_mask_min_epi8(__m256i __W, __mmask32 __M, __m256i __A, __m256i __B)
1326 {
1327   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1328                                              (__v32qi)_mm256_min_epi8(__A, __B),
1329                                              (__v32qi)__W);
1330 }
1331
1332 static __inline__ __m128i __DEFAULT_FN_ATTRS
1333 _mm_maskz_min_epi16(__mmask8 __M, __m128i __A, __m128i __B)
1334 {
1335   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1336                                              (__v8hi)_mm_min_epi16(__A, __B),
1337                                              (__v8hi)_mm_setzero_si128());
1338 }
1339
1340 static __inline__ __m128i __DEFAULT_FN_ATTRS
1341 _mm_mask_min_epi16(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B)
1342 {
1343   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1344                                              (__v8hi)_mm_min_epi16(__A, __B),
1345                                              (__v8hi)__W);
1346 }
1347
1348 static __inline__ __m256i __DEFAULT_FN_ATTRS
1349 _mm256_maskz_min_epi16(__mmask16 __M, __m256i __A, __m256i __B)
1350 {
1351   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1352                                             (__v16hi)_mm256_min_epi16(__A, __B),
1353                                             (__v16hi)_mm256_setzero_si256());
1354 }
1355
1356 static __inline__ __m256i __DEFAULT_FN_ATTRS
1357 _mm256_mask_min_epi16(__m256i __W, __mmask16 __M, __m256i __A, __m256i __B)
1358 {
1359   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1360                                             (__v16hi)_mm256_min_epi16(__A, __B),
1361                                             (__v16hi)__W);
1362 }
1363
1364 static __inline__ __m128i __DEFAULT_FN_ATTRS
1365 _mm_maskz_min_epu8(__mmask16 __M, __m128i __A, __m128i __B)
1366 {
1367   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1368                                              (__v16qi)_mm_min_epu8(__A, __B),
1369                                              (__v16qi)_mm_setzero_si128());
1370 }
1371
1372 static __inline__ __m128i __DEFAULT_FN_ATTRS
1373 _mm_mask_min_epu8(__m128i __W, __mmask16 __M, __m128i __A, __m128i __B)
1374 {
1375   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__M,
1376                                              (__v16qi)_mm_min_epu8(__A, __B),
1377                                              (__v16qi)__W);
1378 }
1379
1380 static __inline__ __m256i __DEFAULT_FN_ATTRS
1381 _mm256_maskz_min_epu8 (__mmask32 __M, __m256i __A, __m256i __B)
1382 {
1383   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1384                                              (__v32qi)_mm256_min_epu8(__A, __B),
1385                                              (__v32qi)_mm256_setzero_si256());
1386 }
1387
1388 static __inline__ __m256i __DEFAULT_FN_ATTRS
1389 _mm256_mask_min_epu8(__m256i __W, __mmask32 __M, __m256i __A, __m256i __B)
1390 {
1391   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__M,
1392                                              (__v32qi)_mm256_min_epu8(__A, __B),
1393                                              (__v32qi)__W);
1394 }
1395
1396 static __inline__ __m128i __DEFAULT_FN_ATTRS
1397 _mm_maskz_min_epu16(__mmask8 __M, __m128i __A, __m128i __B)
1398 {
1399   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1400                                              (__v8hi)_mm_min_epu16(__A, __B),
1401                                              (__v8hi)_mm_setzero_si128());
1402 }
1403
1404 static __inline__ __m128i __DEFAULT_FN_ATTRS
1405 _mm_mask_min_epu16(__m128i __W, __mmask8 __M, __m128i __A, __m128i __B)
1406 {
1407   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__M,
1408                                              (__v8hi)_mm_min_epu16(__A, __B),
1409                                              (__v8hi)__W);
1410 }
1411
1412 static __inline__ __m256i __DEFAULT_FN_ATTRS
1413 _mm256_maskz_min_epu16(__mmask16 __M, __m256i __A, __m256i __B)
1414 {
1415   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1416                                             (__v16hi)_mm256_min_epu16(__A, __B),
1417                                             (__v16hi)_mm256_setzero_si256());
1418 }
1419
1420 static __inline__ __m256i __DEFAULT_FN_ATTRS
1421 _mm256_mask_min_epu16(__m256i __W, __mmask16 __M, __m256i __A, __m256i __B)
1422 {
1423   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__M,
1424                                             (__v16hi)_mm256_min_epu16(__A, __B),
1425                                             (__v16hi)__W);
1426 }
1427
1428 static __inline__ __m128i __DEFAULT_FN_ATTRS
1429 _mm_mask_shuffle_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B)
1430 {
1431   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1432                                             (__v16qi)_mm_shuffle_epi8(__A, __B),
1433                                             (__v16qi)__W);
1434 }
1435
1436 static __inline__ __m128i __DEFAULT_FN_ATTRS
1437 _mm_maskz_shuffle_epi8(__mmask16 __U, __m128i __A, __m128i __B)
1438 {
1439   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1440                                             (__v16qi)_mm_shuffle_epi8(__A, __B),
1441                                             (__v16qi)_mm_setzero_si128());
1442 }
1443
1444 static __inline__ __m256i __DEFAULT_FN_ATTRS
1445 _mm256_mask_shuffle_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B)
1446 {
1447   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1448                                          (__v32qi)_mm256_shuffle_epi8(__A, __B),
1449                                          (__v32qi)__W);
1450 }
1451
1452 static __inline__ __m256i __DEFAULT_FN_ATTRS
1453 _mm256_maskz_shuffle_epi8(__mmask32 __U, __m256i __A, __m256i __B)
1454 {
1455   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1456                                          (__v32qi)_mm256_shuffle_epi8(__A, __B),
1457                                          (__v32qi)_mm256_setzero_si256());
1458 }
1459
1460 static __inline__ __m128i __DEFAULT_FN_ATTRS
1461 _mm_mask_subs_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B)
1462 {
1463   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1464                                              (__v16qi)_mm_subs_epi8(__A, __B),
1465                                              (__v16qi)__W);
1466 }
1467
1468 static __inline__ __m128i __DEFAULT_FN_ATTRS
1469 _mm_maskz_subs_epi8(__mmask16 __U, __m128i __A, __m128i __B)
1470 {
1471   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1472                                              (__v16qi)_mm_subs_epi8(__A, __B),
1473                                              (__v16qi)_mm_setzero_si128());
1474 }
1475
1476 static __inline__ __m256i __DEFAULT_FN_ATTRS
1477 _mm256_mask_subs_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B)
1478 {
1479   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1480                                             (__v32qi)_mm256_subs_epi8(__A, __B),
1481                                             (__v32qi)__W);
1482 }
1483
1484 static __inline__ __m256i __DEFAULT_FN_ATTRS
1485 _mm256_maskz_subs_epi8(__mmask32 __U, __m256i __A, __m256i __B)
1486 {
1487   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1488                                             (__v32qi)_mm256_subs_epi8(__A, __B),
1489                                             (__v32qi)_mm256_setzero_si256());
1490 }
1491
1492 static __inline__ __m128i __DEFAULT_FN_ATTRS
1493 _mm_mask_subs_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
1494 {
1495   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1496                                              (__v8hi)_mm_subs_epi16(__A, __B),
1497                                              (__v8hi)__W);
1498 }
1499
1500 static __inline__ __m128i __DEFAULT_FN_ATTRS
1501 _mm_maskz_subs_epi16(__mmask8 __U, __m128i __A, __m128i __B)
1502 {
1503   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1504                                              (__v8hi)_mm_subs_epi16(__A, __B),
1505                                              (__v8hi)_mm_setzero_si128());
1506 }
1507
1508 static __inline__ __m256i __DEFAULT_FN_ATTRS
1509 _mm256_mask_subs_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
1510 {
1511   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1512                                            (__v16hi)_mm256_subs_epi16(__A, __B),
1513                                            (__v16hi)__W);
1514 }
1515
1516 static __inline__ __m256i __DEFAULT_FN_ATTRS
1517 _mm256_maskz_subs_epi16(__mmask16 __U, __m256i __A, __m256i __B)
1518 {
1519   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1520                                            (__v16hi)_mm256_subs_epi16(__A, __B),
1521                                            (__v16hi)_mm256_setzero_si256());
1522 }
1523
1524 static __inline__ __m128i __DEFAULT_FN_ATTRS
1525 _mm_mask_subs_epu8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B)
1526 {
1527   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1528                                              (__v16qi)_mm_subs_epu8(__A, __B),
1529                                              (__v16qi)__W);
1530 }
1531
1532 static __inline__ __m128i __DEFAULT_FN_ATTRS
1533 _mm_maskz_subs_epu8(__mmask16 __U, __m128i __A, __m128i __B)
1534 {
1535   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1536                                              (__v16qi)_mm_subs_epu8(__A, __B),
1537                                              (__v16qi)_mm_setzero_si128());
1538 }
1539
1540 static __inline__ __m256i __DEFAULT_FN_ATTRS
1541 _mm256_mask_subs_epu8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B)
1542 {
1543   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1544                                             (__v32qi)_mm256_subs_epu8(__A, __B),
1545                                             (__v32qi)__W);
1546 }
1547
1548 static __inline__ __m256i __DEFAULT_FN_ATTRS
1549 _mm256_maskz_subs_epu8(__mmask32 __U, __m256i __A, __m256i __B)
1550 {
1551   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1552                                             (__v32qi)_mm256_subs_epu8(__A, __B),
1553                                             (__v32qi)_mm256_setzero_si256());
1554 }
1555
1556 static __inline__ __m128i __DEFAULT_FN_ATTRS
1557 _mm_mask_subs_epu16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
1558 {
1559   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1560                                              (__v8hi)_mm_subs_epu16(__A, __B),
1561                                              (__v8hi)__W);
1562 }
1563
1564 static __inline__ __m128i __DEFAULT_FN_ATTRS
1565 _mm_maskz_subs_epu16(__mmask8 __U, __m128i __A, __m128i __B)
1566 {
1567   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1568                                              (__v8hi)_mm_subs_epu16(__A, __B),
1569                                              (__v8hi)_mm_setzero_si128());
1570 }
1571
1572 static __inline__ __m256i __DEFAULT_FN_ATTRS
1573 _mm256_mask_subs_epu16(__m256i __W, __mmask16 __U, __m256i __A,
1574       __m256i __B) {
1575   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1576                                            (__v16hi)_mm256_subs_epu16(__A, __B),
1577                                            (__v16hi)__W);
1578 }
1579
1580 static __inline__ __m256i __DEFAULT_FN_ATTRS
1581 _mm256_maskz_subs_epu16(__mmask16 __U, __m256i __A, __m256i __B)
1582 {
1583   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1584                                            (__v16hi)_mm256_subs_epu16(__A, __B),
1585                                            (__v16hi)_mm256_setzero_si256());
1586 }
1587
1588 static __inline__ __m128i __DEFAULT_FN_ATTRS
1589 _mm_mask2_permutex2var_epi16 (__m128i __A, __m128i __I, __mmask8 __U,
1590             __m128i __B)
1591 {
1592   return (__m128i) __builtin_ia32_vpermi2varhi128_mask ((__v8hi) __A,
1593                (__v8hi) __I /* idx */ ,
1594                (__v8hi) __B,
1595                (__mmask8) __U);
1596 }
1597
1598 static __inline__ __m256i __DEFAULT_FN_ATTRS
1599 _mm256_mask2_permutex2var_epi16 (__m256i __A, __m256i __I,
1600          __mmask16 __U, __m256i __B)
1601 {
1602   return (__m256i) __builtin_ia32_vpermi2varhi256_mask ((__v16hi) __A,
1603                (__v16hi) __I /* idx */ ,
1604                (__v16hi) __B,
1605                (__mmask16) __U);
1606 }
1607
1608 static __inline__ __m128i __DEFAULT_FN_ATTRS
1609 _mm_permutex2var_epi16 (__m128i __A, __m128i __I, __m128i __B)
1610 {
1611   return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I/* idx */,
1612                (__v8hi) __A,
1613                (__v8hi) __B,
1614                (__mmask8) -1);
1615 }
1616
1617 static __inline__ __m128i __DEFAULT_FN_ATTRS
1618 _mm_mask_permutex2var_epi16 (__m128i __A, __mmask8 __U, __m128i __I,
1619            __m128i __B)
1620 {
1621   return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I/* idx */,
1622                (__v8hi) __A,
1623                (__v8hi) __B,
1624                (__mmask8) __U);
1625 }
1626
1627 static __inline__ __m128i __DEFAULT_FN_ATTRS
1628 _mm_maskz_permutex2var_epi16 (__mmask8 __U, __m128i __A, __m128i __I,
1629             __m128i __B)
1630 {
1631   return (__m128i) __builtin_ia32_vpermt2varhi128_maskz ((__v8hi) __I/* idx */,
1632                (__v8hi) __A,
1633                (__v8hi) __B,
1634                (__mmask8) __U);
1635 }
1636
1637 static __inline__ __m256i __DEFAULT_FN_ATTRS
1638 _mm256_permutex2var_epi16 (__m256i __A, __m256i __I, __m256i __B)
1639 {
1640   return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I/* idx */,
1641                (__v16hi) __A,
1642                (__v16hi) __B,
1643                (__mmask16) -1);
1644 }
1645
1646 static __inline__ __m256i __DEFAULT_FN_ATTRS
1647 _mm256_mask_permutex2var_epi16 (__m256i __A, __mmask16 __U,
1648         __m256i __I, __m256i __B)
1649 {
1650   return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I/* idx */,
1651                (__v16hi) __A,
1652                (__v16hi) __B,
1653                (__mmask16) __U);
1654 }
1655
1656 static __inline__ __m256i __DEFAULT_FN_ATTRS
1657 _mm256_maskz_permutex2var_epi16 (__mmask16 __U, __m256i __A,
1658          __m256i __I, __m256i __B)
1659 {
1660   return (__m256i) __builtin_ia32_vpermt2varhi256_maskz ((__v16hi) __I/* idx */,
1661                (__v16hi) __A,
1662                (__v16hi) __B,
1663                (__mmask16) __U);
1664 }
1665
1666 static __inline__ __m128i __DEFAULT_FN_ATTRS
1667 _mm_mask_maddubs_epi16(__m128i __W, __mmask8 __U, __m128i __X, __m128i __Y) {
1668   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1669                                             (__v8hi)_mm_maddubs_epi16(__X, __Y),
1670                                             (__v8hi)__W);
1671 }
1672
1673 static __inline__ __m128i __DEFAULT_FN_ATTRS
1674 _mm_maskz_maddubs_epi16(__mmask8 __U, __m128i __X, __m128i __Y) {
1675   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1676                                             (__v8hi)_mm_maddubs_epi16(__X, __Y),
1677                                             (__v8hi)_mm_setzero_si128());
1678 }
1679
1680 static __inline__ __m256i __DEFAULT_FN_ATTRS
1681 _mm256_mask_maddubs_epi16(__m256i __W, __mmask16 __U, __m256i __X,
1682                           __m256i __Y) {
1683   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1684                                         (__v16hi)_mm256_maddubs_epi16(__X, __Y),
1685                                         (__v16hi)__W);
1686 }
1687
1688 static __inline__ __m256i __DEFAULT_FN_ATTRS
1689 _mm256_maskz_maddubs_epi16(__mmask16 __U, __m256i __X, __m256i __Y) {
1690   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1691                                         (__v16hi)_mm256_maddubs_epi16(__X, __Y),
1692                                         (__v16hi)_mm256_setzero_si256());
1693 }
1694
1695 static __inline__ __m128i __DEFAULT_FN_ATTRS
1696 _mm_mask_madd_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
1697   return (__m128i)__builtin_ia32_selectd_128((__mmask8)__U,
1698                                              (__v4si)_mm_madd_epi16(__A, __B),
1699                                              (__v4si)__W);
1700 }
1701
1702 static __inline__ __m128i __DEFAULT_FN_ATTRS
1703 _mm_maskz_madd_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
1704   return (__m128i)__builtin_ia32_selectd_128((__mmask8)__U,
1705                                              (__v4si)_mm_madd_epi16(__A, __B),
1706                                              (__v4si)_mm_setzero_si128());
1707 }
1708
1709 static __inline__ __m256i __DEFAULT_FN_ATTRS
1710 _mm256_mask_madd_epi16(__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
1711   return (__m256i)__builtin_ia32_selectd_256((__mmask8)__U,
1712                                             (__v8si)_mm256_madd_epi16(__A, __B),
1713                                             (__v8si)__W);
1714 }
1715
1716 static __inline__ __m256i __DEFAULT_FN_ATTRS
1717 _mm256_maskz_madd_epi16(__mmask8 __U, __m256i __A, __m256i __B) {
1718   return (__m256i)__builtin_ia32_selectd_256((__mmask8)__U,
1719                                             (__v8si)_mm256_madd_epi16(__A, __B),
1720                                             (__v8si)_mm256_setzero_si256());
1721 }
1722
1723 static __inline__ __m128i __DEFAULT_FN_ATTRS
1724 _mm_cvtsepi16_epi8 (__m128i __A) {
1725   return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A,
1726                (__v16qi) _mm_setzero_si128(),
1727                (__mmask8) -1);
1728 }
1729
1730 static __inline__ __m128i __DEFAULT_FN_ATTRS
1731 _mm_mask_cvtsepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) {
1732   return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A,
1733                (__v16qi) __O,
1734                 __M);
1735 }
1736
1737 static __inline__ __m128i __DEFAULT_FN_ATTRS
1738 _mm_maskz_cvtsepi16_epi8 (__mmask8 __M, __m128i __A) {
1739   return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A,
1740                (__v16qi) _mm_setzero_si128(),
1741                __M);
1742 }
1743
1744 static __inline__ __m128i __DEFAULT_FN_ATTRS
1745 _mm256_cvtsepi16_epi8 (__m256i __A) {
1746   return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A,
1747                (__v16qi) _mm_setzero_si128(),
1748                (__mmask16) -1);
1749 }
1750
1751 static __inline__ __m128i __DEFAULT_FN_ATTRS
1752 _mm256_mask_cvtsepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) {
1753   return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A,
1754                (__v16qi) __O,
1755                 __M);
1756 }
1757
1758 static __inline__ __m128i __DEFAULT_FN_ATTRS
1759 _mm256_maskz_cvtsepi16_epi8 (__mmask16 __M, __m256i __A) {
1760   return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A,
1761                (__v16qi) _mm_setzero_si128(),
1762                __M);
1763 }
1764
1765 static __inline__ __m128i __DEFAULT_FN_ATTRS
1766 _mm_cvtusepi16_epi8 (__m128i __A) {
1767   return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A,
1768                 (__v16qi) _mm_setzero_si128(),
1769                 (__mmask8) -1);
1770 }
1771
1772 static __inline__ __m128i __DEFAULT_FN_ATTRS
1773 _mm_mask_cvtusepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) {
1774   return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A,
1775                 (__v16qi) __O,
1776                 __M);
1777 }
1778
1779 static __inline__ __m128i __DEFAULT_FN_ATTRS
1780 _mm_maskz_cvtusepi16_epi8 (__mmask8 __M, __m128i __A) {
1781   return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A,
1782                 (__v16qi) _mm_setzero_si128(),
1783                 __M);
1784 }
1785
1786 static __inline__ __m128i __DEFAULT_FN_ATTRS
1787 _mm256_cvtusepi16_epi8 (__m256i __A) {
1788   return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A,
1789                 (__v16qi) _mm_setzero_si128(),
1790                 (__mmask16) -1);
1791 }
1792
1793 static __inline__ __m128i __DEFAULT_FN_ATTRS
1794 _mm256_mask_cvtusepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) {
1795   return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A,
1796                 (__v16qi) __O,
1797                 __M);
1798 }
1799
1800 static __inline__ __m128i __DEFAULT_FN_ATTRS
1801 _mm256_maskz_cvtusepi16_epi8 (__mmask16 __M, __m256i __A) {
1802   return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A,
1803                 (__v16qi) _mm_setzero_si128(),
1804                 __M);
1805 }
1806
1807 static __inline__ __m128i __DEFAULT_FN_ATTRS
1808 _mm_cvtepi16_epi8 (__m128i __A) {
1809
1810   return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A,
1811                (__v16qi) _mm_setzero_si128(),
1812                (__mmask8) -1);
1813 }
1814
1815 static __inline__ __m128i __DEFAULT_FN_ATTRS
1816 _mm_mask_cvtepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) {
1817   return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A,
1818                (__v16qi) __O,
1819                __M);
1820 }
1821
1822 static __inline__ __m128i __DEFAULT_FN_ATTRS
1823 _mm_maskz_cvtepi16_epi8 (__mmask8 __M, __m128i __A) {
1824   return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A,
1825                (__v16qi) _mm_setzero_si128(),
1826                __M);
1827 }
1828
1829 static __inline__ void __DEFAULT_FN_ATTRS
1830 _mm_mask_cvtepi16_storeu_epi8 (void * __P, __mmask8 __M, __m128i __A)
1831 {
1832   __builtin_ia32_pmovwb128mem_mask ((__v16qi *) __P, (__v8hi) __A, __M);
1833 }
1834
1835
1836 static __inline__ void __DEFAULT_FN_ATTRS
1837 _mm_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask8 __M, __m128i __A)
1838 {
1839   __builtin_ia32_pmovswb128mem_mask ((__v16qi *) __P, (__v8hi) __A, __M);
1840 }
1841
1842 static __inline__ void __DEFAULT_FN_ATTRS
1843 _mm_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask8 __M, __m128i __A)
1844 {
1845   __builtin_ia32_pmovuswb128mem_mask ((__v16qi *) __P, (__v8hi) __A, __M);
1846 }
1847
1848 static __inline__ __m128i __DEFAULT_FN_ATTRS
1849 _mm256_cvtepi16_epi8 (__m256i __A) {
1850   return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A,
1851                (__v16qi) _mm_setzero_si128(),
1852                (__mmask16) -1);
1853 }
1854
1855 static __inline__ __m128i __DEFAULT_FN_ATTRS
1856 _mm256_mask_cvtepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) {
1857   return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A,
1858                (__v16qi) __O,
1859                __M);
1860 }
1861
1862 static __inline__ __m128i __DEFAULT_FN_ATTRS
1863 _mm256_maskz_cvtepi16_epi8 (__mmask16 __M, __m256i __A) {
1864   return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A,
1865                (__v16qi) _mm_setzero_si128(),
1866                __M);
1867 }
1868
1869 static __inline__ void __DEFAULT_FN_ATTRS
1870 _mm256_mask_cvtepi16_storeu_epi8 (void * __P, __mmask16 __M, __m256i __A)
1871 {
1872   __builtin_ia32_pmovwb256mem_mask ((__v16qi *) __P, (__v16hi) __A, __M);
1873 }
1874
1875 static __inline__ void __DEFAULT_FN_ATTRS
1876 _mm256_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask16 __M, __m256i __A)
1877 {
1878   __builtin_ia32_pmovswb256mem_mask ((__v16qi *) __P, (__v16hi) __A, __M);
1879 }
1880
1881 static __inline__ void __DEFAULT_FN_ATTRS
1882 _mm256_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask8 __M, __m256i __A)
1883 {
1884   __builtin_ia32_pmovuswb256mem_mask ((__v16qi*) __P, (__v16hi) __A, __M);
1885 }
1886
1887 static __inline__ __m128i __DEFAULT_FN_ATTRS
1888 _mm_mask_mulhrs_epi16(__m128i __W, __mmask8 __U, __m128i __X, __m128i __Y) {
1889   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1890                                              (__v8hi)_mm_mulhrs_epi16(__X, __Y),
1891                                              (__v8hi)__W);
1892 }
1893
1894 static __inline__ __m128i __DEFAULT_FN_ATTRS
1895 _mm_maskz_mulhrs_epi16(__mmask8 __U, __m128i __X, __m128i __Y) {
1896   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1897                                              (__v8hi)_mm_mulhrs_epi16(__X, __Y),
1898                                              (__v8hi)_mm_setzero_si128());
1899 }
1900
1901 static __inline__ __m256i __DEFAULT_FN_ATTRS
1902 _mm256_mask_mulhrs_epi16(__m256i __W, __mmask16 __U, __m256i __X, __m256i __Y) {
1903   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1904                                          (__v16hi)_mm256_mulhrs_epi16(__X, __Y),
1905                                          (__v16hi)__W);
1906 }
1907
1908 static __inline__ __m256i __DEFAULT_FN_ATTRS
1909 _mm256_maskz_mulhrs_epi16(__mmask16 __U, __m256i __X, __m256i __Y) {
1910   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1911                                          (__v16hi)_mm256_mulhrs_epi16(__X, __Y),
1912                                          (__v16hi)_mm256_setzero_si256());
1913 }
1914
1915 static __inline__ __m128i __DEFAULT_FN_ATTRS
1916 _mm_mask_mulhi_epu16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
1917   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1918                                              (__v8hi)_mm_mulhi_epu16(__A, __B),
1919                                              (__v8hi)__W);
1920 }
1921
1922 static __inline__ __m128i __DEFAULT_FN_ATTRS
1923 _mm_maskz_mulhi_epu16(__mmask8 __U, __m128i __A, __m128i __B) {
1924   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1925                                              (__v8hi)_mm_mulhi_epu16(__A, __B),
1926                                              (__v8hi)_mm_setzero_si128());
1927 }
1928
1929 static __inline__ __m256i __DEFAULT_FN_ATTRS
1930 _mm256_mask_mulhi_epu16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
1931   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1932                                           (__v16hi)_mm256_mulhi_epu16(__A, __B),
1933                                           (__v16hi)__W);
1934 }
1935
1936 static __inline__ __m256i __DEFAULT_FN_ATTRS
1937 _mm256_maskz_mulhi_epu16(__mmask16 __U, __m256i __A, __m256i __B) {
1938   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1939                                           (__v16hi)_mm256_mulhi_epu16(__A, __B),
1940                                           (__v16hi)_mm256_setzero_si256());
1941 }
1942
1943 static __inline__ __m128i __DEFAULT_FN_ATTRS
1944 _mm_mask_mulhi_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
1945   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1946                                              (__v8hi)_mm_mulhi_epi16(__A, __B),
1947                                              (__v8hi)__W);
1948 }
1949
1950 static __inline__ __m128i __DEFAULT_FN_ATTRS
1951 _mm_maskz_mulhi_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
1952   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
1953                                              (__v8hi)_mm_mulhi_epi16(__A, __B),
1954                                              (__v8hi)_mm_setzero_si128());
1955 }
1956
1957 static __inline__ __m256i __DEFAULT_FN_ATTRS
1958 _mm256_mask_mulhi_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
1959   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1960                                           (__v16hi)_mm256_mulhi_epi16(__A, __B),
1961                                           (__v16hi)__W);
1962 }
1963
1964 static __inline__ __m256i __DEFAULT_FN_ATTRS
1965 _mm256_maskz_mulhi_epi16(__mmask16 __U, __m256i __A, __m256i __B) {
1966   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
1967                                           (__v16hi)_mm256_mulhi_epi16(__A, __B),
1968                                           (__v16hi)_mm256_setzero_si256());
1969 }
1970
1971 static __inline__ __m128i __DEFAULT_FN_ATTRS
1972 _mm_mask_unpackhi_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) {
1973   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1974                                            (__v16qi)_mm_unpackhi_epi8(__A, __B),
1975                                            (__v16qi)__W);
1976 }
1977
1978 static __inline__ __m128i __DEFAULT_FN_ATTRS
1979 _mm_maskz_unpackhi_epi8(__mmask16 __U, __m128i __A, __m128i __B) {
1980   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
1981                                            (__v16qi)_mm_unpackhi_epi8(__A, __B),
1982                                            (__v16qi)_mm_setzero_si128());
1983 }
1984
1985 static __inline__ __m256i __DEFAULT_FN_ATTRS
1986 _mm256_mask_unpackhi_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) {
1987   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1988                                         (__v32qi)_mm256_unpackhi_epi8(__A, __B),
1989                                         (__v32qi)__W);
1990 }
1991
1992 static __inline__ __m256i __DEFAULT_FN_ATTRS
1993 _mm256_maskz_unpackhi_epi8(__mmask32 __U, __m256i __A, __m256i __B) {
1994   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
1995                                         (__v32qi)_mm256_unpackhi_epi8(__A, __B),
1996                                         (__v32qi)_mm256_setzero_si256());
1997 }
1998
1999 static __inline__ __m128i __DEFAULT_FN_ATTRS
2000 _mm_mask_unpackhi_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
2001   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2002                                            (__v8hi)_mm_unpackhi_epi16(__A, __B),
2003                                            (__v8hi)__W);
2004 }
2005
2006 static __inline__ __m128i __DEFAULT_FN_ATTRS
2007 _mm_maskz_unpackhi_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
2008   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2009                                            (__v8hi)_mm_unpackhi_epi16(__A, __B),
2010                                            (__v8hi) _mm_setzero_si128());
2011 }
2012
2013 static __inline__ __m256i __DEFAULT_FN_ATTRS
2014 _mm256_mask_unpackhi_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
2015   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2016                                        (__v16hi)_mm256_unpackhi_epi16(__A, __B),
2017                                        (__v16hi)__W);
2018 }
2019
2020 static __inline__ __m256i __DEFAULT_FN_ATTRS
2021 _mm256_maskz_unpackhi_epi16(__mmask16 __U, __m256i __A, __m256i __B) {
2022   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2023                                        (__v16hi)_mm256_unpackhi_epi16(__A, __B),
2024                                        (__v16hi)_mm256_setzero_si256());
2025 }
2026
2027 static __inline__ __m128i __DEFAULT_FN_ATTRS
2028 _mm_mask_unpacklo_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) {
2029   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
2030                                            (__v16qi)_mm_unpacklo_epi8(__A, __B),
2031                                            (__v16qi)__W);
2032 }
2033
2034 static __inline__ __m128i __DEFAULT_FN_ATTRS
2035 _mm_maskz_unpacklo_epi8(__mmask16 __U, __m128i __A, __m128i __B) {
2036   return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U,
2037                                            (__v16qi)_mm_unpacklo_epi8(__A, __B),
2038                                            (__v16qi)_mm_setzero_si128());
2039 }
2040
2041 static __inline__ __m256i __DEFAULT_FN_ATTRS
2042 _mm256_mask_unpacklo_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) {
2043   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
2044                                         (__v32qi)_mm256_unpacklo_epi8(__A, __B),
2045                                         (__v32qi)__W);
2046 }
2047
2048 static __inline__ __m256i __DEFAULT_FN_ATTRS
2049 _mm256_maskz_unpacklo_epi8(__mmask32 __U, __m256i __A, __m256i __B) {
2050   return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U,
2051                                         (__v32qi)_mm256_unpacklo_epi8(__A, __B),
2052                                         (__v32qi)_mm256_setzero_si256());
2053 }
2054
2055 static __inline__ __m128i __DEFAULT_FN_ATTRS
2056 _mm_mask_unpacklo_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
2057   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2058                                            (__v8hi)_mm_unpacklo_epi16(__A, __B),
2059                                            (__v8hi)__W);
2060 }
2061
2062 static __inline__ __m128i __DEFAULT_FN_ATTRS
2063 _mm_maskz_unpacklo_epi16(__mmask8 __U, __m128i __A, __m128i __B) {
2064   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2065                                            (__v8hi)_mm_unpacklo_epi16(__A, __B),
2066                                            (__v8hi) _mm_setzero_si128());
2067 }
2068
2069 static __inline__ __m256i __DEFAULT_FN_ATTRS
2070 _mm256_mask_unpacklo_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) {
2071   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2072                                        (__v16hi)_mm256_unpacklo_epi16(__A, __B),
2073                                        (__v16hi)__W);
2074 }
2075
2076 static __inline__ __m256i __DEFAULT_FN_ATTRS
2077 _mm256_maskz_unpacklo_epi16(__mmask16 __U, __m256i __A, __m256i __B) {
2078   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2079                                        (__v16hi)_mm256_unpacklo_epi16(__A, __B),
2080                                        (__v16hi)_mm256_setzero_si256());
2081 }
2082
2083 static __inline__ __m128i __DEFAULT_FN_ATTRS
2084 _mm_mask_cvtepi8_epi16(__m128i __W, __mmask8 __U, __m128i __A)
2085 {
2086   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2087                                              (__v8hi)_mm_cvtepi8_epi16(__A),
2088                                              (__v8hi)__W);
2089 }
2090
2091 static __inline__ __m128i __DEFAULT_FN_ATTRS
2092 _mm_maskz_cvtepi8_epi16(__mmask8 __U, __m128i __A)
2093 {
2094   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2095                                              (__v8hi)_mm_cvtepi8_epi16(__A),
2096                                              (__v8hi)_mm_setzero_si128());
2097 }
2098
2099 static __inline__ __m256i __DEFAULT_FN_ATTRS
2100 _mm256_mask_cvtepi8_epi16(__m256i __W, __mmask16 __U, __m128i __A)
2101 {
2102   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2103                                              (__v16hi)_mm256_cvtepi8_epi16(__A),
2104                                              (__v16hi)__W);
2105 }
2106
2107 static __inline__ __m256i __DEFAULT_FN_ATTRS
2108 _mm256_maskz_cvtepi8_epi16(__mmask16 __U, __m128i __A)
2109 {
2110   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2111                                              (__v16hi)_mm256_cvtepi8_epi16(__A),
2112                                              (__v16hi)_mm256_setzero_si256());
2113 }
2114
2115
2116 static __inline__ __m128i __DEFAULT_FN_ATTRS
2117 _mm_mask_cvtepu8_epi16(__m128i __W, __mmask8 __U, __m128i __A)
2118 {
2119   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2120                                              (__v8hi)_mm_cvtepu8_epi16(__A),
2121                                              (__v8hi)__W);
2122 }
2123
2124 static __inline__ __m128i __DEFAULT_FN_ATTRS
2125 _mm_maskz_cvtepu8_epi16(__mmask8 __U, __m128i __A)
2126 {
2127   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2128                                              (__v8hi)_mm_cvtepu8_epi16(__A),
2129                                              (__v8hi)_mm_setzero_si128());
2130 }
2131
2132 static __inline__ __m256i __DEFAULT_FN_ATTRS
2133 _mm256_mask_cvtepu8_epi16(__m256i __W, __mmask16 __U, __m128i __A)
2134 {
2135   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2136                                              (__v16hi)_mm256_cvtepu8_epi16(__A),
2137                                              (__v16hi)__W);
2138 }
2139
2140 static __inline__ __m256i __DEFAULT_FN_ATTRS
2141 _mm256_maskz_cvtepu8_epi16 (__mmask16 __U, __m128i __A)
2142 {
2143   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2144                                              (__v16hi)_mm256_cvtepu8_epi16(__A),
2145                                              (__v16hi)_mm256_setzero_si256());
2146 }
2147
2148
2149 #define _mm_cmp_epi8_mask(a, b, p) __extension__ ({ \
2150   (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \
2151                                          (__v16qi)(__m128i)(b), (int)(p), \
2152                                          (__mmask16)-1); })
2153
2154 #define _mm_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \
2155   (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \
2156                                          (__v16qi)(__m128i)(b), (int)(p), \
2157                                          (__mmask16)(m)); })
2158
2159 #define _mm_cmp_epu8_mask(a, b, p) __extension__ ({ \
2160   (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \
2161                                           (__v16qi)(__m128i)(b), (int)(p), \
2162                                           (__mmask16)-1); })
2163
2164 #define _mm_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \
2165   (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \
2166                                           (__v16qi)(__m128i)(b), (int)(p), \
2167                                           (__mmask16)(m)); })
2168
2169 #define _mm256_cmp_epi8_mask(a, b, p) __extension__ ({ \
2170   (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)(__m256i)(a), \
2171                                          (__v32qi)(__m256i)(b), (int)(p), \
2172                                          (__mmask32)-1); })
2173
2174 #define _mm256_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \
2175   (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)(__m256i)(a), \
2176                                          (__v32qi)(__m256i)(b), (int)(p), \
2177                                          (__mmask32)(m)); })
2178
2179 #define _mm256_cmp_epu8_mask(a, b, p) __extension__ ({ \
2180   (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)(__m256i)(a), \
2181                                           (__v32qi)(__m256i)(b), (int)(p), \
2182                                           (__mmask32)-1); })
2183
2184 #define _mm256_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \
2185   (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)(__m256i)(a), \
2186                                           (__v32qi)(__m256i)(b), (int)(p), \
2187                                           (__mmask32)(m)); })
2188
2189 #define _mm_cmp_epi16_mask(a, b, p) __extension__ ({ \
2190   (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)(__m128i)(a), \
2191                                         (__v8hi)(__m128i)(b), (int)(p), \
2192                                         (__mmask8)-1); })
2193
2194 #define _mm_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \
2195   (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)(__m128i)(a), \
2196                                         (__v8hi)(__m128i)(b), (int)(p), \
2197                                         (__mmask8)(m)); })
2198
2199 #define _mm_cmp_epu16_mask(a, b, p) __extension__ ({ \
2200   (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)(__m128i)(a), \
2201                                          (__v8hi)(__m128i)(b), (int)(p), \
2202                                          (__mmask8)-1); })
2203
2204 #define _mm_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \
2205   (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)(__m128i)(a), \
2206                                          (__v8hi)(__m128i)(b), (int)(p), \
2207                                          (__mmask8)(m)); })
2208
2209 #define _mm256_cmp_epi16_mask(a, b, p) __extension__ ({ \
2210   (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \
2211                                          (__v16hi)(__m256i)(b), (int)(p), \
2212                                          (__mmask16)-1); })
2213
2214 #define _mm256_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \
2215   (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \
2216                                          (__v16hi)(__m256i)(b), (int)(p), \
2217                                          (__mmask16)(m)); })
2218
2219 #define _mm256_cmp_epu16_mask(a, b, p) __extension__ ({ \
2220   (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \
2221                                           (__v16hi)(__m256i)(b), (int)(p), \
2222                                           (__mmask16)-1); })
2223
2224 #define _mm256_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \
2225   (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \
2226                                           (__v16hi)(__m256i)(b), (int)(p), \
2227                                           (__mmask16)(m)); })
2228
2229 #define _mm_mask_shufflehi_epi16(W, U, A, imm) __extension__ ({ \
2230   (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \
2231                                       (__v8hi)_mm_shufflehi_epi16((A), (imm)), \
2232                                       (__v8hi)(__m128i)(W)); })
2233
2234 #define _mm_maskz_shufflehi_epi16(U, A, imm) __extension__ ({ \
2235   (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \
2236                                       (__v8hi)_mm_shufflehi_epi16((A), (imm)), \
2237                                       (__v8hi)_mm_setzero_hi()); })
2238
2239 #define _mm256_mask_shufflehi_epi16(W, U, A, imm) __extension__ ({ \
2240   (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \
2241                                       (__v16hi)_mm256_shufflehi_epi16((A), (imm)), \
2242                                       (__v16hi)(__m256i)(W)); })
2243
2244 #define _mm256_maskz_shufflehi_epi16(U, A, imm) __extension__ ({ \
2245   (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \
2246                                       (__v16hi)_mm256_shufflehi_epi16((A), (imm)), \
2247                                       (__v16hi)_mm256_setzero_si256()); })
2248
2249 #define _mm_mask_shufflelo_epi16(W, U, A, imm) __extension__ ({ \
2250   (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \
2251                                       (__v8hi)_mm_shufflelo_epi16((A), (imm)), \
2252                                       (__v8hi)(__m128i)(W)); })
2253
2254 #define _mm_maskz_shufflelo_epi16(U, A, imm) __extension__ ({ \
2255   (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \
2256                                       (__v8hi)_mm_shufflelo_epi16((A), (imm)), \
2257                                       (__v8hi)_mm_setzero_hi()); })
2258
2259 #define _mm256_mask_shufflelo_epi16(W, U, A, imm) __extension__ ({ \
2260   (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \
2261                                       (__v16hi)_mm256_shufflelo_epi16((A), \
2262                                                                       (imm)), \
2263                                       (__v16hi)(__m256i)(W)); })
2264
2265 #define _mm256_maskz_shufflelo_epi16(U, A, imm) __extension__ ({ \
2266   (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \
2267                                       (__v16hi)_mm256_shufflelo_epi16((A), \
2268                                                                       (imm)), \
2269                                       (__v16hi)_mm256_setzero_si256()); })
2270
2271 static __inline__ __m256i __DEFAULT_FN_ATTRS
2272 _mm256_sllv_epi16(__m256i __A, __m256i __B)
2273 {
2274   return (__m256i)__builtin_ia32_psllv16hi((__v16hi)__A, (__v16hi)__B);
2275 }
2276
2277 static __inline__ __m256i __DEFAULT_FN_ATTRS
2278 _mm256_mask_sllv_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
2279 {
2280   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2281                                            (__v16hi)_mm256_sllv_epi16(__A, __B),
2282                                            (__v16hi)__W);
2283 }
2284
2285 static __inline__ __m256i __DEFAULT_FN_ATTRS
2286 _mm256_maskz_sllv_epi16(__mmask16 __U, __m256i __A, __m256i __B)
2287 {
2288   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2289                                            (__v16hi)_mm256_sllv_epi16(__A, __B),
2290                                            (__v16hi)_mm256_setzero_si256());
2291 }
2292
2293 static __inline__ __m128i __DEFAULT_FN_ATTRS
2294 _mm_sllv_epi16(__m128i __A, __m128i __B)
2295 {
2296   return (__m128i)__builtin_ia32_psllv8hi((__v8hi)__A, (__v8hi)__B);
2297 }
2298
2299 static __inline__ __m128i __DEFAULT_FN_ATTRS
2300 _mm_mask_sllv_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
2301 {
2302   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2303                                              (__v8hi)_mm_sllv_epi16(__A, __B),
2304                                              (__v8hi)__W);
2305 }
2306
2307 static __inline__ __m128i __DEFAULT_FN_ATTRS
2308 _mm_maskz_sllv_epi16(__mmask8 __U, __m128i __A, __m128i __B)
2309 {
2310   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2311                                              (__v8hi)_mm_sllv_epi16(__A, __B),
2312                                              (__v8hi)_mm_setzero_si128());
2313 }
2314
2315 static __inline__ __m128i __DEFAULT_FN_ATTRS
2316 _mm_mask_sll_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
2317 {
2318   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2319                                              (__v8hi)_mm_sll_epi16(__A, __B),
2320                                              (__v8hi)__W);
2321 }
2322
2323 static __inline__ __m128i __DEFAULT_FN_ATTRS
2324 _mm_maskz_sll_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
2325 {
2326   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2327                                              (__v8hi)_mm_sll_epi16(__A, __B),
2328                                              (__v8hi)_mm_setzero_si128());
2329 }
2330
2331 static __inline__ __m256i __DEFAULT_FN_ATTRS
2332 _mm256_mask_sll_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m128i __B)
2333 {
2334   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2335                                           (__v16hi)_mm256_sll_epi16(__A, __B),
2336                                           (__v16hi)__W);
2337 }
2338
2339 static __inline__ __m256i __DEFAULT_FN_ATTRS
2340 _mm256_maskz_sll_epi16(__mmask16 __U, __m256i __A, __m128i __B)
2341 {
2342   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2343                                           (__v16hi)_mm256_sll_epi16(__A, __B),
2344                                           (__v16hi)_mm256_setzero_si256());
2345 }
2346
2347 static __inline__ __m128i __DEFAULT_FN_ATTRS
2348 _mm_mask_slli_epi16(__m128i __W, __mmask8 __U, __m128i __A, int __B)
2349 {
2350   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2351                                              (__v8hi)_mm_slli_epi16(__A, __B),
2352                                              (__v8hi)__W);
2353 }
2354
2355 static __inline__ __m128i __DEFAULT_FN_ATTRS
2356 _mm_maskz_slli_epi16 (__mmask8 __U, __m128i __A, int __B)
2357 {
2358   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2359                                              (__v8hi)_mm_slli_epi16(__A, __B),
2360                                              (__v8hi)_mm_setzero_si128());
2361 }
2362
2363 static __inline__ __m256i __DEFAULT_FN_ATTRS
2364 _mm256_mask_slli_epi16(__m256i __W, __mmask16 __U, __m256i __A, int __B)
2365 {
2366   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2367                                          (__v16hi)_mm256_slli_epi16(__A, __B),
2368                                          (__v16hi)__W);
2369 }
2370
2371 static __inline__ __m256i __DEFAULT_FN_ATTRS
2372 _mm256_maskz_slli_epi16(__mmask16 __U, __m256i __A, int __B)
2373 {
2374   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2375                                          (__v16hi)_mm256_slli_epi16(__A, __B),
2376                                          (__v16hi)_mm256_setzero_si256());
2377 }
2378
2379 static __inline__ __m256i __DEFAULT_FN_ATTRS
2380 _mm256_srlv_epi16(__m256i __A, __m256i __B)
2381 {
2382   return (__m256i)__builtin_ia32_psrlv16hi((__v16hi)__A, (__v16hi)__B);
2383 }
2384
2385 static __inline__ __m256i __DEFAULT_FN_ATTRS
2386 _mm256_mask_srlv_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
2387 {
2388   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2389                                            (__v16hi)_mm256_srlv_epi16(__A, __B),
2390                                            (__v16hi)__W);
2391 }
2392
2393 static __inline__ __m256i __DEFAULT_FN_ATTRS
2394 _mm256_maskz_srlv_epi16(__mmask16 __U, __m256i __A, __m256i __B)
2395 {
2396   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2397                                            (__v16hi)_mm256_srlv_epi16(__A, __B),
2398                                            (__v16hi)_mm256_setzero_si256());
2399 }
2400
2401 static __inline__ __m128i __DEFAULT_FN_ATTRS
2402 _mm_srlv_epi16(__m128i __A, __m128i __B)
2403 {
2404   return (__m128i)__builtin_ia32_psrlv8hi((__v8hi)__A, (__v8hi)__B);
2405 }
2406
2407 static __inline__ __m128i __DEFAULT_FN_ATTRS
2408 _mm_mask_srlv_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
2409 {
2410   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2411                                              (__v8hi)_mm_srlv_epi16(__A, __B),
2412                                              (__v8hi)__W);
2413 }
2414
2415 static __inline__ __m128i __DEFAULT_FN_ATTRS
2416 _mm_maskz_srlv_epi16(__mmask8 __U, __m128i __A, __m128i __B)
2417 {
2418   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2419                                              (__v8hi)_mm_srlv_epi16(__A, __B),
2420                                              (__v8hi)_mm_setzero_si128());
2421 }
2422
2423 static __inline__ __m256i __DEFAULT_FN_ATTRS
2424 _mm256_srav_epi16(__m256i __A, __m256i __B)
2425 {
2426   return (__m256i)__builtin_ia32_psrav16hi((__v16hi)__A, (__v16hi)__B);
2427 }
2428
2429 static __inline__ __m256i __DEFAULT_FN_ATTRS
2430 _mm256_mask_srav_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B)
2431 {
2432   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2433                                            (__v16hi)_mm256_srav_epi16(__A, __B),
2434                                            (__v16hi)__W);
2435 }
2436
2437 static __inline__ __m256i __DEFAULT_FN_ATTRS
2438 _mm256_maskz_srav_epi16(__mmask16 __U, __m256i __A, __m256i __B)
2439 {
2440   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2441                                            (__v16hi)_mm256_srav_epi16(__A, __B),
2442                                            (__v16hi)_mm256_setzero_si256());
2443 }
2444
2445 static __inline__ __m128i __DEFAULT_FN_ATTRS
2446 _mm_srav_epi16(__m128i __A, __m128i __B)
2447 {
2448   return (__m128i)__builtin_ia32_psrav8hi((__v8hi)__A, (__v8hi)__B);
2449 }
2450
2451 static __inline__ __m128i __DEFAULT_FN_ATTRS
2452 _mm_mask_srav_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
2453 {
2454   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2455                                              (__v8hi)_mm_srav_epi16(__A, __B),
2456                                              (__v8hi)__W);
2457 }
2458
2459 static __inline__ __m128i __DEFAULT_FN_ATTRS
2460 _mm_maskz_srav_epi16(__mmask8 __U, __m128i __A, __m128i __B)
2461 {
2462   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2463                                              (__v8hi)_mm_srav_epi16(__A, __B),
2464                                              (__v8hi)_mm_setzero_si128());
2465 }
2466
2467 static __inline__ __m128i __DEFAULT_FN_ATTRS
2468 _mm_mask_sra_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
2469 {
2470   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2471                                              (__v8hi)_mm_sra_epi16(__A, __B),
2472                                              (__v8hi)__W);
2473 }
2474
2475 static __inline__ __m128i __DEFAULT_FN_ATTRS
2476 _mm_maskz_sra_epi16(__mmask8 __U, __m128i __A, __m128i __B)
2477 {
2478   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2479                                              (__v8hi)_mm_sra_epi16(__A, __B),
2480                                              (__v8hi)_mm_setzero_si128());
2481 }
2482
2483 static __inline__ __m256i __DEFAULT_FN_ATTRS
2484 _mm256_mask_sra_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m128i __B)
2485 {
2486   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2487                                           (__v16hi)_mm256_sra_epi16(__A, __B),
2488                                           (__v16hi)__W);
2489 }
2490
2491 static __inline__ __m256i __DEFAULT_FN_ATTRS
2492 _mm256_maskz_sra_epi16(__mmask16 __U, __m256i __A, __m128i __B)
2493 {
2494   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2495                                           (__v16hi)_mm256_sra_epi16(__A, __B),
2496                                           (__v16hi)_mm256_setzero_si256());
2497 }
2498
2499 static __inline__ __m128i __DEFAULT_FN_ATTRS
2500 _mm_mask_srai_epi16(__m128i __W, __mmask8 __U, __m128i __A, int __B)
2501 {
2502   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2503                                              (__v8hi)_mm_srai_epi16(__A, __B),
2504                                              (__v8hi)__W);
2505 }
2506
2507 static __inline__ __m128i __DEFAULT_FN_ATTRS
2508 _mm_maskz_srai_epi16(__mmask8 __U, __m128i __A, int __B)
2509 {
2510   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2511                                              (__v8hi)_mm_srai_epi16(__A, __B),
2512                                              (__v8hi)_mm_setzero_si128());
2513 }
2514
2515 static __inline__ __m256i __DEFAULT_FN_ATTRS
2516 _mm256_mask_srai_epi16(__m256i __W, __mmask16 __U, __m256i __A, int __B)
2517 {
2518   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2519                                          (__v16hi)_mm256_srai_epi16(__A, __B),
2520                                          (__v16hi)__W);
2521 }
2522
2523 static __inline__ __m256i __DEFAULT_FN_ATTRS
2524 _mm256_maskz_srai_epi16(__mmask16 __U, __m256i __A, int __B)
2525 {
2526   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2527                                          (__v16hi)_mm256_srai_epi16(__A, __B),
2528                                          (__v16hi)_mm256_setzero_si256());
2529 }
2530
2531 static __inline__ __m128i __DEFAULT_FN_ATTRS
2532 _mm_mask_srl_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B)
2533 {
2534   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2535                                              (__v8hi)_mm_srl_epi16(__A, __B),
2536                                              (__v8hi)__W);
2537 }
2538
2539 static __inline__ __m128i __DEFAULT_FN_ATTRS
2540 _mm_maskz_srl_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
2541 {
2542   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2543                                              (__v8hi)_mm_srl_epi16(__A, __B),
2544                                              (__v8hi)_mm_setzero_si128());
2545 }
2546
2547 static __inline__ __m256i __DEFAULT_FN_ATTRS
2548 _mm256_mask_srl_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m128i __B)
2549 {
2550   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2551                                           (__v16hi)_mm256_srl_epi16(__A, __B),
2552                                           (__v16hi)__W);
2553 }
2554
2555 static __inline__ __m256i __DEFAULT_FN_ATTRS
2556 _mm256_maskz_srl_epi16(__mmask16 __U, __m256i __A, __m128i __B)
2557 {
2558   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2559                                           (__v16hi)_mm256_srl_epi16(__A, __B),
2560                                           (__v16hi)_mm256_setzero_si256());
2561 }
2562
2563 static __inline__ __m128i __DEFAULT_FN_ATTRS
2564 _mm_mask_srli_epi16(__m128i __W, __mmask8 __U, __m128i __A, int __B)
2565 {
2566   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2567                                              (__v8hi)_mm_srli_epi16(__A, __B),
2568                                              (__v8hi)__W);
2569 }
2570
2571 static __inline__ __m128i __DEFAULT_FN_ATTRS
2572 _mm_maskz_srli_epi16 (__mmask8 __U, __m128i __A, int __B)
2573 {
2574   return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U,
2575                                              (__v8hi)_mm_srli_epi16(__A, __B),
2576                                              (__v8hi)_mm_setzero_si128());
2577 }
2578
2579 static __inline__ __m256i __DEFAULT_FN_ATTRS
2580 _mm256_mask_srli_epi16(__m256i __W, __mmask16 __U, __m256i __A, int __B)
2581 {
2582   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2583                                          (__v16hi)_mm256_srli_epi16(__A, __B),
2584                                          (__v16hi)__W);
2585 }
2586
2587 static __inline__ __m256i __DEFAULT_FN_ATTRS
2588 _mm256_maskz_srli_epi16(__mmask16 __U, __m256i __A, int __B)
2589 {
2590   return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U,
2591                                          (__v16hi)_mm256_srli_epi16(__A, __B),
2592                                          (__v16hi)_mm256_setzero_si256());
2593 }
2594
2595 static __inline__ __m128i __DEFAULT_FN_ATTRS
2596 _mm_mask_mov_epi16 (__m128i __W, __mmask8 __U, __m128i __A)
2597 {
2598   return (__m128i) __builtin_ia32_selectw_128 ((__mmask8) __U,
2599                 (__v8hi) __A,
2600                 (__v8hi) __W);
2601 }
2602
2603 static __inline__ __m128i __DEFAULT_FN_ATTRS
2604 _mm_maskz_mov_epi16 (__mmask8 __U, __m128i __A)
2605 {
2606   return (__m128i) __builtin_ia32_selectw_128 ((__mmask8) __U,
2607                 (__v8hi) __A,
2608                 (__v8hi) _mm_setzero_hi ());
2609 }
2610
2611 static __inline__ __m256i __DEFAULT_FN_ATTRS
2612 _mm256_mask_mov_epi16 (__m256i __W, __mmask16 __U, __m256i __A)
2613 {
2614   return (__m256i) __builtin_ia32_selectw_256 ((__mmask16) __U,
2615                 (__v16hi) __A,
2616                 (__v16hi) __W);
2617 }
2618
2619 static __inline__ __m256i __DEFAULT_FN_ATTRS
2620 _mm256_maskz_mov_epi16 (__mmask16 __U, __m256i __A)
2621 {
2622   return (__m256i) __builtin_ia32_selectw_256 ((__mmask16) __U,
2623                 (__v16hi) __A,
2624                 (__v16hi) _mm256_setzero_si256 ());
2625 }
2626
2627 static __inline__ __m128i __DEFAULT_FN_ATTRS
2628 _mm_mask_mov_epi8 (__m128i __W, __mmask16 __U, __m128i __A)
2629 {
2630   return (__m128i) __builtin_ia32_selectb_128 ((__mmask16) __U,
2631                 (__v16qi) __A,
2632                 (__v16qi) __W);
2633 }
2634
2635 static __inline__ __m128i __DEFAULT_FN_ATTRS
2636 _mm_maskz_mov_epi8 (__mmask16 __U, __m128i __A)
2637 {
2638   return (__m128i) __builtin_ia32_selectb_128 ((__mmask16) __U,
2639                 (__v16qi) __A,
2640                 (__v16qi) _mm_setzero_hi ());
2641 }
2642
2643 static __inline__ __m256i __DEFAULT_FN_ATTRS
2644 _mm256_mask_mov_epi8 (__m256i __W, __mmask32 __U, __m256i __A)
2645 {
2646   return (__m256i) __builtin_ia32_selectb_256 ((__mmask32) __U,
2647                 (__v32qi) __A,
2648                 (__v32qi) __W);
2649 }
2650
2651 static __inline__ __m256i __DEFAULT_FN_ATTRS
2652 _mm256_maskz_mov_epi8 (__mmask32 __U, __m256i __A)
2653 {
2654   return (__m256i) __builtin_ia32_selectb_256 ((__mmask32) __U,
2655                 (__v32qi) __A,
2656                 (__v32qi) _mm256_setzero_si256 ());
2657 }
2658
2659
2660 static __inline__ __m128i __DEFAULT_FN_ATTRS
2661 _mm_mask_set1_epi8 (__m128i __O, __mmask16 __M, char __A)
2662 {
2663   return (__m128i) __builtin_ia32_pbroadcastb128_gpr_mask (__A,
2664                  (__v16qi) __O,
2665                  __M);
2666 }
2667
2668 static __inline__ __m128i __DEFAULT_FN_ATTRS
2669 _mm_maskz_set1_epi8 (__mmask16 __M, char __A)
2670 {
2671   return (__m128i) __builtin_ia32_pbroadcastb128_gpr_mask (__A,
2672                  (__v16qi)
2673                  _mm_setzero_si128 (),
2674                  __M);
2675 }
2676
2677 static __inline__ __m256i __DEFAULT_FN_ATTRS
2678 _mm256_mask_set1_epi8 (__m256i __O, __mmask32 __M, char __A)
2679 {
2680   return (__m256i) __builtin_ia32_pbroadcastb256_gpr_mask (__A,
2681                  (__v32qi) __O,
2682                  __M);
2683 }
2684
2685 static __inline__ __m256i __DEFAULT_FN_ATTRS
2686 _mm256_maskz_set1_epi8 (__mmask32 __M, char __A)
2687 {
2688   return (__m256i) __builtin_ia32_pbroadcastb256_gpr_mask (__A,
2689                  (__v32qi)
2690                  _mm256_setzero_si256 (),
2691                  __M);
2692 }
2693
2694 static __inline__ __m128i __DEFAULT_FN_ATTRS
2695 _mm_mask_loadu_epi16 (__m128i __W, __mmask8 __U, void const *__P)
2696 {
2697   return (__m128i) __builtin_ia32_loaddquhi128_mask ((__v8hi *) __P,
2698                  (__v8hi) __W,
2699                  (__mmask8) __U);
2700 }
2701
2702 static __inline__ __m128i __DEFAULT_FN_ATTRS
2703 _mm_maskz_loadu_epi16 (__mmask8 __U, void const *__P)
2704 {
2705   return (__m128i) __builtin_ia32_loaddquhi128_mask ((__v8hi *) __P,
2706                  (__v8hi)
2707                  _mm_setzero_hi (),
2708                  (__mmask8) __U);
2709 }
2710
2711 static __inline__ __m256i __DEFAULT_FN_ATTRS
2712 _mm256_mask_loadu_epi16 (__m256i __W, __mmask16 __U, void const *__P)
2713 {
2714   return (__m256i) __builtin_ia32_loaddquhi256_mask ((__v16hi *) __P,
2715                  (__v16hi) __W,
2716                  (__mmask16) __U);
2717 }
2718
2719 static __inline__ __m256i __DEFAULT_FN_ATTRS
2720 _mm256_maskz_loadu_epi16 (__mmask16 __U, void const *__P)
2721 {
2722   return (__m256i) __builtin_ia32_loaddquhi256_mask ((__v16hi *) __P,
2723                  (__v16hi)
2724                  _mm256_setzero_si256 (),
2725                  (__mmask16) __U);
2726 }
2727
2728 static __inline__ __m128i __DEFAULT_FN_ATTRS
2729 _mm_mask_loadu_epi8 (__m128i __W, __mmask16 __U, void const *__P)
2730 {
2731   return (__m128i) __builtin_ia32_loaddquqi128_mask ((__v16qi *) __P,
2732                  (__v16qi) __W,
2733                  (__mmask16) __U);
2734 }
2735
2736 static __inline__ __m128i __DEFAULT_FN_ATTRS
2737 _mm_maskz_loadu_epi8 (__mmask16 __U, void const *__P)
2738 {
2739   return (__m128i) __builtin_ia32_loaddquqi128_mask ((__v16qi *) __P,
2740                  (__v16qi)
2741                  _mm_setzero_si128 (),
2742                  (__mmask16) __U);
2743 }
2744
2745 static __inline__ __m256i __DEFAULT_FN_ATTRS
2746 _mm256_mask_loadu_epi8 (__m256i __W, __mmask32 __U, void const *__P)
2747 {
2748   return (__m256i) __builtin_ia32_loaddquqi256_mask ((__v32qi *) __P,
2749                  (__v32qi) __W,
2750                  (__mmask32) __U);
2751 }
2752
2753 static __inline__ __m256i __DEFAULT_FN_ATTRS
2754 _mm256_maskz_loadu_epi8 (__mmask32 __U, void const *__P)
2755 {
2756   return (__m256i) __builtin_ia32_loaddquqi256_mask ((__v32qi *) __P,
2757                  (__v32qi)
2758                  _mm256_setzero_si256 (),
2759                  (__mmask32) __U);
2760 }
2761 static __inline__ void __DEFAULT_FN_ATTRS
2762 _mm_mask_storeu_epi16 (void *__P, __mmask8 __U, __m128i __A)
2763 {
2764   __builtin_ia32_storedquhi128_mask ((__v8hi *) __P,
2765              (__v8hi) __A,
2766              (__mmask8) __U);
2767 }
2768
2769 static __inline__ void __DEFAULT_FN_ATTRS
2770 _mm256_mask_storeu_epi16 (void *__P, __mmask16 __U, __m256i __A)
2771 {
2772   __builtin_ia32_storedquhi256_mask ((__v16hi *) __P,
2773              (__v16hi) __A,
2774              (__mmask16) __U);
2775 }
2776
2777 static __inline__ void __DEFAULT_FN_ATTRS
2778 _mm_mask_storeu_epi8 (void *__P, __mmask16 __U, __m128i __A)
2779 {
2780   __builtin_ia32_storedquqi128_mask ((__v16qi *) __P,
2781              (__v16qi) __A,
2782              (__mmask16) __U);
2783 }
2784
2785 static __inline__ void __DEFAULT_FN_ATTRS
2786 _mm256_mask_storeu_epi8 (void *__P, __mmask32 __U, __m256i __A)
2787 {
2788   __builtin_ia32_storedquqi256_mask ((__v32qi *) __P,
2789              (__v32qi) __A,
2790              (__mmask32) __U);
2791 }
2792
2793 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2794 _mm_test_epi8_mask (__m128i __A, __m128i __B)
2795 {
2796   return (__mmask16) __builtin_ia32_ptestmb128 ((__v16qi) __A,
2797             (__v16qi) __B,
2798             (__mmask16) -1);
2799 }
2800
2801 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2802 _mm_mask_test_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B)
2803 {
2804   return (__mmask16) __builtin_ia32_ptestmb128 ((__v16qi) __A,
2805             (__v16qi) __B, __U);
2806 }
2807
2808 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2809 _mm256_test_epi8_mask (__m256i __A, __m256i __B)
2810 {
2811   return (__mmask32) __builtin_ia32_ptestmb256 ((__v32qi) __A,
2812             (__v32qi) __B,
2813             (__mmask32) -1);
2814 }
2815
2816 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2817 _mm256_mask_test_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B)
2818 {
2819   return (__mmask32) __builtin_ia32_ptestmb256 ((__v32qi) __A,
2820             (__v32qi) __B, __U);
2821 }
2822
2823 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
2824 _mm_test_epi16_mask (__m128i __A, __m128i __B)
2825 {
2826   return (__mmask8) __builtin_ia32_ptestmw128 ((__v8hi) __A,
2827                  (__v8hi) __B,
2828                  (__mmask8) -1);
2829 }
2830
2831 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
2832 _mm_mask_test_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B)
2833 {
2834   return (__mmask8) __builtin_ia32_ptestmw128 ((__v8hi) __A,
2835                  (__v8hi) __B, __U);
2836 }
2837
2838 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2839 _mm256_test_epi16_mask (__m256i __A, __m256i __B)
2840 {
2841   return (__mmask16) __builtin_ia32_ptestmw256 ((__v16hi) __A,
2842             (__v16hi) __B,
2843             (__mmask16) -1);
2844 }
2845
2846 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2847 _mm256_mask_test_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B)
2848 {
2849   return (__mmask16) __builtin_ia32_ptestmw256 ((__v16hi) __A,
2850             (__v16hi) __B, __U);
2851 }
2852
2853 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2854 _mm_testn_epi8_mask (__m128i __A, __m128i __B)
2855 {
2856   return (__mmask16) __builtin_ia32_ptestnmb128 ((__v16qi) __A,
2857              (__v16qi) __B,
2858              (__mmask16) -1);
2859 }
2860
2861 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2862 _mm_mask_testn_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B)
2863 {
2864   return (__mmask16) __builtin_ia32_ptestnmb128 ((__v16qi) __A,
2865              (__v16qi) __B, __U);
2866 }
2867
2868 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2869 _mm256_testn_epi8_mask (__m256i __A, __m256i __B)
2870 {
2871   return (__mmask32) __builtin_ia32_ptestnmb256 ((__v32qi) __A,
2872              (__v32qi) __B,
2873              (__mmask32) -1);
2874 }
2875
2876 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2877 _mm256_mask_testn_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B)
2878 {
2879   return (__mmask32) __builtin_ia32_ptestnmb256 ((__v32qi) __A,
2880              (__v32qi) __B, __U);
2881 }
2882
2883 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
2884 _mm_testn_epi16_mask (__m128i __A, __m128i __B)
2885 {
2886   return (__mmask8) __builtin_ia32_ptestnmw128 ((__v8hi) __A,
2887             (__v8hi) __B,
2888             (__mmask8) -1);
2889 }
2890
2891 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
2892 _mm_mask_testn_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B)
2893 {
2894   return (__mmask8) __builtin_ia32_ptestnmw128 ((__v8hi) __A,
2895             (__v8hi) __B, __U);
2896 }
2897
2898 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2899 _mm256_testn_epi16_mask (__m256i __A, __m256i __B)
2900 {
2901   return (__mmask16) __builtin_ia32_ptestnmw256 ((__v16hi) __A,
2902              (__v16hi) __B,
2903              (__mmask16) -1);
2904 }
2905
2906 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2907 _mm256_mask_testn_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B)
2908 {
2909   return (__mmask16) __builtin_ia32_ptestnmw256 ((__v16hi) __A,
2910              (__v16hi) __B, __U);
2911 }
2912
2913 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2914 _mm_movepi8_mask (__m128i __A)
2915 {
2916   return (__mmask16) __builtin_ia32_cvtb2mask128 ((__v16qi) __A);
2917 }
2918
2919 static __inline__ __mmask32 __DEFAULT_FN_ATTRS
2920 _mm256_movepi8_mask (__m256i __A)
2921 {
2922   return (__mmask32) __builtin_ia32_cvtb2mask256 ((__v32qi) __A);
2923 }
2924
2925 static __inline__ __mmask8 __DEFAULT_FN_ATTRS
2926 _mm_movepi16_mask (__m128i __A)
2927 {
2928   return (__mmask8) __builtin_ia32_cvtw2mask128 ((__v8hi) __A);
2929 }
2930
2931 static __inline__ __mmask16 __DEFAULT_FN_ATTRS
2932 _mm256_movepi16_mask (__m256i __A)
2933 {
2934   return (__mmask16) __builtin_ia32_cvtw2mask256 ((__v16hi) __A);
2935 }
2936
2937 static __inline__ __m128i __DEFAULT_FN_ATTRS
2938 _mm_movm_epi8 (__mmask16 __A)
2939 {
2940   return (__m128i) __builtin_ia32_cvtmask2b128 (__A);
2941 }
2942
2943 static __inline__ __m256i __DEFAULT_FN_ATTRS
2944 _mm256_movm_epi8 (__mmask32 __A)
2945 {
2946   return (__m256i) __builtin_ia32_cvtmask2b256 (__A);
2947 }
2948
2949 static __inline__ __m128i __DEFAULT_FN_ATTRS
2950 _mm_movm_epi16 (__mmask8 __A)
2951 {
2952   return (__m128i) __builtin_ia32_cvtmask2w128 (__A);
2953 }
2954
2955 static __inline__ __m256i __DEFAULT_FN_ATTRS
2956 _mm256_movm_epi16 (__mmask16 __A)
2957 {
2958   return (__m256i) __builtin_ia32_cvtmask2w256 (__A);
2959 }
2960
2961 static __inline__ __m128i __DEFAULT_FN_ATTRS
2962 _mm_mask_broadcastb_epi8 (__m128i __O, __mmask16 __M, __m128i __A)
2963 {
2964   return (__m128i)__builtin_ia32_selectb_128(__M,
2965                                              (__v16qi) _mm_broadcastb_epi8(__A),
2966                                              (__v16qi) __O);
2967 }
2968
2969 static __inline__ __m128i __DEFAULT_FN_ATTRS
2970 _mm_maskz_broadcastb_epi8 (__mmask16 __M, __m128i __A)
2971 {
2972   return (__m128i)__builtin_ia32_selectb_128(__M,
2973                                              (__v16qi) _mm_broadcastb_epi8(__A),
2974                                              (__v16qi) _mm_setzero_si128());
2975 }
2976
2977 static __inline__ __m256i __DEFAULT_FN_ATTRS
2978 _mm256_mask_broadcastb_epi8 (__m256i __O, __mmask32 __M, __m128i __A)
2979 {
2980   return (__m256i)__builtin_ia32_selectb_256(__M,
2981                                              (__v32qi) _mm256_broadcastb_epi8(__A),
2982                                              (__v32qi) __O);
2983 }
2984
2985 static __inline__ __m256i __DEFAULT_FN_ATTRS
2986 _mm256_maskz_broadcastb_epi8 (__mmask32 __M, __m128i __A)
2987 {
2988   return (__m256i)__builtin_ia32_selectb_256(__M,
2989                                              (__v32qi) _mm256_broadcastb_epi8(__A),
2990                                              (__v32qi) _mm256_setzero_si256());
2991 }
2992
2993 static __inline__ __m128i __DEFAULT_FN_ATTRS
2994 _mm_mask_broadcastw_epi16 (__m128i __O, __mmask8 __M, __m128i __A)
2995 {
2996   return (__m128i)__builtin_ia32_selectw_128(__M,
2997                                              (__v8hi) _mm_broadcastw_epi16(__A),
2998                                              (__v8hi) __O);
2999 }
3000
3001 static __inline__ __m128i __DEFAULT_FN_ATTRS
3002 _mm_maskz_broadcastw_epi16 (__mmask8 __M, __m128i __A)
3003 {
3004   return (__m128i)__builtin_ia32_selectw_128(__M,
3005                                              (__v8hi) _mm_broadcastw_epi16(__A),
3006                                              (__v8hi) _mm_setzero_si128());
3007 }
3008
3009 static __inline__ __m256i __DEFAULT_FN_ATTRS
3010 _mm256_mask_broadcastw_epi16 (__m256i __O, __mmask16 __M, __m128i __A)
3011 {
3012   return (__m256i)__builtin_ia32_selectw_256(__M,
3013                                              (__v16hi) _mm256_broadcastw_epi16(__A),
3014                                              (__v16hi) __O);
3015 }
3016
3017 static __inline__ __m256i __DEFAULT_FN_ATTRS
3018 _mm256_maskz_broadcastw_epi16 (__mmask16 __M, __m128i __A)
3019 {
3020   return (__m256i)__builtin_ia32_selectw_256(__M,
3021                                              (__v16hi) _mm256_broadcastw_epi16(__A),
3022                                              (__v16hi) _mm256_setzero_si256());
3023 }
3024
3025 static __inline__ __m256i __DEFAULT_FN_ATTRS
3026 _mm256_mask_set1_epi16 (__m256i __O, __mmask16 __M, short __A)
3027 {
3028   return (__m256i) __builtin_ia32_pbroadcastw256_gpr_mask (__A,
3029                  (__v16hi) __O,
3030                  __M);
3031 }
3032
3033 static __inline__ __m256i __DEFAULT_FN_ATTRS
3034 _mm256_maskz_set1_epi16 (__mmask16 __M, short __A)
3035 {
3036   return (__m256i) __builtin_ia32_pbroadcastw256_gpr_mask (__A,
3037                  (__v16hi) _mm256_setzero_si256 (),
3038                  __M);
3039 }
3040
3041 static __inline__ __m128i __DEFAULT_FN_ATTRS
3042 _mm_mask_set1_epi16 (__m128i __O, __mmask8 __M, short __A)
3043 {
3044   return (__m128i) __builtin_ia32_pbroadcastw128_gpr_mask (__A,
3045                  (__v8hi) __O,
3046                  __M);
3047 }
3048
3049 static __inline__ __m128i __DEFAULT_FN_ATTRS
3050 _mm_maskz_set1_epi16 (__mmask8 __M, short __A)
3051 {
3052   return (__m128i) __builtin_ia32_pbroadcastw128_gpr_mask (__A,
3053                  (__v8hi) _mm_setzero_si128 (),
3054                  __M);
3055 }
3056
3057 static __inline__ __m128i __DEFAULT_FN_ATTRS
3058 _mm_permutexvar_epi16 (__m128i __A, __m128i __B)
3059 {
3060   return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B,
3061                  (__v8hi) __A,
3062                  (__v8hi) _mm_undefined_si128 (),
3063                  (__mmask8) -1);
3064 }
3065
3066 static __inline__ __m128i __DEFAULT_FN_ATTRS
3067 _mm_maskz_permutexvar_epi16 (__mmask8 __M, __m128i __A, __m128i __B)
3068 {
3069   return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B,
3070                  (__v8hi) __A,
3071                  (__v8hi) _mm_setzero_si128 (),
3072                  (__mmask8) __M);
3073 }
3074
3075 static __inline__ __m128i __DEFAULT_FN_ATTRS
3076 _mm_mask_permutexvar_epi16 (__m128i __W, __mmask8 __M, __m128i __A,
3077           __m128i __B)
3078 {
3079   return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B,
3080                  (__v8hi) __A,
3081                  (__v8hi) __W,
3082                  (__mmask8) __M);
3083 }
3084
3085 static __inline__ __m256i __DEFAULT_FN_ATTRS
3086 _mm256_permutexvar_epi16 (__m256i __A, __m256i __B)
3087 {
3088   return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B,
3089                  (__v16hi) __A,
3090                  (__v16hi) _mm256_undefined_si256 (),
3091                  (__mmask16) -1);
3092 }
3093
3094 static __inline__ __m256i __DEFAULT_FN_ATTRS
3095 _mm256_maskz_permutexvar_epi16 (__mmask16 __M, __m256i __A,
3096         __m256i __B)
3097 {
3098   return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B,
3099                  (__v16hi) __A,
3100                  (__v16hi) _mm256_setzero_si256 (),
3101                  (__mmask16) __M);
3102 }
3103
3104 static __inline__ __m256i __DEFAULT_FN_ATTRS
3105 _mm256_mask_permutexvar_epi16 (__m256i __W, __mmask16 __M, __m256i __A,
3106              __m256i __B)
3107 {
3108   return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B,
3109                  (__v16hi) __A,
3110                  (__v16hi) __W,
3111                  (__mmask16) __M);
3112 }
3113
3114 #define _mm_mask_alignr_epi8(W, U, A, B, N) __extension__ ({ \
3115   (__m128i)__builtin_ia32_selectb_128((__mmask16)(U), \
3116                                  (__v16qi)_mm_alignr_epi8((A), (B), (int)(N)), \
3117                                  (__v16qi)(__m128i)(W)); })
3118
3119 #define _mm_maskz_alignr_epi8(U, A, B, N) __extension__ ({ \
3120   (__m128i)__builtin_ia32_selectb_128((__mmask16)(U), \
3121                                  (__v16qi)_mm_alignr_epi8((A), (B), (int)(N)), \
3122                                  (__v16qi)_mm_setzero_si128()); })
3123
3124 #define _mm256_mask_alignr_epi8(W, U, A, B, N) __extension__ ({ \
3125   (__m256i)__builtin_ia32_selectb_256((__mmask32)(U), \
3126                               (__v32qi)_mm256_alignr_epi8((A), (B), (int)(N)), \
3127                               (__v32qi)(__m256i)(W)); })
3128
3129 #define _mm256_maskz_alignr_epi8(U, A, B, N) __extension__ ({ \
3130   (__m256i)__builtin_ia32_selectb_256((__mmask32)(U), \
3131                               (__v32qi)_mm256_alignr_epi8((A), (B), (int)(N)), \
3132                               (__v32qi)_mm256_setzero_si256()); })
3133
3134 #define _mm_dbsad_epu8(A, B, imm) __extension__ ({ \
3135   (__m128i)__builtin_ia32_dbpsadbw128_mask((__v16qi)(__m128i)(A), \
3136                                            (__v16qi)(__m128i)(B), (int)(imm), \
3137                                            (__v8hi)_mm_setzero_hi(), \
3138                                            (__mmask8)-1); })
3139
3140 #define _mm_mask_dbsad_epu8(W, U, A, B, imm) __extension__ ({ \
3141   (__m128i)__builtin_ia32_dbpsadbw128_mask((__v16qi)(__m128i)(A), \
3142                                            (__v16qi)(__m128i)(B), (int)(imm), \
3143                                            (__v8hi)(__m128i)(W), \
3144                                            (__mmask8)(U)); })
3145
3146 #define _mm_maskz_dbsad_epu8(U, A, B, imm) __extension__ ({ \
3147   (__m128i)__builtin_ia32_dbpsadbw128_mask((__v16qi)(__m128i)(A), \
3148                                            (__v16qi)(__m128i)(B), (int)(imm), \
3149                                            (__v8hi)_mm_setzero_si128(), \
3150                                            (__mmask8)(U)); })
3151
3152 #define _mm256_dbsad_epu8(A, B, imm) __extension__ ({ \
3153   (__m256i)__builtin_ia32_dbpsadbw256_mask((__v32qi)(__m256i)(A), \
3154                                            (__v32qi)(__m256i)(B), (int)(imm), \
3155                                            (__v16hi)_mm256_setzero_si256(), \
3156                                            (__mmask16)-1); })
3157
3158 #define _mm256_mask_dbsad_epu8(W, U, A, B, imm) __extension__ ({ \
3159   (__m256i)__builtin_ia32_dbpsadbw256_mask((__v32qi)(__m256i)(A), \
3160                                            (__v32qi)(__m256i)(B), (int)(imm), \
3161                                            (__v16hi)(__m256i)(W), \
3162                                            (__mmask16)(U)); })
3163
3164 #define _mm256_maskz_dbsad_epu8(U, A, B, imm) __extension__ ({ \
3165   (__m256i)__builtin_ia32_dbpsadbw256_mask((__v32qi)(__m256i)(A), \
3166                                            (__v32qi)(__m256i)(B), (int)(imm), \
3167                                            (__v16hi)_mm256_setzero_si256(), \
3168                                            (__mmask16)(U)); })
3169
3170 #undef __DEFAULT_FN_ATTRS
3171
3172 #endif /* __AVX512VLBWINTRIN_H */