contrib/llvm/tools/clang/lib/Headers/avx2intrin.h

   1 /*===---- avx2intrin.h - AVX2 intrinsics -----------------------------------===
   2  *
   3  * Permission is hereby granted, free of charge, to any person obtaining a copy
   4  * of this software and associated documentation files (the "Software"), to deal
   5  * in the Software without restriction, including without limitation the rights
   6  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
   7  * copies of the Software, and to permit persons to whom the Software is
   8  * furnished to do so, subject to the following conditions:
   9  *
  10  * The above copyright notice and this permission notice shall be included in
  11  * all copies or substantial portions of the Software.
  12  *
  13  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  14  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  15  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  16  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  17  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  18  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  19  * THE SOFTWARE.
  20  *
  21  *===-----------------------------------------------------------------------===
  22  */
  23
  24 #ifndef __IMMINTRIN_H
  25 #error "Never use <avx2intrin.h> directly; include <immintrin.h> instead."
  26 #endif
  27
  28 #ifndef __AVX2INTRIN_H
  29 #define __AVX2INTRIN_H
  30
  31 /* Define the default attributes for the functions in this file. */
  32 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx2")))
  33
  34 /* SSE4 Multiple Packed Sums of Absolute Difference.  */
  35 #define _mm256_mpsadbw_epu8(X, Y, M) \
  36   (__m256i)__builtin_ia32_mpsadbw256((__v32qi)(__m256i)(X), \
  37                                      (__v32qi)(__m256i)(Y), (int)(M))
  38
  39 static __inline__ __m256i __DEFAULT_FN_ATTRS
  40 _mm256_abs_epi8(__m256i __a)
  41 {
  42     return (__m256i)__builtin_ia32_pabsb256((__v32qi)__a);
  43 }
  44
  45 static __inline__ __m256i __DEFAULT_FN_ATTRS
  46 _mm256_abs_epi16(__m256i __a)
  47 {
  48     return (__m256i)__builtin_ia32_pabsw256((__v16hi)__a);
  49 }
  50
  51 static __inline__ __m256i __DEFAULT_FN_ATTRS
  52 _mm256_abs_epi32(__m256i __a)
  53 {
  54     return (__m256i)__builtin_ia32_pabsd256((__v8si)__a);
  55 }
  56
  57 static __inline__ __m256i __DEFAULT_FN_ATTRS
  58 _mm256_packs_epi16(__m256i __a, __m256i __b)
  59 {
  60   return (__m256i)__builtin_ia32_packsswb256((__v16hi)__a, (__v16hi)__b);
  61 }
  62
  63 static __inline__ __m256i __DEFAULT_FN_ATTRS
  64 _mm256_packs_epi32(__m256i __a, __m256i __b)
  65 {
  66   return (__m256i)__builtin_ia32_packssdw256((__v8si)__a, (__v8si)__b);
  67 }
  68
  69 static __inline__ __m256i __DEFAULT_FN_ATTRS
  70 _mm256_packus_epi16(__m256i __a, __m256i __b)
  71 {
  72   return (__m256i)__builtin_ia32_packuswb256((__v16hi)__a, (__v16hi)__b);
  73 }
  74
  75 static __inline__ __m256i __DEFAULT_FN_ATTRS
  76 _mm256_packus_epi32(__m256i __V1, __m256i __V2)
  77 {
  78   return (__m256i) __builtin_ia32_packusdw256((__v8si)__V1, (__v8si)__V2);
  79 }
  80
  81 static __inline__ __m256i __DEFAULT_FN_ATTRS
  82 _mm256_add_epi8(__m256i __a, __m256i __b)
  83 {
  84   return (__m256i)((__v32qu)__a + (__v32qu)__b);
  85 }
  86
  87 static __inline__ __m256i __DEFAULT_FN_ATTRS
  88 _mm256_add_epi16(__m256i __a, __m256i __b)
  89 {
  90   return (__m256i)((__v16hu)__a + (__v16hu)__b);
  91 }
  92
  93 static __inline__ __m256i __DEFAULT_FN_ATTRS
  94 _mm256_add_epi32(__m256i __a, __m256i __b)
  95 {
  96   return (__m256i)((__v8su)__a + (__v8su)__b);
  97 }
  98
  99 static __inline__ __m256i __DEFAULT_FN_ATTRS
 100 _mm256_add_epi64(__m256i __a, __m256i __b)
 101 {
 102   return (__m256i)((__v4du)__a + (__v4du)__b);
 103 }
 104
 105 static __inline__ __m256i __DEFAULT_FN_ATTRS
 106 _mm256_adds_epi8(__m256i __a, __m256i __b)
 107 {
 108   return (__m256i)__builtin_ia32_paddsb256((__v32qi)__a, (__v32qi)__b);
 109 }
 110
 111 static __inline__ __m256i __DEFAULT_FN_ATTRS
 112 _mm256_adds_epi16(__m256i __a, __m256i __b)
 113 {
 114   return (__m256i)__builtin_ia32_paddsw256((__v16hi)__a, (__v16hi)__b);
 115 }
 116
 117 static __inline__ __m256i __DEFAULT_FN_ATTRS
 118 _mm256_adds_epu8(__m256i __a, __m256i __b)
 119 {
 120   return (__m256i)__builtin_ia32_paddusb256((__v32qi)__a, (__v32qi)__b);
 121 }
 122
 123 static __inline__ __m256i __DEFAULT_FN_ATTRS
 124 _mm256_adds_epu16(__m256i __a, __m256i __b)
 125 {
 126   return (__m256i)__builtin_ia32_paddusw256((__v16hi)__a, (__v16hi)__b);
 127 }
 128
 129 #define _mm256_alignr_epi8(a, b, n) __extension__ ({        \
 130   (__m256i)__builtin_ia32_palignr256((__v32qi)(__m256i)(a), \
 131                                      (__v32qi)(__m256i)(b), (n)); })
 132
 133 static __inline__ __m256i __DEFAULT_FN_ATTRS
 134 _mm256_and_si256(__m256i __a, __m256i __b)
 135 {
 136   return (__m256i)((__v4du)__a & (__v4du)__b);
 137 }
 138
 139 static __inline__ __m256i __DEFAULT_FN_ATTRS
 140 _mm256_andnot_si256(__m256i __a, __m256i __b)
 141 {
 142   return (__m256i)(~(__v4du)__a & (__v4du)__b);
 143 }
 144
 145 static __inline__ __m256i __DEFAULT_FN_ATTRS
 146 _mm256_avg_epu8(__m256i __a, __m256i __b)
 147 {
 148   typedef unsigned short __v32hu __attribute__((__vector_size__(64)));
 149   return (__m256i)__builtin_convertvector(
 150                ((__builtin_convertvector((__v32qu)__a, __v32hu) +
 151                  __builtin_convertvector((__v32qu)__b, __v32hu)) + 1)
 152                  >> 1, __v32qu);
 153 }
 154
 155 static __inline__ __m256i __DEFAULT_FN_ATTRS
 156 _mm256_avg_epu16(__m256i __a, __m256i __b)
 157 {
 158   typedef unsigned int __v16su __attribute__((__vector_size__(64)));
 159   return (__m256i)__builtin_convertvector(
 160                ((__builtin_convertvector((__v16hu)__a, __v16su) +
 161                  __builtin_convertvector((__v16hu)__b, __v16su)) + 1)
 162                  >> 1, __v16hu);
 163 }
 164
 165 static __inline__ __m256i __DEFAULT_FN_ATTRS
 166 _mm256_blendv_epi8(__m256i __V1, __m256i __V2, __m256i __M)
 167 {
 168   return (__m256i)__builtin_ia32_pblendvb256((__v32qi)__V1, (__v32qi)__V2,
 169                                               (__v32qi)__M);
 170 }
 171
 172 #define _mm256_blend_epi16(V1, V2, M) __extension__ ({       \
 173   (__m256i)__builtin_shufflevector((__v16hi)(__m256i)(V1),   \
 174                                    (__v16hi)(__m256i)(V2),   \
 175                                    (((M) & 0x01) ? 16 : 0),  \
 176                                    (((M) & 0x02) ? 17 : 1),  \
 177                                    (((M) & 0x04) ? 18 : 2),  \
 178                                    (((M) & 0x08) ? 19 : 3),  \
 179                                    (((M) & 0x10) ? 20 : 4),  \
 180                                    (((M) & 0x20) ? 21 : 5),  \
 181                                    (((M) & 0x40) ? 22 : 6),  \
 182                                    (((M) & 0x80) ? 23 : 7),  \
 183                                    (((M) & 0x01) ? 24 : 8),  \
 184                                    (((M) & 0x02) ? 25 : 9),  \
 185                                    (((M) & 0x04) ? 26 : 10), \
 186                                    (((M) & 0x08) ? 27 : 11), \
 187                                    (((M) & 0x10) ? 28 : 12), \
 188                                    (((M) & 0x20) ? 29 : 13), \
 189                                    (((M) & 0x40) ? 30 : 14), \
 190                                    (((M) & 0x80) ? 31 : 15)); })
 191
 192 static __inline__ __m256i __DEFAULT_FN_ATTRS
 193 _mm256_cmpeq_epi8(__m256i __a, __m256i __b)
 194 {
 195   return (__m256i)((__v32qi)__a == (__v32qi)__b);
 196 }
 197
 198 static __inline__ __m256i __DEFAULT_FN_ATTRS
 199 _mm256_cmpeq_epi16(__m256i __a, __m256i __b)
 200 {
 201   return (__m256i)((__v16hi)__a == (__v16hi)__b);
 202 }
 203
 204 static __inline__ __m256i __DEFAULT_FN_ATTRS
 205 _mm256_cmpeq_epi32(__m256i __a, __m256i __b)
 206 {
 207   return (__m256i)((__v8si)__a == (__v8si)__b);
 208 }
 209
 210 static __inline__ __m256i __DEFAULT_FN_ATTRS
 211 _mm256_cmpeq_epi64(__m256i __a, __m256i __b)
 212 {
 213   return (__m256i)((__v4di)__a == (__v4di)__b);
 214 }
 215
 216 static __inline__ __m256i __DEFAULT_FN_ATTRS
 217 _mm256_cmpgt_epi8(__m256i __a, __m256i __b)
 218 {
 219   /* This function always performs a signed comparison, but __v32qi is a char
 220      which may be signed or unsigned, so use __v32qs. */
 221   return (__m256i)((__v32qs)__a > (__v32qs)__b);
 222 }
 223
 224 static __inline__ __m256i __DEFAULT_FN_ATTRS
 225 _mm256_cmpgt_epi16(__m256i __a, __m256i __b)
 226 {
 227   return (__m256i)((__v16hi)__a > (__v16hi)__b);
 228 }
 229
 230 static __inline__ __m256i __DEFAULT_FN_ATTRS
 231 _mm256_cmpgt_epi32(__m256i __a, __m256i __b)
 232 {
 233   return (__m256i)((__v8si)__a > (__v8si)__b);
 234 }
 235
 236 static __inline__ __m256i __DEFAULT_FN_ATTRS
 237 _mm256_cmpgt_epi64(__m256i __a, __m256i __b)
 238 {
 239   return (__m256i)((__v4di)__a > (__v4di)__b);
 240 }
 241
 242 static __inline__ __m256i __DEFAULT_FN_ATTRS
 243 _mm256_hadd_epi16(__m256i __a, __m256i __b)
 244 {
 245     return (__m256i)__builtin_ia32_phaddw256((__v16hi)__a, (__v16hi)__b);
 246 }
 247
 248 static __inline__ __m256i __DEFAULT_FN_ATTRS
 249 _mm256_hadd_epi32(__m256i __a, __m256i __b)
 250 {
 251     return (__m256i)__builtin_ia32_phaddd256((__v8si)__a, (__v8si)__b);
 252 }
 253
 254 static __inline__ __m256i __DEFAULT_FN_ATTRS
 255 _mm256_hadds_epi16(__m256i __a, __m256i __b)
 256 {
 257     return (__m256i)__builtin_ia32_phaddsw256((__v16hi)__a, (__v16hi)__b);
 258 }
 259
 260 static __inline__ __m256i __DEFAULT_FN_ATTRS
 261 _mm256_hsub_epi16(__m256i __a, __m256i __b)
 262 {
 263     return (__m256i)__builtin_ia32_phsubw256((__v16hi)__a, (__v16hi)__b);
 264 }
 265
 266 static __inline__ __m256i __DEFAULT_FN_ATTRS
 267 _mm256_hsub_epi32(__m256i __a, __m256i __b)
 268 {
 269     return (__m256i)__builtin_ia32_phsubd256((__v8si)__a, (__v8si)__b);
 270 }
 271
 272 static __inline__ __m256i __DEFAULT_FN_ATTRS
 273 _mm256_hsubs_epi16(__m256i __a, __m256i __b)
 274 {
 275     return (__m256i)__builtin_ia32_phsubsw256((__v16hi)__a, (__v16hi)__b);
 276 }
 277
 278 static __inline__ __m256i __DEFAULT_FN_ATTRS
 279 _mm256_maddubs_epi16(__m256i __a, __m256i __b)
 280 {
 281     return (__m256i)__builtin_ia32_pmaddubsw256((__v32qi)__a, (__v32qi)__b);
 282 }
 283
 284 static __inline__ __m256i __DEFAULT_FN_ATTRS
 285 _mm256_madd_epi16(__m256i __a, __m256i __b)
 286 {
 287   return (__m256i)__builtin_ia32_pmaddwd256((__v16hi)__a, (__v16hi)__b);
 288 }
 289
 290 static __inline__ __m256i __DEFAULT_FN_ATTRS
 291 _mm256_max_epi8(__m256i __a, __m256i __b)
 292 {
 293   return (__m256i)__builtin_ia32_pmaxsb256((__v32qi)__a, (__v32qi)__b);
 294 }
 295
 296 static __inline__ __m256i __DEFAULT_FN_ATTRS
 297 _mm256_max_epi16(__m256i __a, __m256i __b)
 298 {
 299   return (__m256i)__builtin_ia32_pmaxsw256((__v16hi)__a, (__v16hi)__b);
 300 }
 301
 302 static __inline__ __m256i __DEFAULT_FN_ATTRS
 303 _mm256_max_epi32(__m256i __a, __m256i __b)
 304 {
 305   return (__m256i)__builtin_ia32_pmaxsd256((__v8si)__a, (__v8si)__b);
 306 }
 307
 308 static __inline__ __m256i __DEFAULT_FN_ATTRS
 309 _mm256_max_epu8(__m256i __a, __m256i __b)
 310 {
 311   return (__m256i)__builtin_ia32_pmaxub256((__v32qi)__a, (__v32qi)__b);
 312 }
 313
 314 static __inline__ __m256i __DEFAULT_FN_ATTRS
 315 _mm256_max_epu16(__m256i __a, __m256i __b)
 316 {
 317   return (__m256i)__builtin_ia32_pmaxuw256((__v16hi)__a, (__v16hi)__b);
 318 }
 319
 320 static __inline__ __m256i __DEFAULT_FN_ATTRS
 321 _mm256_max_epu32(__m256i __a, __m256i __b)
 322 {
 323   return (__m256i)__builtin_ia32_pmaxud256((__v8si)__a, (__v8si)__b);
 324 }
 325
 326 static __inline__ __m256i __DEFAULT_FN_ATTRS
 327 _mm256_min_epi8(__m256i __a, __m256i __b)
 328 {
 329   return (__m256i)__builtin_ia32_pminsb256((__v32qi)__a, (__v32qi)__b);
 330 }
 331
 332 static __inline__ __m256i __DEFAULT_FN_ATTRS
 333 _mm256_min_epi16(__m256i __a, __m256i __b)
 334 {
 335   return (__m256i)__builtin_ia32_pminsw256((__v16hi)__a, (__v16hi)__b);
 336 }
 337
 338 static __inline__ __m256i __DEFAULT_FN_ATTRS
 339 _mm256_min_epi32(__m256i __a, __m256i __b)
 340 {
 341   return (__m256i)__builtin_ia32_pminsd256((__v8si)__a, (__v8si)__b);
 342 }
 343
 344 static __inline__ __m256i __DEFAULT_FN_ATTRS
 345 _mm256_min_epu8(__m256i __a, __m256i __b)
 346 {
 347   return (__m256i)__builtin_ia32_pminub256((__v32qi)__a, (__v32qi)__b);
 348 }
 349
 350 static __inline__ __m256i __DEFAULT_FN_ATTRS
 351 _mm256_min_epu16(__m256i __a, __m256i __b)
 352 {
 353   return (__m256i)__builtin_ia32_pminuw256 ((__v16hi)__a, (__v16hi)__b);
 354 }
 355
 356 static __inline__ __m256i __DEFAULT_FN_ATTRS
 357 _mm256_min_epu32(__m256i __a, __m256i __b)
 358 {
 359   return (__m256i)__builtin_ia32_pminud256((__v8si)__a, (__v8si)__b);
 360 }
 361
 362 static __inline__ int __DEFAULT_FN_ATTRS
 363 _mm256_movemask_epi8(__m256i __a)
 364 {
 365   return __builtin_ia32_pmovmskb256((__v32qi)__a);
 366 }
 367
 368 static __inline__ __m256i __DEFAULT_FN_ATTRS
 369 _mm256_cvtepi8_epi16(__m128i __V)
 370 {
 371   /* This function always performs a signed extension, but __v16qi is a char
 372      which may be signed or unsigned, so use __v16qs. */
 373   return (__m256i)__builtin_convertvector((__v16qs)__V, __v16hi);
 374 }
 375
 376 static __inline__ __m256i __DEFAULT_FN_ATTRS
 377 _mm256_cvtepi8_epi32(__m128i __V)
 378 {
 379   /* This function always performs a signed extension, but __v16qi is a char
 380      which may be signed or unsigned, so use __v16qs. */
 381   return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qs)__V, (__v16qs)__V, 0, 1, 2, 3, 4, 5, 6, 7), __v8si);
 382 }
 383
 384 static __inline__ __m256i __DEFAULT_FN_ATTRS
 385 _mm256_cvtepi8_epi64(__m128i __V)
 386 {
 387   /* This function always performs a signed extension, but __v16qi is a char
 388      which may be signed or unsigned, so use __v16qs. */
 389   return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qs)__V, (__v16qs)__V, 0, 1, 2, 3), __v4di);
 390 }
 391
 392 static __inline__ __m256i __DEFAULT_FN_ATTRS
 393 _mm256_cvtepi16_epi32(__m128i __V)
 394 {
 395   return (__m256i)__builtin_convertvector((__v8hi)__V, __v8si);
 396 }
 397
 398 static __inline__ __m256i __DEFAULT_FN_ATTRS
 399 _mm256_cvtepi16_epi64(__m128i __V)
 400 {
 401   return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v8hi)__V, (__v8hi)__V, 0, 1, 2, 3), __v4di);
 402 }
 403
 404 static __inline__ __m256i __DEFAULT_FN_ATTRS
 405 _mm256_cvtepi32_epi64(__m128i __V)
 406 {
 407   return (__m256i)__builtin_convertvector((__v4si)__V, __v4di);
 408 }
 409
 410 static __inline__ __m256i __DEFAULT_FN_ATTRS
 411 _mm256_cvtepu8_epi16(__m128i __V)
 412 {
 413   return (__m256i)__builtin_convertvector((__v16qu)__V, __v16hi);
 414 }
 415
 416 static __inline__ __m256i __DEFAULT_FN_ATTRS
 417 _mm256_cvtepu8_epi32(__m128i __V)
 418 {
 419   return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qu)__V, (__v16qu)__V, 0, 1, 2, 3, 4, 5, 6, 7), __v8si);
 420 }
 421
 422 static __inline__ __m256i __DEFAULT_FN_ATTRS
 423 _mm256_cvtepu8_epi64(__m128i __V)
 424 {
 425   return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qu)__V, (__v16qu)__V, 0, 1, 2, 3), __v4di);
 426 }
 427
 428 static __inline__ __m256i __DEFAULT_FN_ATTRS
 429 _mm256_cvtepu16_epi32(__m128i __V)
 430 {
 431   return (__m256i)__builtin_convertvector((__v8hu)__V, __v8si);
 432 }
 433
 434 static __inline__ __m256i __DEFAULT_FN_ATTRS
 435 _mm256_cvtepu16_epi64(__m128i __V)
 436 {
 437   return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v8hu)__V, (__v8hu)__V, 0, 1, 2, 3), __v4di);
 438 }
 439
 440 static __inline__ __m256i __DEFAULT_FN_ATTRS
 441 _mm256_cvtepu32_epi64(__m128i __V)
 442 {
 443   return (__m256i)__builtin_convertvector((__v4su)__V, __v4di);
 444 }
 445
 446 static __inline__  __m256i __DEFAULT_FN_ATTRS
 447 _mm256_mul_epi32(__m256i __a, __m256i __b)
 448 {
 449   return (__m256i)__builtin_ia32_pmuldq256((__v8si)__a, (__v8si)__b);
 450 }
 451
 452 static __inline__ __m256i __DEFAULT_FN_ATTRS
 453 _mm256_mulhrs_epi16(__m256i __a, __m256i __b)
 454 {
 455   return (__m256i)__builtin_ia32_pmulhrsw256((__v16hi)__a, (__v16hi)__b);
 456 }
 457
 458 static __inline__ __m256i __DEFAULT_FN_ATTRS
 459 _mm256_mulhi_epu16(__m256i __a, __m256i __b)
 460 {
 461   return (__m256i)__builtin_ia32_pmulhuw256((__v16hi)__a, (__v16hi)__b);
 462 }
 463
 464 static __inline__ __m256i __DEFAULT_FN_ATTRS
 465 _mm256_mulhi_epi16(__m256i __a, __m256i __b)
 466 {
 467   return (__m256i)__builtin_ia32_pmulhw256((__v16hi)__a, (__v16hi)__b);
 468 }
 469
 470 static __inline__ __m256i __DEFAULT_FN_ATTRS
 471 _mm256_mullo_epi16(__m256i __a, __m256i __b)
 472 {
 473   return (__m256i)((__v16hu)__a * (__v16hu)__b);
 474 }
 475
 476 static __inline__  __m256i __DEFAULT_FN_ATTRS
 477 _mm256_mullo_epi32 (__m256i __a, __m256i __b)
 478 {
 479   return (__m256i)((__v8su)__a * (__v8su)__b);
 480 }
 481
 482 static __inline__ __m256i __DEFAULT_FN_ATTRS
 483 _mm256_mul_epu32(__m256i __a, __m256i __b)
 484 {
 485   return __builtin_ia32_pmuludq256((__v8si)__a, (__v8si)__b);
 486 }
 487
 488 static __inline__ __m256i __DEFAULT_FN_ATTRS
 489 _mm256_or_si256(__m256i __a, __m256i __b)
 490 {
 491   return (__m256i)((__v4du)__a | (__v4du)__b);
 492 }
 493
 494 static __inline__ __m256i __DEFAULT_FN_ATTRS
 495 _mm256_sad_epu8(__m256i __a, __m256i __b)
 496 {
 497   return __builtin_ia32_psadbw256((__v32qi)__a, (__v32qi)__b);
 498 }
 499
 500 static __inline__ __m256i __DEFAULT_FN_ATTRS
 501 _mm256_shuffle_epi8(__m256i __a, __m256i __b)
 502 {
 503   return (__m256i)__builtin_ia32_pshufb256((__v32qi)__a, (__v32qi)__b);
 504 }
 505
 506 #define _mm256_shuffle_epi32(a, imm) __extension__ ({ \
 507   (__m256i)__builtin_shufflevector((__v8si)(__m256i)(a), \
 508                                    (__v8si)_mm256_undefined_si256(), \
 509                                    0 + (((imm) >> 0) & 0x3), \
 510                                    0 + (((imm) >> 2) & 0x3), \
 511                                    0 + (((imm) >> 4) & 0x3), \
 512                                    0 + (((imm) >> 6) & 0x3), \
 513                                    4 + (((imm) >> 0) & 0x3), \
 514                                    4 + (((imm) >> 2) & 0x3), \
 515                                    4 + (((imm) >> 4) & 0x3), \
 516                                    4 + (((imm) >> 6) & 0x3)); })
 517
 518 #define _mm256_shufflehi_epi16(a, imm) __extension__ ({ \
 519   (__m256i)__builtin_shufflevector((__v16hi)(__m256i)(a), \
 520                                    (__v16hi)_mm256_undefined_si256(), \
 521                                    0, 1, 2, 3, \
 522                                    4  + (((imm) >> 0) & 0x3), \
 523                                    4  + (((imm) >> 2) & 0x3), \
 524                                    4  + (((imm) >> 4) & 0x3), \
 525                                    4  + (((imm) >> 6) & 0x3), \
 526                                    8, 9, 10, 11, \
 527                                    12 + (((imm) >> 0) & 0x3), \
 528                                    12 + (((imm) >> 2) & 0x3), \
 529                                    12 + (((imm) >> 4) & 0x3), \
 530                                    12 + (((imm) >> 6) & 0x3)); })
 531
 532 #define _mm256_shufflelo_epi16(a, imm) __extension__ ({ \
 533   (__m256i)__builtin_shufflevector((__v16hi)(__m256i)(a), \
 534                                    (__v16hi)_mm256_undefined_si256(), \
 535                                    0 + (((imm) >> 0) & 0x3), \
 536                                    0 + (((imm) >> 2) & 0x3), \
 537                                    0 + (((imm) >> 4) & 0x3), \
 538                                    0 + (((imm) >> 6) & 0x3), \
 539                                    4, 5, 6, 7, \
 540                                    8 + (((imm) >> 0) & 0x3), \
 541                                    8 + (((imm) >> 2) & 0x3), \
 542                                    8 + (((imm) >> 4) & 0x3), \
 543                                    8 + (((imm) >> 6) & 0x3), \
 544                                    12, 13, 14, 15); })
 545
 546 static __inline__ __m256i __DEFAULT_FN_ATTRS
 547 _mm256_sign_epi8(__m256i __a, __m256i __b)
 548 {
 549     return (__m256i)__builtin_ia32_psignb256((__v32qi)__a, (__v32qi)__b);
 550 }
 551
 552 static __inline__ __m256i __DEFAULT_FN_ATTRS
 553 _mm256_sign_epi16(__m256i __a, __m256i __b)
 554 {
 555     return (__m256i)__builtin_ia32_psignw256((__v16hi)__a, (__v16hi)__b);
 556 }
 557
 558 static __inline__ __m256i __DEFAULT_FN_ATTRS
 559 _mm256_sign_epi32(__m256i __a, __m256i __b)
 560 {
 561     return (__m256i)__builtin_ia32_psignd256((__v8si)__a, (__v8si)__b);
 562 }
 563
 564 #define _mm256_slli_si256(a, imm) __extension__ ({ \
 565   (__m256i)__builtin_shufflevector(                                          \
 566         (__v32qi)_mm256_setzero_si256(),                                     \
 567         (__v32qi)(__m256i)(a),                                               \
 568         ((char)(imm)&0xF0) ?  0 : ((char)(imm)>0x0 ? 16 : 32) - (char)(imm), \
 569         ((char)(imm)&0xF0) ?  1 : ((char)(imm)>0x1 ? 17 : 33) - (char)(imm), \
 570         ((char)(imm)&0xF0) ?  2 : ((char)(imm)>0x2 ? 18 : 34) - (char)(imm), \
 571         ((char)(imm)&0xF0) ?  3 : ((char)(imm)>0x3 ? 19 : 35) - (char)(imm), \
 572         ((char)(imm)&0xF0) ?  4 : ((char)(imm)>0x4 ? 20 : 36) - (char)(imm), \
 573         ((char)(imm)&0xF0) ?  5 : ((char)(imm)>0x5 ? 21 : 37) - (char)(imm), \
 574         ((char)(imm)&0xF0) ?  6 : ((char)(imm)>0x6 ? 22 : 38) - (char)(imm), \
 575         ((char)(imm)&0xF0) ?  7 : ((char)(imm)>0x7 ? 23 : 39) - (char)(imm), \
 576         ((char)(imm)&0xF0) ?  8 : ((char)(imm)>0x8 ? 24 : 40) - (char)(imm), \
 577         ((char)(imm)&0xF0) ?  9 : ((char)(imm)>0x9 ? 25 : 41) - (char)(imm), \
 578         ((char)(imm)&0xF0) ? 10 : ((char)(imm)>0xA ? 26 : 42) - (char)(imm), \
 579         ((char)(imm)&0xF0) ? 11 : ((char)(imm)>0xB ? 27 : 43) - (char)(imm), \
 580         ((char)(imm)&0xF0) ? 12 : ((char)(imm)>0xC ? 28 : 44) - (char)(imm), \
 581         ((char)(imm)&0xF0) ? 13 : ((char)(imm)>0xD ? 29 : 45) - (char)(imm), \
 582         ((char)(imm)&0xF0) ? 14 : ((char)(imm)>0xE ? 30 : 46) - (char)(imm), \
 583         ((char)(imm)&0xF0) ? 15 : ((char)(imm)>0xF ? 31 : 47) - (char)(imm), \
 584         ((char)(imm)&0xF0) ? 16 : ((char)(imm)>0x0 ? 32 : 48) - (char)(imm), \
 585         ((char)(imm)&0xF0) ? 17 : ((char)(imm)>0x1 ? 33 : 49) - (char)(imm), \
 586         ((char)(imm)&0xF0) ? 18 : ((char)(imm)>0x2 ? 34 : 50) - (char)(imm), \
 587         ((char)(imm)&0xF0) ? 19 : ((char)(imm)>0x3 ? 35 : 51) - (char)(imm), \
 588         ((char)(imm)&0xF0) ? 20 : ((char)(imm)>0x4 ? 36 : 52) - (char)(imm), \
 589         ((char)(imm)&0xF0) ? 21 : ((char)(imm)>0x5 ? 37 : 53) - (char)(imm), \
 590         ((char)(imm)&0xF0) ? 22 : ((char)(imm)>0x6 ? 38 : 54) - (char)(imm), \
 591         ((char)(imm)&0xF0) ? 23 : ((char)(imm)>0x7 ? 39 : 55) - (char)(imm), \
 592         ((char)(imm)&0xF0) ? 24 : ((char)(imm)>0x8 ? 40 : 56) - (char)(imm), \
 593         ((char)(imm)&0xF0) ? 25 : ((char)(imm)>0x9 ? 41 : 57) - (char)(imm), \
 594         ((char)(imm)&0xF0) ? 26 : ((char)(imm)>0xA ? 42 : 58) - (char)(imm), \
 595         ((char)(imm)&0xF0) ? 27 : ((char)(imm)>0xB ? 43 : 59) - (char)(imm), \
 596         ((char)(imm)&0xF0) ? 28 : ((char)(imm)>0xC ? 44 : 60) - (char)(imm), \
 597         ((char)(imm)&0xF0) ? 29 : ((char)(imm)>0xD ? 45 : 61) - (char)(imm), \
 598         ((char)(imm)&0xF0) ? 30 : ((char)(imm)>0xE ? 46 : 62) - (char)(imm), \
 599         ((char)(imm)&0xF0) ? 31 : ((char)(imm)>0xF ? 47 : 63) - (char)(imm)); })
 600
 601 #define _mm256_bslli_epi128(a, count) _mm256_slli_si256((a), (count))
 602
 603 static __inline__ __m256i __DEFAULT_FN_ATTRS
 604 _mm256_slli_epi16(__m256i __a, int __count)
 605 {
 606   return (__m256i)__builtin_ia32_psllwi256((__v16hi)__a, __count);
 607 }
 608
 609 static __inline__ __m256i __DEFAULT_FN_ATTRS
 610 _mm256_sll_epi16(__m256i __a, __m128i __count)
 611 {
 612   return (__m256i)__builtin_ia32_psllw256((__v16hi)__a, (__v8hi)__count);
 613 }
 614
 615 static __inline__ __m256i __DEFAULT_FN_ATTRS
 616 _mm256_slli_epi32(__m256i __a, int __count)
 617 {
 618   return (__m256i)__builtin_ia32_pslldi256((__v8si)__a, __count);
 619 }
 620
 621 static __inline__ __m256i __DEFAULT_FN_ATTRS
 622 _mm256_sll_epi32(__m256i __a, __m128i __count)
 623 {
 624   return (__m256i)__builtin_ia32_pslld256((__v8si)__a, (__v4si)__count);
 625 }
 626
 627 static __inline__ __m256i __DEFAULT_FN_ATTRS
 628 _mm256_slli_epi64(__m256i __a, int __count)
 629 {
 630   return __builtin_ia32_psllqi256((__v4di)__a, __count);
 631 }
 632
 633 static __inline__ __m256i __DEFAULT_FN_ATTRS
 634 _mm256_sll_epi64(__m256i __a, __m128i __count)
 635 {
 636   return __builtin_ia32_psllq256((__v4di)__a, __count);
 637 }
 638
 639 static __inline__ __m256i __DEFAULT_FN_ATTRS
 640 _mm256_srai_epi16(__m256i __a, int __count)
 641 {
 642   return (__m256i)__builtin_ia32_psrawi256((__v16hi)__a, __count);
 643 }
 644
 645 static __inline__ __m256i __DEFAULT_FN_ATTRS
 646 _mm256_sra_epi16(__m256i __a, __m128i __count)
 647 {
 648   return (__m256i)__builtin_ia32_psraw256((__v16hi)__a, (__v8hi)__count);
 649 }
 650
 651 static __inline__ __m256i __DEFAULT_FN_ATTRS
 652 _mm256_srai_epi32(__m256i __a, int __count)
 653 {
 654   return (__m256i)__builtin_ia32_psradi256((__v8si)__a, __count);
 655 }
 656
 657 static __inline__ __m256i __DEFAULT_FN_ATTRS
 658 _mm256_sra_epi32(__m256i __a, __m128i __count)
 659 {
 660   return (__m256i)__builtin_ia32_psrad256((__v8si)__a, (__v4si)__count);
 661 }
 662
 663 #define _mm256_srli_si256(a, imm) __extension__ ({ \
 664   (__m256i)__builtin_shufflevector(                                           \
 665         (__v32qi)(__m256i)(a),                                               \
 666         (__v32qi)_mm256_setzero_si256(),                                     \
 667         ((char)(imm)&0xF0) ? 32 : (char)(imm) + ((char)(imm)>0xF ? 16 : 0),  \
 668         ((char)(imm)&0xF0) ? 33 : (char)(imm) + ((char)(imm)>0xE ? 17 : 1),  \
 669         ((char)(imm)&0xF0) ? 34 : (char)(imm) + ((char)(imm)>0xD ? 18 : 2),  \
 670         ((char)(imm)&0xF0) ? 35 : (char)(imm) + ((char)(imm)>0xC ? 19 : 3),  \
 671         ((char)(imm)&0xF0) ? 36 : (char)(imm) + ((char)(imm)>0xB ? 20 : 4),  \
 672         ((char)(imm)&0xF0) ? 37 : (char)(imm) + ((char)(imm)>0xA ? 21 : 5),  \
 673         ((char)(imm)&0xF0) ? 38 : (char)(imm) + ((char)(imm)>0x9 ? 22 : 6),  \
 674         ((char)(imm)&0xF0) ? 39 : (char)(imm) + ((char)(imm)>0x8 ? 23 : 7),  \
 675         ((char)(imm)&0xF0) ? 40 : (char)(imm) + ((char)(imm)>0x7 ? 24 : 8),  \
 676         ((char)(imm)&0xF0) ? 41 : (char)(imm) + ((char)(imm)>0x6 ? 25 : 9),  \
 677         ((char)(imm)&0xF0) ? 42 : (char)(imm) + ((char)(imm)>0x5 ? 26 : 10), \
 678         ((char)(imm)&0xF0) ? 43 : (char)(imm) + ((char)(imm)>0x4 ? 27 : 11), \
 679         ((char)(imm)&0xF0) ? 44 : (char)(imm) + ((char)(imm)>0x3 ? 28 : 12), \
 680         ((char)(imm)&0xF0) ? 45 : (char)(imm) + ((char)(imm)>0x2 ? 29 : 13), \
 681         ((char)(imm)&0xF0) ? 46 : (char)(imm) + ((char)(imm)>0x1 ? 30 : 14), \
 682         ((char)(imm)&0xF0) ? 47 : (char)(imm) + ((char)(imm)>0x0 ? 31 : 15), \
 683         ((char)(imm)&0xF0) ? 48 : (char)(imm) + ((char)(imm)>0xF ? 32 : 16), \
 684         ((char)(imm)&0xF0) ? 49 : (char)(imm) + ((char)(imm)>0xE ? 33 : 17), \
 685         ((char)(imm)&0xF0) ? 50 : (char)(imm) + ((char)(imm)>0xD ? 34 : 18), \
 686         ((char)(imm)&0xF0) ? 51 : (char)(imm) + ((char)(imm)>0xC ? 35 : 19), \
 687         ((char)(imm)&0xF0) ? 52 : (char)(imm) + ((char)(imm)>0xB ? 36 : 20), \
 688         ((char)(imm)&0xF0) ? 53 : (char)(imm) + ((char)(imm)>0xA ? 37 : 21), \
 689         ((char)(imm)&0xF0) ? 54 : (char)(imm) + ((char)(imm)>0x9 ? 38 : 22), \
 690         ((char)(imm)&0xF0) ? 55 : (char)(imm) + ((char)(imm)>0x8 ? 39 : 23), \
 691         ((char)(imm)&0xF0) ? 56 : (char)(imm) + ((char)(imm)>0x7 ? 40 : 24), \
 692         ((char)(imm)&0xF0) ? 57 : (char)(imm) + ((char)(imm)>0x6 ? 41 : 25), \
 693         ((char)(imm)&0xF0) ? 58 : (char)(imm) + ((char)(imm)>0x5 ? 42 : 26), \
 694         ((char)(imm)&0xF0) ? 59 : (char)(imm) + ((char)(imm)>0x4 ? 43 : 27), \
 695         ((char)(imm)&0xF0) ? 60 : (char)(imm) + ((char)(imm)>0x3 ? 44 : 28), \
 696         ((char)(imm)&0xF0) ? 61 : (char)(imm) + ((char)(imm)>0x2 ? 45 : 29), \
 697         ((char)(imm)&0xF0) ? 62 : (char)(imm) + ((char)(imm)>0x1 ? 46 : 30), \
 698         ((char)(imm)&0xF0) ? 63 : (char)(imm) + ((char)(imm)>0x0 ? 47 : 31)); })
 699
 700 #define _mm256_bsrli_epi128(a, count) _mm256_srli_si256((a), (count))
 701
 702 static __inline__ __m256i __DEFAULT_FN_ATTRS
 703 _mm256_srli_epi16(__m256i __a, int __count)
 704 {
 705   return (__m256i)__builtin_ia32_psrlwi256((__v16hi)__a, __count);
 706 }
 707
 708 static __inline__ __m256i __DEFAULT_FN_ATTRS
 709 _mm256_srl_epi16(__m256i __a, __m128i __count)
 710 {
 711   return (__m256i)__builtin_ia32_psrlw256((__v16hi)__a, (__v8hi)__count);
 712 }
 713
 714 static __inline__ __m256i __DEFAULT_FN_ATTRS
 715 _mm256_srli_epi32(__m256i __a, int __count)
 716 {
 717   return (__m256i)__builtin_ia32_psrldi256((__v8si)__a, __count);
 718 }
 719
 720 static __inline__ __m256i __DEFAULT_FN_ATTRS
 721 _mm256_srl_epi32(__m256i __a, __m128i __count)
 722 {
 723   return (__m256i)__builtin_ia32_psrld256((__v8si)__a, (__v4si)__count);
 724 }
 725
 726 static __inline__ __m256i __DEFAULT_FN_ATTRS
 727 _mm256_srli_epi64(__m256i __a, int __count)
 728 {
 729   return __builtin_ia32_psrlqi256((__v4di)__a, __count);
 730 }
 731
 732 static __inline__ __m256i __DEFAULT_FN_ATTRS
 733 _mm256_srl_epi64(__m256i __a, __m128i __count)
 734 {
 735   return __builtin_ia32_psrlq256((__v4di)__a, __count);
 736 }
 737
 738 static __inline__ __m256i __DEFAULT_FN_ATTRS
 739 _mm256_sub_epi8(__m256i __a, __m256i __b)
 740 {
 741   return (__m256i)((__v32qu)__a - (__v32qu)__b);
 742 }
 743
 744 static __inline__ __m256i __DEFAULT_FN_ATTRS
 745 _mm256_sub_epi16(__m256i __a, __m256i __b)
 746 {
 747   return (__m256i)((__v16hu)__a - (__v16hu)__b);
 748 }
 749
 750 static __inline__ __m256i __DEFAULT_FN_ATTRS
 751 _mm256_sub_epi32(__m256i __a, __m256i __b)
 752 {
 753   return (__m256i)((__v8su)__a - (__v8su)__b);
 754 }
 755
 756 static __inline__ __m256i __DEFAULT_FN_ATTRS
 757 _mm256_sub_epi64(__m256i __a, __m256i __b)
 758 {
 759   return (__m256i)((__v4du)__a - (__v4du)__b);
 760 }
 761
 762 static __inline__ __m256i __DEFAULT_FN_ATTRS
 763 _mm256_subs_epi8(__m256i __a, __m256i __b)
 764 {
 765   return (__m256i)__builtin_ia32_psubsb256((__v32qi)__a, (__v32qi)__b);
 766 }
 767
 768 static __inline__ __m256i __DEFAULT_FN_ATTRS
 769 _mm256_subs_epi16(__m256i __a, __m256i __b)
 770 {
 771   return (__m256i)__builtin_ia32_psubsw256((__v16hi)__a, (__v16hi)__b);
 772 }
 773
 774 static __inline__ __m256i __DEFAULT_FN_ATTRS
 775 _mm256_subs_epu8(__m256i __a, __m256i __b)
 776 {
 777   return (__m256i)__builtin_ia32_psubusb256((__v32qi)__a, (__v32qi)__b);
 778 }
 779
 780 static __inline__ __m256i __DEFAULT_FN_ATTRS
 781 _mm256_subs_epu16(__m256i __a, __m256i __b)
 782 {
 783   return (__m256i)__builtin_ia32_psubusw256((__v16hi)__a, (__v16hi)__b);
 784 }
 785
 786 static __inline__ __m256i __DEFAULT_FN_ATTRS
 787 _mm256_unpackhi_epi8(__m256i __a, __m256i __b)
 788 {
 789   return (__m256i)__builtin_shufflevector((__v32qi)__a, (__v32qi)__b, 8, 32+8, 9, 32+9, 10, 32+10, 11, 32+11, 12, 32+12, 13, 32+13, 14, 32+14, 15, 32+15, 24, 32+24, 25, 32+25, 26, 32+26, 27, 32+27, 28, 32+28, 29, 32+29, 30, 32+30, 31, 32+31);
 790 }
 791
 792 static __inline__ __m256i __DEFAULT_FN_ATTRS
 793 _mm256_unpackhi_epi16(__m256i __a, __m256i __b)
 794 {
 795   return (__m256i)__builtin_shufflevector((__v16hi)__a, (__v16hi)__b, 4, 16+4, 5, 16+5, 6, 16+6, 7, 16+7, 12, 16+12, 13, 16+13, 14, 16+14, 15, 16+15);
 796 }
 797
 798 static __inline__ __m256i __DEFAULT_FN_ATTRS
 799 _mm256_unpackhi_epi32(__m256i __a, __m256i __b)
 800 {
 801   return (__m256i)__builtin_shufflevector((__v8si)__a, (__v8si)__b, 2, 8+2, 3, 8+3, 6, 8+6, 7, 8+7);
 802 }
 803
 804 static __inline__ __m256i __DEFAULT_FN_ATTRS
 805 _mm256_unpackhi_epi64(__m256i __a, __m256i __b)
 806 {
 807   return (__m256i)__builtin_shufflevector((__v4di)__a, (__v4di)__b, 1, 4+1, 3, 4+3);
 808 }
 809
 810 static __inline__ __m256i __DEFAULT_FN_ATTRS
 811 _mm256_unpacklo_epi8(__m256i __a, __m256i __b)
 812 {
 813   return (__m256i)__builtin_shufflevector((__v32qi)__a, (__v32qi)__b, 0, 32+0, 1, 32+1, 2, 32+2, 3, 32+3, 4, 32+4, 5, 32+5, 6, 32+6, 7, 32+7, 16, 32+16, 17, 32+17, 18, 32+18, 19, 32+19, 20, 32+20, 21, 32+21, 22, 32+22, 23, 32+23);
 814 }
 815
 816 static __inline__ __m256i __DEFAULT_FN_ATTRS
 817 _mm256_unpacklo_epi16(__m256i __a, __m256i __b)
 818 {
 819   return (__m256i)__builtin_shufflevector((__v16hi)__a, (__v16hi)__b, 0, 16+0, 1, 16+1, 2, 16+2, 3, 16+3, 8, 16+8, 9, 16+9, 10, 16+10, 11, 16+11);
 820 }
 821
 822 static __inline__ __m256i __DEFAULT_FN_ATTRS
 823 _mm256_unpacklo_epi32(__m256i __a, __m256i __b)
 824 {
 825   return (__m256i)__builtin_shufflevector((__v8si)__a, (__v8si)__b, 0, 8+0, 1, 8+1, 4, 8+4, 5, 8+5);
 826 }
 827
 828 static __inline__ __m256i __DEFAULT_FN_ATTRS
 829 _mm256_unpacklo_epi64(__m256i __a, __m256i __b)
 830 {
 831   return (__m256i)__builtin_shufflevector((__v4di)__a, (__v4di)__b, 0, 4+0, 2, 4+2);
 832 }
 833
 834 static __inline__ __m256i __DEFAULT_FN_ATTRS
 835 _mm256_xor_si256(__m256i __a, __m256i __b)
 836 {
 837   return (__m256i)((__v4du)__a ^ (__v4du)__b);
 838 }
 839
 840 static __inline__ __m256i __DEFAULT_FN_ATTRS
 841 _mm256_stream_load_si256(__m256i const *__V)
 842 {
 843   typedef __v4di __v4di_aligned __attribute__((aligned(32)));
 844   return (__m256i)__builtin_nontemporal_load((const __v4di_aligned *)__V);
 845 }
 846
 847 static __inline__ __m128 __DEFAULT_FN_ATTRS
 848 _mm_broadcastss_ps(__m128 __X)
 849 {
 850   return (__m128)__builtin_shufflevector((__v4sf)__X, (__v4sf)__X, 0, 0, 0, 0);
 851 }
 852
 853 static __inline__ __m128d __DEFAULT_FN_ATTRS
 854 _mm_broadcastsd_pd(__m128d __a)
 855 {
 856   return __builtin_shufflevector((__v2df)__a, (__v2df)__a, 0, 0);
 857 }
 858
 859 static __inline__ __m256 __DEFAULT_FN_ATTRS
 860 _mm256_broadcastss_ps(__m128 __X)
 861 {
 862   return (__m256)__builtin_shufflevector((__v4sf)__X, (__v4sf)__X, 0, 0, 0, 0, 0, 0, 0, 0);
 863 }
 864
 865 static __inline__ __m256d __DEFAULT_FN_ATTRS
 866 _mm256_broadcastsd_pd(__m128d __X)
 867 {
 868   return (__m256d)__builtin_shufflevector((__v2df)__X, (__v2df)__X, 0, 0, 0, 0);
 869 }
 870
 871 static __inline__ __m256i __DEFAULT_FN_ATTRS
 872 _mm256_broadcastsi128_si256(__m128i __X)
 873 {
 874   return (__m256i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 1, 0, 1);
 875 }
 876
 877 #define _mm_blend_epi32(V1, V2, M) __extension__ ({ \
 878   (__m128i)__builtin_shufflevector((__v4si)(__m128i)(V1),  \
 879                                    (__v4si)(__m128i)(V2),  \
 880                                    (((M) & 0x01) ? 4 : 0), \
 881                                    (((M) & 0x02) ? 5 : 1), \
 882                                    (((M) & 0x04) ? 6 : 2), \
 883                                    (((M) & 0x08) ? 7 : 3)); })
 884
 885 #define _mm256_blend_epi32(V1, V2, M) __extension__ ({ \
 886   (__m256i)__builtin_shufflevector((__v8si)(__m256i)(V1),   \
 887                                    (__v8si)(__m256i)(V2),   \
 888                                    (((M) & 0x01) ?  8 : 0), \
 889                                    (((M) & 0x02) ?  9 : 1), \
 890                                    (((M) & 0x04) ? 10 : 2), \
 891                                    (((M) & 0x08) ? 11 : 3), \
 892                                    (((M) & 0x10) ? 12 : 4), \
 893                                    (((M) & 0x20) ? 13 : 5), \
 894                                    (((M) & 0x40) ? 14 : 6), \
 895                                    (((M) & 0x80) ? 15 : 7)); })
 896
 897 static __inline__ __m256i __DEFAULT_FN_ATTRS
 898 _mm256_broadcastb_epi8(__m128i __X)
 899 {
 900   return (__m256i)__builtin_shufflevector((__v16qi)__X, (__v16qi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
 901 }
 902
 903 static __inline__ __m256i __DEFAULT_FN_ATTRS
 904 _mm256_broadcastw_epi16(__m128i __X)
 905 {
 906   return (__m256i)__builtin_shufflevector((__v8hi)__X, (__v8hi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
 907 }
 908
 909 static __inline__ __m256i __DEFAULT_FN_ATTRS
 910 _mm256_broadcastd_epi32(__m128i __X)
 911 {
 912   return (__m256i)__builtin_shufflevector((__v4si)__X, (__v4si)__X, 0, 0, 0, 0, 0, 0, 0, 0);
 913 }
 914
 915 static __inline__ __m256i __DEFAULT_FN_ATTRS
 916 _mm256_broadcastq_epi64(__m128i __X)
 917 {
 918   return (__m256i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 0, 0, 0);
 919 }
 920
 921 static __inline__ __m128i __DEFAULT_FN_ATTRS
 922 _mm_broadcastb_epi8(__m128i __X)
 923 {
 924   return (__m128i)__builtin_shufflevector((__v16qi)__X, (__v16qi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
 925 }
 926
 927 static __inline__ __m128i __DEFAULT_FN_ATTRS
 928 _mm_broadcastw_epi16(__m128i __X)
 929 {
 930   return (__m128i)__builtin_shufflevector((__v8hi)__X, (__v8hi)__X, 0, 0, 0, 0, 0, 0, 0, 0);
 931 }
 932
 933
 934 static __inline__ __m128i __DEFAULT_FN_ATTRS
 935 _mm_broadcastd_epi32(__m128i __X)
 936 {
 937   return (__m128i)__builtin_shufflevector((__v4si)__X, (__v4si)__X, 0, 0, 0, 0);
 938 }
 939
 940 static __inline__ __m128i __DEFAULT_FN_ATTRS
 941 _mm_broadcastq_epi64(__m128i __X)
 942 {
 943   return (__m128i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 0);
 944 }
 945
 946 static __inline__ __m256i __DEFAULT_FN_ATTRS
 947 _mm256_permutevar8x32_epi32(__m256i __a, __m256i __b)
 948 {
 949   return (__m256i)__builtin_ia32_permvarsi256((__v8si)__a, (__v8si)__b);
 950 }
 951
 952 #define _mm256_permute4x64_pd(V, M) __extension__ ({ \
 953   (__m256d)__builtin_shufflevector((__v4df)(__m256d)(V), \
 954                                    (__v4df)_mm256_undefined_pd(), \
 955                                    ((M) >> 0) & 0x3, \
 956                                    ((M) >> 2) & 0x3, \
 957                                    ((M) >> 4) & 0x3, \
 958                                    ((M) >> 6) & 0x3); })
 959
 960 static __inline__ __m256 __DEFAULT_FN_ATTRS
 961 _mm256_permutevar8x32_ps(__m256 __a, __m256i __b)
 962 {
 963   return (__m256)__builtin_ia32_permvarsf256((__v8sf)__a, (__v8si)__b);
 964 }
 965
 966 #define _mm256_permute4x64_epi64(V, M) __extension__ ({ \
 967   (__m256i)__builtin_shufflevector((__v4di)(__m256i)(V), \
 968                                    (__v4di)_mm256_undefined_si256(), \
 969                                    ((M) >> 0) & 0x3, \
 970                                    ((M) >> 2) & 0x3, \
 971                                    ((M) >> 4) & 0x3, \
 972                                    ((M) >> 6) & 0x3); })
 973
 974 #define _mm256_permute2x128_si256(V1, V2, M) __extension__ ({ \
 975   (__m256i)__builtin_ia32_permti256((__m256i)(V1), (__m256i)(V2), (M)); })
 976
 977 #define _mm256_extracti128_si256(V, M) __extension__ ({ \
 978   (__m128i)__builtin_shufflevector((__v4di)(__m256i)(V), \
 979                                    (__v4di)_mm256_undefined_si256(), \
 980                                    (((M) & 1) ? 2 : 0), \
 981                                    (((M) & 1) ? 3 : 1) ); })
 982
 983 #define _mm256_inserti128_si256(V1, V2, M) __extension__ ({ \
 984   (__m256i)__builtin_shufflevector((__v4di)(__m256i)(V1), \
 985                                    (__v4di)_mm256_castsi128_si256((__m128i)(V2)), \
 986                                    (((M) & 1) ? 0 : 4), \
 987                                    (((M) & 1) ? 1 : 5), \
 988                                    (((M) & 1) ? 4 : 2), \
 989                                    (((M) & 1) ? 5 : 3) ); })
 990
 991 static __inline__ __m256i __DEFAULT_FN_ATTRS
 992 _mm256_maskload_epi32(int const *__X, __m256i __M)
 993 {
 994   return (__m256i)__builtin_ia32_maskloadd256((const __v8si *)__X, (__v8si)__M);
 995 }
 996
 997 static __inline__ __m256i __DEFAULT_FN_ATTRS
 998 _mm256_maskload_epi64(long long const *__X, __m256i __M)
 999 {
1000   return (__m256i)__builtin_ia32_maskloadq256((const __v4di *)__X, (__v4di)__M);
1001 }
1002
1003 static __inline__ __m128i __DEFAULT_FN_ATTRS
1004 _mm_maskload_epi32(int const *__X, __m128i __M)
1005 {
1006   return (__m128i)__builtin_ia32_maskloadd((const __v4si *)__X, (__v4si)__M);
1007 }
1008
1009 static __inline__ __m128i __DEFAULT_FN_ATTRS
1010 _mm_maskload_epi64(long long const *__X, __m128i __M)
1011 {
1012   return (__m128i)__builtin_ia32_maskloadq((const __v2di *)__X, (__v2di)__M);
1013 }
1014
1015 static __inline__ void __DEFAULT_FN_ATTRS
1016 _mm256_maskstore_epi32(int *__X, __m256i __M, __m256i __Y)
1017 {
1018   __builtin_ia32_maskstored256((__v8si *)__X, (__v8si)__M, (__v8si)__Y);
1019 }
1020
1021 static __inline__ void __DEFAULT_FN_ATTRS
1022 _mm256_maskstore_epi64(long long *__X, __m256i __M, __m256i __Y)
1023 {
1024   __builtin_ia32_maskstoreq256((__v4di *)__X, (__v4di)__M, (__v4di)__Y);
1025 }
1026
1027 static __inline__ void __DEFAULT_FN_ATTRS
1028 _mm_maskstore_epi32(int *__X, __m128i __M, __m128i __Y)
1029 {
1030   __builtin_ia32_maskstored((__v4si *)__X, (__v4si)__M, (__v4si)__Y);
1031 }
1032
1033 static __inline__ void __DEFAULT_FN_ATTRS
1034 _mm_maskstore_epi64(long long *__X, __m128i __M, __m128i __Y)
1035 {
1036   __builtin_ia32_maskstoreq(( __v2di *)__X, (__v2di)__M, (__v2di)__Y);
1037 }
1038
1039 static __inline__ __m256i __DEFAULT_FN_ATTRS
1040 _mm256_sllv_epi32(__m256i __X, __m256i __Y)
1041 {
1042   return (__m256i)__builtin_ia32_psllv8si((__v8si)__X, (__v8si)__Y);
1043 }
1044
1045 static __inline__ __m128i __DEFAULT_FN_ATTRS
1046 _mm_sllv_epi32(__m128i __X, __m128i __Y)
1047 {
1048   return (__m128i)__builtin_ia32_psllv4si((__v4si)__X, (__v4si)__Y);
1049 }
1050
1051 static __inline__ __m256i __DEFAULT_FN_ATTRS
1052 _mm256_sllv_epi64(__m256i __X, __m256i __Y)
1053 {
1054   return (__m256i)__builtin_ia32_psllv4di((__v4di)__X, (__v4di)__Y);
1055 }
1056
1057 static __inline__ __m128i __DEFAULT_FN_ATTRS
1058 _mm_sllv_epi64(__m128i __X, __m128i __Y)
1059 {
1060   return (__m128i)__builtin_ia32_psllv2di((__v2di)__X, (__v2di)__Y);
1061 }
1062
1063 static __inline__ __m256i __DEFAULT_FN_ATTRS
1064 _mm256_srav_epi32(__m256i __X, __m256i __Y)
1065 {
1066   return (__m256i)__builtin_ia32_psrav8si((__v8si)__X, (__v8si)__Y);
1067 }
1068
1069 static __inline__ __m128i __DEFAULT_FN_ATTRS
1070 _mm_srav_epi32(__m128i __X, __m128i __Y)
1071 {
1072   return (__m128i)__builtin_ia32_psrav4si((__v4si)__X, (__v4si)__Y);
1073 }
1074
1075 static __inline__ __m256i __DEFAULT_FN_ATTRS
1076 _mm256_srlv_epi32(__m256i __X, __m256i __Y)
1077 {
1078   return (__m256i)__builtin_ia32_psrlv8si((__v8si)__X, (__v8si)__Y);
1079 }
1080
1081 static __inline__ __m128i __DEFAULT_FN_ATTRS
1082 _mm_srlv_epi32(__m128i __X, __m128i __Y)
1083 {
1084   return (__m128i)__builtin_ia32_psrlv4si((__v4si)__X, (__v4si)__Y);
1085 }
1086
1087 static __inline__ __m256i __DEFAULT_FN_ATTRS
1088 _mm256_srlv_epi64(__m256i __X, __m256i __Y)
1089 {
1090   return (__m256i)__builtin_ia32_psrlv4di((__v4di)__X, (__v4di)__Y);
1091 }
1092
1093 static __inline__ __m128i __DEFAULT_FN_ATTRS
1094 _mm_srlv_epi64(__m128i __X, __m128i __Y)
1095 {
1096   return (__m128i)__builtin_ia32_psrlv2di((__v2di)__X, (__v2di)__Y);
1097 }
1098
1099 #define _mm_mask_i32gather_pd(a, m, i, mask, s) __extension__ ({ \
1100   (__m128d)__builtin_ia32_gatherd_pd((__v2df)(__m128i)(a), \
1101                                      (double const *)(m), \
1102                                      (__v4si)(__m128i)(i), \
1103                                      (__v2df)(__m128d)(mask), (s)); })
1104
1105 #define _mm256_mask_i32gather_pd(a, m, i, mask, s) __extension__ ({ \
1106   (__m256d)__builtin_ia32_gatherd_pd256((__v4df)(__m256d)(a), \
1107                                         (double const *)(m), \
1108                                         (__v4si)(__m128i)(i), \
1109                                         (__v4df)(__m256d)(mask), (s)); })
1110
1111 #define _mm_mask_i64gather_pd(a, m, i, mask, s) __extension__ ({ \
1112   (__m128d)__builtin_ia32_gatherq_pd((__v2df)(__m128d)(a), \
1113                                      (double const *)(m), \
1114                                      (__v2di)(__m128i)(i), \
1115                                      (__v2df)(__m128d)(mask), (s)); })
1116
1117 #define _mm256_mask_i64gather_pd(a, m, i, mask, s) __extension__ ({ \
1118   (__m256d)__builtin_ia32_gatherq_pd256((__v4df)(__m256d)(a), \
1119                                         (double const *)(m), \
1120                                         (__v4di)(__m256i)(i), \
1121                                         (__v4df)(__m256d)(mask), (s)); })
1122
1123 #define _mm_mask_i32gather_ps(a, m, i, mask, s) __extension__ ({ \
1124   (__m128)__builtin_ia32_gatherd_ps((__v4sf)(__m128)(a), \
1125                                     (float const *)(m), \
1126                                     (__v4si)(__m128i)(i), \
1127                                     (__v4sf)(__m128)(mask), (s)); })
1128
1129 #define _mm256_mask_i32gather_ps(a, m, i, mask, s) __extension__ ({ \
1130   (__m256)__builtin_ia32_gatherd_ps256((__v8sf)(__m256)(a), \
1131                                        (float const *)(m), \
1132                                        (__v8si)(__m256i)(i), \
1133                                        (__v8sf)(__m256)(mask), (s)); })
1134
1135 #define _mm_mask_i64gather_ps(a, m, i, mask, s) __extension__ ({ \
1136   (__m128)__builtin_ia32_gatherq_ps((__v4sf)(__m128)(a), \
1137                                     (float const *)(m), \
1138                                     (__v2di)(__m128i)(i), \
1139                                     (__v4sf)(__m128)(mask), (s)); })
1140
1141 #define _mm256_mask_i64gather_ps(a, m, i, mask, s) __extension__ ({ \
1142   (__m128)__builtin_ia32_gatherq_ps256((__v4sf)(__m128)(a), \
1143                                        (float const *)(m), \
1144                                        (__v4di)(__m256i)(i), \
1145                                        (__v4sf)(__m128)(mask), (s)); })
1146
1147 #define _mm_mask_i32gather_epi32(a, m, i, mask, s) __extension__ ({ \
1148   (__m128i)__builtin_ia32_gatherd_d((__v4si)(__m128i)(a), \
1149                                     (int const *)(m), \
1150                                     (__v4si)(__m128i)(i), \
1151                                     (__v4si)(__m128i)(mask), (s)); })
1152
1153 #define _mm256_mask_i32gather_epi32(a, m, i, mask, s) __extension__ ({ \
1154   (__m256i)__builtin_ia32_gatherd_d256((__v8si)(__m256i)(a), \
1155                                        (int const *)(m), \
1156                                        (__v8si)(__m256i)(i), \
1157                                        (__v8si)(__m256i)(mask), (s)); })
1158
1159 #define _mm_mask_i64gather_epi32(a, m, i, mask, s) __extension__ ({ \
1160   (__m128i)__builtin_ia32_gatherq_d((__v4si)(__m128i)(a), \
1161                                     (int const *)(m), \
1162                                     (__v2di)(__m128i)(i), \
1163                                     (__v4si)(__m128i)(mask), (s)); })
1164
1165 #define _mm256_mask_i64gather_epi32(a, m, i, mask, s) __extension__ ({ \
1166   (__m128i)__builtin_ia32_gatherq_d256((__v4si)(__m128i)(a), \
1167                                        (int const *)(m), \
1168                                        (__v4di)(__m256i)(i), \
1169                                        (__v4si)(__m128i)(mask), (s)); })
1170
1171 #define _mm_mask_i32gather_epi64(a, m, i, mask, s) __extension__ ({ \
1172   (__m128i)__builtin_ia32_gatherd_q((__v2di)(__m128i)(a), \
1173                                     (long long const *)(m), \
1174                                     (__v4si)(__m128i)(i), \
1175                                     (__v2di)(__m128i)(mask), (s)); })
1176
1177 #define _mm256_mask_i32gather_epi64(a, m, i, mask, s) __extension__ ({ \
1178   (__m256i)__builtin_ia32_gatherd_q256((__v4di)(__m256i)(a), \
1179                                        (long long const *)(m), \
1180                                        (__v4si)(__m128i)(i), \
1181                                        (__v4di)(__m256i)(mask), (s)); })
1182
1183 #define _mm_mask_i64gather_epi64(a, m, i, mask, s) __extension__ ({ \
1184   (__m128i)__builtin_ia32_gatherq_q((__v2di)(__m128i)(a), \
1185                                     (long long const *)(m), \
1186                                     (__v2di)(__m128i)(i), \
1187                                     (__v2di)(__m128i)(mask), (s)); })
1188
1189 #define _mm256_mask_i64gather_epi64(a, m, i, mask, s) __extension__ ({ \
1190   (__m256i)__builtin_ia32_gatherq_q256((__v4di)(__m256i)(a), \
1191                                        (long long const *)(m), \
1192                                        (__v4di)(__m256i)(i), \
1193                                        (__v4di)(__m256i)(mask), (s)); })
1194
1195 #define _mm_i32gather_pd(m, i, s) __extension__ ({ \
1196   (__m128d)__builtin_ia32_gatherd_pd((__v2df)_mm_undefined_pd(), \
1197                                      (double const *)(m), \
1198                                      (__v4si)(__m128i)(i), \
1199                                      (__v2df)_mm_cmpeq_pd(_mm_setzero_pd(), \
1200                                                           _mm_setzero_pd()), \
1201                                      (s)); })
1202
1203 #define _mm256_i32gather_pd(m, i, s) __extension__ ({ \
1204   (__m256d)__builtin_ia32_gatherd_pd256((__v4df)_mm256_undefined_pd(), \
1205                                         (double const *)(m), \
1206                                         (__v4si)(__m128i)(i), \
1207                                         (__v4df)_mm256_cmp_pd(_mm256_setzero_pd(), \
1208                                                               _mm256_setzero_pd(), \
1209                                                               _CMP_EQ_OQ), \
1210                                         (s)); })
1211
1212 #define _mm_i64gather_pd(m, i, s) __extension__ ({ \
1213   (__m128d)__builtin_ia32_gatherq_pd((__v2df)_mm_undefined_pd(), \
1214                                      (double const *)(m), \
1215                                      (__v2di)(__m128i)(i), \
1216                                      (__v2df)_mm_cmpeq_pd(_mm_setzero_pd(), \
1217                                                           _mm_setzero_pd()), \
1218                                      (s)); })
1219
1220 #define _mm256_i64gather_pd(m, i, s) __extension__ ({ \
1221   (__m256d)__builtin_ia32_gatherq_pd256((__v4df)_mm256_undefined_pd(), \
1222                                         (double const *)(m), \
1223                                         (__v4di)(__m256i)(i), \
1224                                         (__v4df)_mm256_cmp_pd(_mm256_setzero_pd(), \
1225                                                               _mm256_setzero_pd(), \
1226                                                               _CMP_EQ_OQ), \
1227                                         (s)); })
1228
1229 #define _mm_i32gather_ps(m, i, s) __extension__ ({ \
1230   (__m128)__builtin_ia32_gatherd_ps((__v4sf)_mm_undefined_ps(), \
1231                                     (float const *)(m), \
1232                                     (__v4si)(__m128i)(i), \
1233                                     (__v4sf)_mm_cmpeq_ps(_mm_setzero_ps(), \
1234                                                          _mm_setzero_ps()), \
1235                                     (s)); })
1236
1237 #define _mm256_i32gather_ps(m, i, s) __extension__ ({ \
1238   (__m256)__builtin_ia32_gatherd_ps256((__v8sf)_mm256_undefined_ps(), \
1239                                        (float const *)(m), \
1240                                        (__v8si)(__m256i)(i), \
1241                                        (__v8sf)_mm256_cmp_ps(_mm256_setzero_ps(), \
1242                                                              _mm256_setzero_ps(), \
1243                                                              _CMP_EQ_OQ), \
1244                                        (s)); })
1245
1246 #define _mm_i64gather_ps(m, i, s) __extension__ ({ \
1247   (__m128)__builtin_ia32_gatherq_ps((__v4sf)_mm_undefined_ps(), \
1248                                     (float const *)(m), \
1249                                     (__v2di)(__m128i)(i), \
1250                                     (__v4sf)_mm_cmpeq_ps(_mm_setzero_ps(), \
1251                                                          _mm_setzero_ps()), \
1252                                     (s)); })
1253
1254 #define _mm256_i64gather_ps(m, i, s) __extension__ ({ \
1255   (__m128)__builtin_ia32_gatherq_ps256((__v4sf)_mm_undefined_ps(), \
1256                                        (float const *)(m), \
1257                                        (__v4di)(__m256i)(i), \
1258                                        (__v4sf)_mm_cmpeq_ps(_mm_setzero_ps(), \
1259                                                             _mm_setzero_ps()), \
1260                                        (s)); })
1261
1262 #define _mm_i32gather_epi32(m, i, s) __extension__ ({ \
1263   (__m128i)__builtin_ia32_gatherd_d((__v4si)_mm_undefined_si128(), \
1264                                     (int const *)(m), (__v4si)(__m128i)(i), \
1265                                     (__v4si)_mm_set1_epi32(-1), (s)); })
1266
1267 #define _mm256_i32gather_epi32(m, i, s) __extension__ ({ \
1268   (__m256i)__builtin_ia32_gatherd_d256((__v8si)_mm256_undefined_si256(), \
1269                                        (int const *)(m), (__v8si)(__m256i)(i), \
1270                                        (__v8si)_mm256_set1_epi32(-1), (s)); })
1271
1272 #define _mm_i64gather_epi32(m, i, s) __extension__ ({ \
1273   (__m128i)__builtin_ia32_gatherq_d((__v4si)_mm_undefined_si128(), \
1274                                     (int const *)(m), (__v2di)(__m128i)(i), \
1275                                     (__v4si)_mm_set1_epi32(-1), (s)); })
1276
1277 #define _mm256_i64gather_epi32(m, i, s) __extension__ ({ \
1278   (__m128i)__builtin_ia32_gatherq_d256((__v4si)_mm_undefined_si128(), \
1279                                        (int const *)(m), (__v4di)(__m256i)(i), \
1280                                        (__v4si)_mm_set1_epi32(-1), (s)); })
1281
1282 #define _mm_i32gather_epi64(m, i, s) __extension__ ({ \
1283   (__m128i)__builtin_ia32_gatherd_q((__v2di)_mm_undefined_si128(), \
1284                                     (long long const *)(m), \
1285                                     (__v4si)(__m128i)(i), \
1286                                     (__v2di)_mm_set1_epi64x(-1), (s)); })
1287
1288 #define _mm256_i32gather_epi64(m, i, s) __extension__ ({ \
1289   (__m256i)__builtin_ia32_gatherd_q256((__v4di)_mm256_undefined_si256(), \
1290                                        (long long const *)(m), \
1291                                        (__v4si)(__m128i)(i), \
1292                                        (__v4di)_mm256_set1_epi64x(-1), (s)); })
1293
1294 #define _mm_i64gather_epi64(m, i, s) __extension__ ({ \
1295   (__m128i)__builtin_ia32_gatherq_q((__v2di)_mm_undefined_si128(), \
1296                                     (long long const *)(m), \
1297                                     (__v2di)(__m128i)(i), \
1298                                     (__v2di)_mm_set1_epi64x(-1), (s)); })
1299
1300 #define _mm256_i64gather_epi64(m, i, s) __extension__ ({ \
1301   (__m256i)__builtin_ia32_gatherq_q256((__v4di)_mm256_undefined_si256(), \
1302                                        (long long const *)(m), \
1303                                        (__v4di)(__m256i)(i), \
1304                                        (__v4di)_mm256_set1_epi64x(-1), (s)); })
1305
1306 #undef __DEFAULT_FN_ATTRS
1307
1308 #endif /* __AVX2INTRIN_H */