contrib/llvm/tools/clang/lib/Headers/avx512vldqintrin.h

   1 /*===---- avx512vldqintrin.h - AVX512VL and AVX512DQ intrinsics ------------===
   2  *
   3  * Permission is hereby granted, free of charge, to any person obtaining a copy
   4  * of this software and associated documentation files (the "Software"), to deal
   5  * in the Software without restriction, including without limitation the rights
   6  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
   7  * copies of the Software, and to permit persons to whom the Software is
   8  * furnished to do so, subject to the following conditions:
   9  *
  10  * The above copyright notice and this permission notice shall be included in
  11  * all copies or substantial portions of the Software.
  12  *
  13  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  14  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  15  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  16  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  17  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  18  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  19  * THE SOFTWARE.
  20  *
  21  *===-----------------------------------------------------------------------===
  22  */
  23
  24 #ifndef __IMMINTRIN_H
  25 #error "Never use <avx512vldqintrin.h> directly; include <immintrin.h> instead."
  26 #endif
  27
  28 #ifndef __AVX512VLDQINTRIN_H
  29 #define __AVX512VLDQINTRIN_H
  30
  31 /* Define the default attributes for the functions in this file. */
  32 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512vl,avx512dq")))
  33
  34 static __inline__ __m256i __DEFAULT_FN_ATTRS
  35 _mm256_mullo_epi64 (__m256i __A, __m256i __B) {
  36   return (__m256i) ((__v4di) __A * (__v4di) __B);
  37 }
  38
  39 static __inline__ __m256i __DEFAULT_FN_ATTRS
  40 _mm256_mask_mullo_epi64 (__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
  41   return (__m256i) __builtin_ia32_pmullq256_mask ((__v4di) __A,
  42               (__v4di) __B,
  43               (__v4di) __W,
  44               (__mmask8) __U);
  45 }
  46
  47 static __inline__ __m256i __DEFAULT_FN_ATTRS
  48 _mm256_maskz_mullo_epi64 (__mmask8 __U, __m256i __A, __m256i __B) {
  49   return (__m256i) __builtin_ia32_pmullq256_mask ((__v4di) __A,
  50               (__v4di) __B,
  51               (__v4di)
  52               _mm256_setzero_si256 (),
  53               (__mmask8) __U);
  54 }
  55
  56 static __inline__ __m128i __DEFAULT_FN_ATTRS
  57 _mm_mullo_epi64 (__m128i __A, __m128i __B) {
  58   return (__m128i) ((__v2di) __A * (__v2di) __B);
  59 }
  60
  61 static __inline__ __m128i __DEFAULT_FN_ATTRS
  62 _mm_mask_mullo_epi64 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
  63   return (__m128i) __builtin_ia32_pmullq128_mask ((__v2di) __A,
  64               (__v2di) __B,
  65               (__v2di) __W,
  66               (__mmask8) __U);
  67 }
  68
  69 static __inline__ __m128i __DEFAULT_FN_ATTRS
  70 _mm_maskz_mullo_epi64 (__mmask8 __U, __m128i __A, __m128i __B) {
  71   return (__m128i) __builtin_ia32_pmullq128_mask ((__v2di) __A,
  72               (__v2di) __B,
  73               (__v2di)
  74               _mm_setzero_si128 (),
  75               (__mmask8) __U);
  76 }
  77
  78 static __inline__ __m256d __DEFAULT_FN_ATTRS
  79 _mm256_mask_andnot_pd (__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) {
  80   return (__m256d) __builtin_ia32_andnpd256_mask ((__v4df) __A,
  81               (__v4df) __B,
  82               (__v4df) __W,
  83               (__mmask8) __U);
  84 }
  85
  86 static __inline__ __m256d __DEFAULT_FN_ATTRS
  87 _mm256_maskz_andnot_pd (__mmask8 __U, __m256d __A, __m256d __B) {
  88   return (__m256d) __builtin_ia32_andnpd256_mask ((__v4df) __A,
  89               (__v4df) __B,
  90               (__v4df)
  91               _mm256_setzero_pd (),
  92               (__mmask8) __U);
  93 }
  94
  95 static __inline__ __m128d __DEFAULT_FN_ATTRS
  96 _mm_mask_andnot_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
  97   return (__m128d) __builtin_ia32_andnpd128_mask ((__v2df) __A,
  98               (__v2df) __B,
  99               (__v2df) __W,
 100               (__mmask8) __U);
 101 }
 102
 103 static __inline__ __m128d __DEFAULT_FN_ATTRS
 104 _mm_maskz_andnot_pd (__mmask8 __U, __m128d __A, __m128d __B) {
 105   return (__m128d) __builtin_ia32_andnpd128_mask ((__v2df) __A,
 106               (__v2df) __B,
 107               (__v2df)
 108               _mm_setzero_pd (),
 109               (__mmask8) __U);
 110 }
 111
 112 static __inline__ __m256 __DEFAULT_FN_ATTRS
 113 _mm256_mask_andnot_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
 114   return (__m256) __builtin_ia32_andnps256_mask ((__v8sf) __A,
 115              (__v8sf) __B,
 116              (__v8sf) __W,
 117              (__mmask8) __U);
 118 }
 119
 120 static __inline__ __m256 __DEFAULT_FN_ATTRS
 121 _mm256_maskz_andnot_ps (__mmask8 __U, __m256 __A, __m256 __B) {
 122   return (__m256) __builtin_ia32_andnps256_mask ((__v8sf) __A,
 123              (__v8sf) __B,
 124              (__v8sf)
 125              _mm256_setzero_ps (),
 126              (__mmask8) __U);
 127 }
 128
 129 static __inline__ __m128 __DEFAULT_FN_ATTRS
 130 _mm_mask_andnot_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
 131   return (__m128) __builtin_ia32_andnps128_mask ((__v4sf) __A,
 132              (__v4sf) __B,
 133              (__v4sf) __W,
 134              (__mmask8) __U);
 135 }
 136
 137 static __inline__ __m128 __DEFAULT_FN_ATTRS
 138 _mm_maskz_andnot_ps (__mmask8 __U, __m128 __A, __m128 __B) {
 139   return (__m128) __builtin_ia32_andnps128_mask ((__v4sf) __A,
 140              (__v4sf) __B,
 141              (__v4sf)
 142              _mm_setzero_ps (),
 143              (__mmask8) __U);
 144 }
 145
 146 static __inline__ __m256d __DEFAULT_FN_ATTRS
 147 _mm256_mask_and_pd (__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) {
 148   return (__m256d) __builtin_ia32_andpd256_mask ((__v4df) __A,
 149              (__v4df) __B,
 150              (__v4df) __W,
 151              (__mmask8) __U);
 152 }
 153
 154 static __inline__ __m256d __DEFAULT_FN_ATTRS
 155 _mm256_maskz_and_pd (__mmask8 __U, __m256d __A, __m256d __B) {
 156   return (__m256d) __builtin_ia32_andpd256_mask ((__v4df) __A,
 157              (__v4df) __B,
 158              (__v4df)
 159              _mm256_setzero_pd (),
 160              (__mmask8) __U);
 161 }
 162
 163 static __inline__ __m128d __DEFAULT_FN_ATTRS
 164 _mm_mask_and_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
 165   return (__m128d) __builtin_ia32_andpd128_mask ((__v2df) __A,
 166              (__v2df) __B,
 167              (__v2df) __W,
 168              (__mmask8) __U);
 169 }
 170
 171 static __inline__ __m128d __DEFAULT_FN_ATTRS
 172 _mm_maskz_and_pd (__mmask8 __U, __m128d __A, __m128d __B) {
 173   return (__m128d) __builtin_ia32_andpd128_mask ((__v2df) __A,
 174              (__v2df) __B,
 175              (__v2df)
 176              _mm_setzero_pd (),
 177              (__mmask8) __U);
 178 }
 179
 180 static __inline__ __m256 __DEFAULT_FN_ATTRS
 181 _mm256_mask_and_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
 182   return (__m256) __builtin_ia32_andps256_mask ((__v8sf) __A,
 183             (__v8sf) __B,
 184             (__v8sf) __W,
 185             (__mmask8) __U);
 186 }
 187
 188 static __inline__ __m256 __DEFAULT_FN_ATTRS
 189 _mm256_maskz_and_ps (__mmask8 __U, __m256 __A, __m256 __B) {
 190   return (__m256) __builtin_ia32_andps256_mask ((__v8sf) __A,
 191             (__v8sf) __B,
 192             (__v8sf)
 193             _mm256_setzero_ps (),
 194             (__mmask8) __U);
 195 }
 196
 197 static __inline__ __m128 __DEFAULT_FN_ATTRS
 198 _mm_mask_and_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
 199   return (__m128) __builtin_ia32_andps128_mask ((__v4sf) __A,
 200             (__v4sf) __B,
 201             (__v4sf) __W,
 202             (__mmask8) __U);
 203 }
 204
 205 static __inline__ __m128 __DEFAULT_FN_ATTRS
 206 _mm_maskz_and_ps (__mmask8 __U, __m128 __A, __m128 __B) {
 207   return (__m128) __builtin_ia32_andps128_mask ((__v4sf) __A,
 208             (__v4sf) __B,
 209             (__v4sf)
 210             _mm_setzero_ps (),
 211             (__mmask8) __U);
 212 }
 213
 214 static __inline__ __m256d __DEFAULT_FN_ATTRS
 215 _mm256_mask_xor_pd (__m256d __W, __mmask8 __U, __m256d __A,
 216         __m256d __B) {
 217   return (__m256d) __builtin_ia32_xorpd256_mask ((__v4df) __A,
 218              (__v4df) __B,
 219              (__v4df) __W,
 220              (__mmask8) __U);
 221 }
 222
 223 static __inline__ __m256d __DEFAULT_FN_ATTRS
 224 _mm256_maskz_xor_pd (__mmask8 __U, __m256d __A, __m256d __B) {
 225   return (__m256d) __builtin_ia32_xorpd256_mask ((__v4df) __A,
 226              (__v4df) __B,
 227              (__v4df)
 228              _mm256_setzero_pd (),
 229              (__mmask8) __U);
 230 }
 231
 232 static __inline__ __m128d __DEFAULT_FN_ATTRS
 233 _mm_mask_xor_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
 234   return (__m128d) __builtin_ia32_xorpd128_mask ((__v2df) __A,
 235              (__v2df) __B,
 236              (__v2df) __W,
 237              (__mmask8) __U);
 238 }
 239
 240 static __inline__ __m128d __DEFAULT_FN_ATTRS
 241 _mm_maskz_xor_pd (__mmask8 __U, __m128d __A, __m128d __B) {
 242   return (__m128d) __builtin_ia32_xorpd128_mask ((__v2df) __A,
 243              (__v2df) __B,
 244              (__v2df)
 245              _mm_setzero_pd (),
 246              (__mmask8) __U);
 247 }
 248
 249 static __inline__ __m256 __DEFAULT_FN_ATTRS
 250 _mm256_mask_xor_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
 251   return (__m256) __builtin_ia32_xorps256_mask ((__v8sf) __A,
 252             (__v8sf) __B,
 253             (__v8sf) __W,
 254             (__mmask8) __U);
 255 }
 256
 257 static __inline__ __m256 __DEFAULT_FN_ATTRS
 258 _mm256_maskz_xor_ps (__mmask8 __U, __m256 __A, __m256 __B) {
 259   return (__m256) __builtin_ia32_xorps256_mask ((__v8sf) __A,
 260             (__v8sf) __B,
 261             (__v8sf)
 262             _mm256_setzero_ps (),
 263             (__mmask8) __U);
 264 }
 265
 266 static __inline__ __m128 __DEFAULT_FN_ATTRS
 267 _mm_mask_xor_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
 268   return (__m128) __builtin_ia32_xorps128_mask ((__v4sf) __A,
 269             (__v4sf) __B,
 270             (__v4sf) __W,
 271             (__mmask8) __U);
 272 }
 273
 274 static __inline__ __m128 __DEFAULT_FN_ATTRS
 275 _mm_maskz_xor_ps (__mmask8 __U, __m128 __A, __m128 __B) {
 276   return (__m128) __builtin_ia32_xorps128_mask ((__v4sf) __A,
 277             (__v4sf) __B,
 278             (__v4sf)
 279             _mm_setzero_ps (),
 280             (__mmask8) __U);
 281 }
 282
 283 static __inline__ __m256d __DEFAULT_FN_ATTRS
 284 _mm256_mask_or_pd (__m256d __W, __mmask8 __U, __m256d __A, __m256d __B) {
 285   return (__m256d) __builtin_ia32_orpd256_mask ((__v4df) __A,
 286             (__v4df) __B,
 287             (__v4df) __W,
 288             (__mmask8) __U);
 289 }
 290
 291 static __inline__ __m256d __DEFAULT_FN_ATTRS
 292 _mm256_maskz_or_pd (__mmask8 __U, __m256d __A, __m256d __B) {
 293   return (__m256d) __builtin_ia32_orpd256_mask ((__v4df) __A,
 294             (__v4df) __B,
 295             (__v4df)
 296             _mm256_setzero_pd (),
 297             (__mmask8) __U);
 298 }
 299
 300 static __inline__ __m128d __DEFAULT_FN_ATTRS
 301 _mm_mask_or_pd (__m128d __W, __mmask8 __U, __m128d __A, __m128d __B) {
 302   return (__m128d) __builtin_ia32_orpd128_mask ((__v2df) __A,
 303             (__v2df) __B,
 304             (__v2df) __W,
 305             (__mmask8) __U);
 306 }
 307
 308 static __inline__ __m128d __DEFAULT_FN_ATTRS
 309 _mm_maskz_or_pd (__mmask8 __U, __m128d __A, __m128d __B) {
 310   return (__m128d) __builtin_ia32_orpd128_mask ((__v2df) __A,
 311             (__v2df) __B,
 312             (__v2df)
 313             _mm_setzero_pd (),
 314             (__mmask8) __U);
 315 }
 316
 317 static __inline__ __m256 __DEFAULT_FN_ATTRS
 318 _mm256_mask_or_ps (__m256 __W, __mmask8 __U, __m256 __A, __m256 __B) {
 319   return (__m256) __builtin_ia32_orps256_mask ((__v8sf) __A,
 320                  (__v8sf) __B,
 321                  (__v8sf) __W,
 322                  (__mmask8) __U);
 323 }
 324
 325 static __inline__ __m256 __DEFAULT_FN_ATTRS
 326 _mm256_maskz_or_ps (__mmask8 __U, __m256 __A, __m256 __B) {
 327   return (__m256) __builtin_ia32_orps256_mask ((__v8sf) __A,
 328                  (__v8sf) __B,
 329                  (__v8sf)
 330                  _mm256_setzero_ps (),
 331                  (__mmask8) __U);
 332 }
 333
 334 static __inline__ __m128 __DEFAULT_FN_ATTRS
 335 _mm_mask_or_ps (__m128 __W, __mmask8 __U, __m128 __A, __m128 __B) {
 336   return (__m128) __builtin_ia32_orps128_mask ((__v4sf) __A,
 337                  (__v4sf) __B,
 338                  (__v4sf) __W,
 339                  (__mmask8) __U);
 340 }
 341
 342 static __inline__ __m128 __DEFAULT_FN_ATTRS
 343 _mm_maskz_or_ps (__mmask8 __U, __m128 __A, __m128 __B) {
 344   return (__m128) __builtin_ia32_orps128_mask ((__v4sf) __A,
 345                  (__v4sf) __B,
 346                  (__v4sf)
 347                  _mm_setzero_ps (),
 348                  (__mmask8) __U);
 349 }
 350
 351 static __inline__ __m128i __DEFAULT_FN_ATTRS
 352 _mm_cvtpd_epi64 (__m128d __A) {
 353   return (__m128i) __builtin_ia32_cvtpd2qq128_mask ((__v2df) __A,
 354                 (__v2di) _mm_setzero_si128(),
 355                 (__mmask8) -1);
 356 }
 357
 358 static __inline__ __m128i __DEFAULT_FN_ATTRS
 359 _mm_mask_cvtpd_epi64 (__m128i __W, __mmask8 __U, __m128d __A) {
 360   return (__m128i) __builtin_ia32_cvtpd2qq128_mask ((__v2df) __A,
 361                 (__v2di) __W,
 362                 (__mmask8) __U);
 363 }
 364
 365 static __inline__ __m128i __DEFAULT_FN_ATTRS
 366 _mm_maskz_cvtpd_epi64 (__mmask8 __U, __m128d __A) {
 367   return (__m128i) __builtin_ia32_cvtpd2qq128_mask ((__v2df) __A,
 368                 (__v2di) _mm_setzero_si128(),
 369                 (__mmask8) __U);
 370 }
 371
 372 static __inline__ __m256i __DEFAULT_FN_ATTRS
 373 _mm256_cvtpd_epi64 (__m256d __A) {
 374   return (__m256i) __builtin_ia32_cvtpd2qq256_mask ((__v4df) __A,
 375                 (__v4di) _mm256_setzero_si256(),
 376                 (__mmask8) -1);
 377 }
 378
 379 static __inline__ __m256i __DEFAULT_FN_ATTRS
 380 _mm256_mask_cvtpd_epi64 (__m256i __W, __mmask8 __U, __m256d __A) {
 381   return (__m256i) __builtin_ia32_cvtpd2qq256_mask ((__v4df) __A,
 382                 (__v4di) __W,
 383                 (__mmask8) __U);
 384 }
 385
 386 static __inline__ __m256i __DEFAULT_FN_ATTRS
 387 _mm256_maskz_cvtpd_epi64 (__mmask8 __U, __m256d __A) {
 388   return (__m256i) __builtin_ia32_cvtpd2qq256_mask ((__v4df) __A,
 389                 (__v4di) _mm256_setzero_si256(),
 390                 (__mmask8) __U);
 391 }
 392
 393 static __inline__ __m128i __DEFAULT_FN_ATTRS
 394 _mm_cvtpd_epu64 (__m128d __A) {
 395   return (__m128i) __builtin_ia32_cvtpd2uqq128_mask ((__v2df) __A,
 396                 (__v2di) _mm_setzero_si128(),
 397                 (__mmask8) -1);
 398 }
 399
 400 static __inline__ __m128i __DEFAULT_FN_ATTRS
 401 _mm_mask_cvtpd_epu64 (__m128i __W, __mmask8 __U, __m128d __A) {
 402   return (__m128i) __builtin_ia32_cvtpd2uqq128_mask ((__v2df) __A,
 403                 (__v2di) __W,
 404                 (__mmask8) __U);
 405 }
 406
 407 static __inline__ __m128i __DEFAULT_FN_ATTRS
 408 _mm_maskz_cvtpd_epu64 (__mmask8 __U, __m128d __A) {
 409   return (__m128i) __builtin_ia32_cvtpd2uqq128_mask ((__v2df) __A,
 410                 (__v2di) _mm_setzero_si128(),
 411                 (__mmask8) __U);
 412 }
 413
 414 static __inline__ __m256i __DEFAULT_FN_ATTRS
 415 _mm256_cvtpd_epu64 (__m256d __A) {
 416   return (__m256i) __builtin_ia32_cvtpd2uqq256_mask ((__v4df) __A,
 417                 (__v4di) _mm256_setzero_si256(),
 418                 (__mmask8) -1);
 419 }
 420
 421 static __inline__ __m256i __DEFAULT_FN_ATTRS
 422 _mm256_mask_cvtpd_epu64 (__m256i __W, __mmask8 __U, __m256d __A) {
 423   return (__m256i) __builtin_ia32_cvtpd2uqq256_mask ((__v4df) __A,
 424                 (__v4di) __W,
 425                 (__mmask8) __U);
 426 }
 427
 428 static __inline__ __m256i __DEFAULT_FN_ATTRS
 429 _mm256_maskz_cvtpd_epu64 (__mmask8 __U, __m256d __A) {
 430   return (__m256i) __builtin_ia32_cvtpd2uqq256_mask ((__v4df) __A,
 431                 (__v4di) _mm256_setzero_si256(),
 432                 (__mmask8) __U);
 433 }
 434
 435 static __inline__ __m128i __DEFAULT_FN_ATTRS
 436 _mm_cvtps_epi64 (__m128 __A) {
 437   return (__m128i) __builtin_ia32_cvtps2qq128_mask ((__v4sf) __A,
 438                 (__v2di) _mm_setzero_si128(),
 439                 (__mmask8) -1);
 440 }
 441
 442 static __inline__ __m128i __DEFAULT_FN_ATTRS
 443 _mm_mask_cvtps_epi64 (__m128i __W, __mmask8 __U, __m128 __A) {
 444   return (__m128i) __builtin_ia32_cvtps2qq128_mask ((__v4sf) __A,
 445                 (__v2di) __W,
 446                 (__mmask8) __U);
 447 }
 448
 449 static __inline__ __m128i __DEFAULT_FN_ATTRS
 450 _mm_maskz_cvtps_epi64 (__mmask8 __U, __m128 __A) {
 451   return (__m128i) __builtin_ia32_cvtps2qq128_mask ((__v4sf) __A,
 452                 (__v2di) _mm_setzero_si128(),
 453                 (__mmask8) __U);
 454 }
 455
 456 static __inline__ __m256i __DEFAULT_FN_ATTRS
 457 _mm256_cvtps_epi64 (__m128 __A) {
 458   return (__m256i) __builtin_ia32_cvtps2qq256_mask ((__v4sf) __A,
 459                 (__v4di) _mm256_setzero_si256(),
 460                 (__mmask8) -1);
 461 }
 462
 463 static __inline__ __m256i __DEFAULT_FN_ATTRS
 464 _mm256_mask_cvtps_epi64 (__m256i __W, __mmask8 __U, __m128 __A) {
 465   return (__m256i) __builtin_ia32_cvtps2qq256_mask ((__v4sf) __A,
 466                 (__v4di) __W,
 467                 (__mmask8) __U);
 468 }
 469
 470 static __inline__ __m256i __DEFAULT_FN_ATTRS
 471 _mm256_maskz_cvtps_epi64 (__mmask8 __U, __m128 __A) {
 472   return (__m256i) __builtin_ia32_cvtps2qq256_mask ((__v4sf) __A,
 473                 (__v4di) _mm256_setzero_si256(),
 474                 (__mmask8) __U);
 475 }
 476
 477 static __inline__ __m128i __DEFAULT_FN_ATTRS
 478 _mm_cvtps_epu64 (__m128 __A) {
 479   return (__m128i) __builtin_ia32_cvtps2uqq128_mask ((__v4sf) __A,
 480                 (__v2di) _mm_setzero_si128(),
 481                 (__mmask8) -1);
 482 }
 483
 484 static __inline__ __m128i __DEFAULT_FN_ATTRS
 485 _mm_mask_cvtps_epu64 (__m128i __W, __mmask8 __U, __m128 __A) {
 486   return (__m128i) __builtin_ia32_cvtps2uqq128_mask ((__v4sf) __A,
 487                 (__v2di) __W,
 488                 (__mmask8) __U);
 489 }
 490
 491 static __inline__ __m128i __DEFAULT_FN_ATTRS
 492 _mm_maskz_cvtps_epu64 (__mmask8 __U, __m128 __A) {
 493   return (__m128i) __builtin_ia32_cvtps2uqq128_mask ((__v4sf) __A,
 494                 (__v2di) _mm_setzero_si128(),
 495                 (__mmask8) __U);
 496 }
 497
 498 static __inline__ __m256i __DEFAULT_FN_ATTRS
 499 _mm256_cvtps_epu64 (__m128 __A) {
 500   return (__m256i) __builtin_ia32_cvtps2uqq256_mask ((__v4sf) __A,
 501                 (__v4di) _mm256_setzero_si256(),
 502                 (__mmask8) -1);
 503 }
 504
 505 static __inline__ __m256i __DEFAULT_FN_ATTRS
 506 _mm256_mask_cvtps_epu64 (__m256i __W, __mmask8 __U, __m128 __A) {
 507   return (__m256i) __builtin_ia32_cvtps2uqq256_mask ((__v4sf) __A,
 508                 (__v4di) __W,
 509                 (__mmask8) __U);
 510 }
 511
 512 static __inline__ __m256i __DEFAULT_FN_ATTRS
 513 _mm256_maskz_cvtps_epu64 (__mmask8 __U, __m128 __A) {
 514   return (__m256i) __builtin_ia32_cvtps2uqq256_mask ((__v4sf) __A,
 515                 (__v4di) _mm256_setzero_si256(),
 516                 (__mmask8) __U);
 517 }
 518
 519 static __inline__ __m128d __DEFAULT_FN_ATTRS
 520 _mm_cvtepi64_pd (__m128i __A) {
 521   return (__m128d) __builtin_ia32_cvtqq2pd128_mask ((__v2di) __A,
 522                 (__v2df) _mm_setzero_pd(),
 523                 (__mmask8) -1);
 524 }
 525
 526 static __inline__ __m128d __DEFAULT_FN_ATTRS
 527 _mm_mask_cvtepi64_pd (__m128d __W, __mmask8 __U, __m128i __A) {
 528   return (__m128d) __builtin_ia32_cvtqq2pd128_mask ((__v2di) __A,
 529                 (__v2df) __W,
 530                 (__mmask8) __U);
 531 }
 532
 533 static __inline__ __m128d __DEFAULT_FN_ATTRS
 534 _mm_maskz_cvtepi64_pd (__mmask8 __U, __m128i __A) {
 535   return (__m128d) __builtin_ia32_cvtqq2pd128_mask ((__v2di) __A,
 536                 (__v2df) _mm_setzero_pd(),
 537                 (__mmask8) __U);
 538 }
 539
 540 static __inline__ __m256d __DEFAULT_FN_ATTRS
 541 _mm256_cvtepi64_pd (__m256i __A) {
 542   return (__m256d) __builtin_ia32_cvtqq2pd256_mask ((__v4di) __A,
 543                 (__v4df) _mm256_setzero_pd(),
 544                 (__mmask8) -1);
 545 }
 546
 547 static __inline__ __m256d __DEFAULT_FN_ATTRS
 548 _mm256_mask_cvtepi64_pd (__m256d __W, __mmask8 __U, __m256i __A) {
 549   return (__m256d) __builtin_ia32_cvtqq2pd256_mask ((__v4di) __A,
 550                 (__v4df) __W,
 551                 (__mmask8) __U);
 552 }
 553
 554 static __inline__ __m256d __DEFAULT_FN_ATTRS
 555 _mm256_maskz_cvtepi64_pd (__mmask8 __U, __m256i __A) {
 556   return (__m256d) __builtin_ia32_cvtqq2pd256_mask ((__v4di) __A,
 557                 (__v4df) _mm256_setzero_pd(),
 558                 (__mmask8) __U);
 559 }
 560
 561 static __inline__ __m128 __DEFAULT_FN_ATTRS
 562 _mm_cvtepi64_ps (__m128i __A) {
 563   return (__m128) __builtin_ia32_cvtqq2ps128_mask ((__v2di) __A,
 564                 (__v4sf) _mm_setzero_ps(),
 565                 (__mmask8) -1);
 566 }
 567
 568 static __inline__ __m128 __DEFAULT_FN_ATTRS
 569 _mm_mask_cvtepi64_ps (__m128 __W, __mmask8 __U, __m128i __A) {
 570   return (__m128) __builtin_ia32_cvtqq2ps128_mask ((__v2di) __A,
 571                 (__v4sf) __W,
 572                 (__mmask8) __U);
 573 }
 574
 575 static __inline__ __m128 __DEFAULT_FN_ATTRS
 576 _mm_maskz_cvtepi64_ps (__mmask8 __U, __m128i __A) {
 577   return (__m128) __builtin_ia32_cvtqq2ps128_mask ((__v2di) __A,
 578                 (__v4sf) _mm_setzero_ps(),
 579                 (__mmask8) __U);
 580 }
 581
 582 static __inline__ __m128 __DEFAULT_FN_ATTRS
 583 _mm256_cvtepi64_ps (__m256i __A) {
 584   return (__m128) __builtin_ia32_cvtqq2ps256_mask ((__v4di) __A,
 585                 (__v4sf) _mm_setzero_ps(),
 586                 (__mmask8) -1);
 587 }
 588
 589 static __inline__ __m128 __DEFAULT_FN_ATTRS
 590 _mm256_mask_cvtepi64_ps (__m128 __W, __mmask8 __U, __m256i __A) {
 591   return (__m128) __builtin_ia32_cvtqq2ps256_mask ((__v4di) __A,
 592                 (__v4sf) __W,
 593                 (__mmask8) __U);
 594 }
 595
 596 static __inline__ __m128 __DEFAULT_FN_ATTRS
 597 _mm256_maskz_cvtepi64_ps (__mmask8 __U, __m256i __A) {
 598   return (__m128) __builtin_ia32_cvtqq2ps256_mask ((__v4di) __A,
 599                 (__v4sf) _mm_setzero_ps(),
 600                 (__mmask8) __U);
 601 }
 602
 603 static __inline__ __m128i __DEFAULT_FN_ATTRS
 604 _mm_cvttpd_epi64 (__m128d __A) {
 605   return (__m128i) __builtin_ia32_cvttpd2qq128_mask ((__v2df) __A,
 606                 (__v2di) _mm_setzero_si128(),
 607                 (__mmask8) -1);
 608 }
 609
 610 static __inline__ __m128i __DEFAULT_FN_ATTRS
 611 _mm_mask_cvttpd_epi64 (__m128i __W, __mmask8 __U, __m128d __A) {
 612   return (__m128i) __builtin_ia32_cvttpd2qq128_mask ((__v2df) __A,
 613                 (__v2di) __W,
 614                 (__mmask8) __U);
 615 }
 616
 617 static __inline__ __m128i __DEFAULT_FN_ATTRS
 618 _mm_maskz_cvttpd_epi64 (__mmask8 __U, __m128d __A) {
 619   return (__m128i) __builtin_ia32_cvttpd2qq128_mask ((__v2df) __A,
 620                 (__v2di) _mm_setzero_si128(),
 621                 (__mmask8) __U);
 622 }
 623
 624 static __inline__ __m256i __DEFAULT_FN_ATTRS
 625 _mm256_cvttpd_epi64 (__m256d __A) {
 626   return (__m256i) __builtin_ia32_cvttpd2qq256_mask ((__v4df) __A,
 627                 (__v4di) _mm256_setzero_si256(),
 628                 (__mmask8) -1);
 629 }
 630
 631 static __inline__ __m256i __DEFAULT_FN_ATTRS
 632 _mm256_mask_cvttpd_epi64 (__m256i __W, __mmask8 __U, __m256d __A) {
 633   return (__m256i) __builtin_ia32_cvttpd2qq256_mask ((__v4df) __A,
 634                 (__v4di) __W,
 635                 (__mmask8) __U);
 636 }
 637
 638 static __inline__ __m256i __DEFAULT_FN_ATTRS
 639 _mm256_maskz_cvttpd_epi64 (__mmask8 __U, __m256d __A) {
 640   return (__m256i) __builtin_ia32_cvttpd2qq256_mask ((__v4df) __A,
 641                 (__v4di) _mm256_setzero_si256(),
 642                 (__mmask8) __U);
 643 }
 644
 645 static __inline__ __m128i __DEFAULT_FN_ATTRS
 646 _mm_cvttpd_epu64 (__m128d __A) {
 647   return (__m128i) __builtin_ia32_cvttpd2uqq128_mask ((__v2df) __A,
 648                 (__v2di) _mm_setzero_si128(),
 649                 (__mmask8) -1);
 650 }
 651
 652 static __inline__ __m128i __DEFAULT_FN_ATTRS
 653 _mm_mask_cvttpd_epu64 (__m128i __W, __mmask8 __U, __m128d __A) {
 654   return (__m128i) __builtin_ia32_cvttpd2uqq128_mask ((__v2df) __A,
 655                 (__v2di) __W,
 656                 (__mmask8) __U);
 657 }
 658
 659 static __inline__ __m128i __DEFAULT_FN_ATTRS
 660 _mm_maskz_cvttpd_epu64 (__mmask8 __U, __m128d __A) {
 661   return (__m128i) __builtin_ia32_cvttpd2uqq128_mask ((__v2df) __A,
 662                 (__v2di) _mm_setzero_si128(),
 663                 (__mmask8) __U);
 664 }
 665
 666 static __inline__ __m256i __DEFAULT_FN_ATTRS
 667 _mm256_cvttpd_epu64 (__m256d __A) {
 668   return (__m256i) __builtin_ia32_cvttpd2uqq256_mask ((__v4df) __A,
 669                 (__v4di) _mm256_setzero_si256(),
 670                 (__mmask8) -1);
 671 }
 672
 673 static __inline__ __m256i __DEFAULT_FN_ATTRS
 674 _mm256_mask_cvttpd_epu64 (__m256i __W, __mmask8 __U, __m256d __A) {
 675   return (__m256i) __builtin_ia32_cvttpd2uqq256_mask ((__v4df) __A,
 676                 (__v4di) __W,
 677                 (__mmask8) __U);
 678 }
 679
 680 static __inline__ __m256i __DEFAULT_FN_ATTRS
 681 _mm256_maskz_cvttpd_epu64 (__mmask8 __U, __m256d __A) {
 682   return (__m256i) __builtin_ia32_cvttpd2uqq256_mask ((__v4df) __A,
 683                 (__v4di) _mm256_setzero_si256(),
 684                 (__mmask8) __U);
 685 }
 686
 687 static __inline__ __m128i __DEFAULT_FN_ATTRS
 688 _mm_cvttps_epi64 (__m128 __A) {
 689   return (__m128i) __builtin_ia32_cvttps2qq128_mask ((__v4sf) __A,
 690                 (__v2di) _mm_setzero_si128(),
 691                 (__mmask8) -1);
 692 }
 693
 694 static __inline__ __m128i __DEFAULT_FN_ATTRS
 695 _mm_mask_cvttps_epi64 (__m128i __W, __mmask8 __U, __m128 __A) {
 696   return (__m128i) __builtin_ia32_cvttps2qq128_mask ((__v4sf) __A,
 697                 (__v2di) __W,
 698                 (__mmask8) __U);
 699 }
 700
 701 static __inline__ __m128i __DEFAULT_FN_ATTRS
 702 _mm_maskz_cvttps_epi64 (__mmask8 __U, __m128 __A) {
 703   return (__m128i) __builtin_ia32_cvttps2qq128_mask ((__v4sf) __A,
 704                 (__v2di) _mm_setzero_si128(),
 705                 (__mmask8) __U);
 706 }
 707
 708 static __inline__ __m256i __DEFAULT_FN_ATTRS
 709 _mm256_cvttps_epi64 (__m128 __A) {
 710   return (__m256i) __builtin_ia32_cvttps2qq256_mask ((__v4sf) __A,
 711                 (__v4di) _mm256_setzero_si256(),
 712                 (__mmask8) -1);
 713 }
 714
 715 static __inline__ __m256i __DEFAULT_FN_ATTRS
 716 _mm256_mask_cvttps_epi64 (__m256i __W, __mmask8 __U, __m128 __A) {
 717   return (__m256i) __builtin_ia32_cvttps2qq256_mask ((__v4sf) __A,
 718                 (__v4di) __W,
 719                 (__mmask8) __U);
 720 }
 721
 722 static __inline__ __m256i __DEFAULT_FN_ATTRS
 723 _mm256_maskz_cvttps_epi64 (__mmask8 __U, __m128 __A) {
 724   return (__m256i) __builtin_ia32_cvttps2qq256_mask ((__v4sf) __A,
 725                 (__v4di) _mm256_setzero_si256(),
 726                 (__mmask8) __U);
 727 }
 728
 729 static __inline__ __m128i __DEFAULT_FN_ATTRS
 730 _mm_cvttps_epu64 (__m128 __A) {
 731   return (__m128i) __builtin_ia32_cvttps2uqq128_mask ((__v4sf) __A,
 732                 (__v2di) _mm_setzero_si128(),
 733                 (__mmask8) -1);
 734 }
 735
 736 static __inline__ __m128i __DEFAULT_FN_ATTRS
 737 _mm_mask_cvttps_epu64 (__m128i __W, __mmask8 __U, __m128 __A) {
 738   return (__m128i) __builtin_ia32_cvttps2uqq128_mask ((__v4sf) __A,
 739                 (__v2di) __W,
 740                 (__mmask8) __U);
 741 }
 742
 743 static __inline__ __m128i __DEFAULT_FN_ATTRS
 744 _mm_maskz_cvttps_epu64 (__mmask8 __U, __m128 __A) {
 745   return (__m128i) __builtin_ia32_cvttps2uqq128_mask ((__v4sf) __A,
 746                 (__v2di) _mm_setzero_si128(),
 747                 (__mmask8) __U);
 748 }
 749
 750 static __inline__ __m256i __DEFAULT_FN_ATTRS
 751 _mm256_cvttps_epu64 (__m128 __A) {
 752   return (__m256i) __builtin_ia32_cvttps2uqq256_mask ((__v4sf) __A,
 753                 (__v4di) _mm256_setzero_si256(),
 754                 (__mmask8) -1);
 755 }
 756
 757 static __inline__ __m256i __DEFAULT_FN_ATTRS
 758 _mm256_mask_cvttps_epu64 (__m256i __W, __mmask8 __U, __m128 __A) {
 759   return (__m256i) __builtin_ia32_cvttps2uqq256_mask ((__v4sf) __A,
 760                 (__v4di) __W,
 761                 (__mmask8) __U);
 762 }
 763
 764 static __inline__ __m256i __DEFAULT_FN_ATTRS
 765 _mm256_maskz_cvttps_epu64 (__mmask8 __U, __m128 __A) {
 766   return (__m256i) __builtin_ia32_cvttps2uqq256_mask ((__v4sf) __A,
 767                 (__v4di) _mm256_setzero_si256(),
 768                 (__mmask8) __U);
 769 }
 770
 771 static __inline__ __m128d __DEFAULT_FN_ATTRS
 772 _mm_cvtepu64_pd (__m128i __A) {
 773   return (__m128d) __builtin_ia32_cvtuqq2pd128_mask ((__v2di) __A,
 774                 (__v2df) _mm_setzero_pd(),
 775                 (__mmask8) -1);
 776 }
 777
 778 static __inline__ __m128d __DEFAULT_FN_ATTRS
 779 _mm_mask_cvtepu64_pd (__m128d __W, __mmask8 __U, __m128i __A) {
 780   return (__m128d) __builtin_ia32_cvtuqq2pd128_mask ((__v2di) __A,
 781                 (__v2df) __W,
 782                 (__mmask8) __U);
 783 }
 784
 785 static __inline__ __m128d __DEFAULT_FN_ATTRS
 786 _mm_maskz_cvtepu64_pd (__mmask8 __U, __m128i __A) {
 787   return (__m128d) __builtin_ia32_cvtuqq2pd128_mask ((__v2di) __A,
 788                 (__v2df) _mm_setzero_pd(),
 789                 (__mmask8) __U);
 790 }
 791
 792 static __inline__ __m256d __DEFAULT_FN_ATTRS
 793 _mm256_cvtepu64_pd (__m256i __A) {
 794   return (__m256d) __builtin_ia32_cvtuqq2pd256_mask ((__v4di) __A,
 795                 (__v4df) _mm256_setzero_pd(),
 796                 (__mmask8) -1);
 797 }
 798
 799 static __inline__ __m256d __DEFAULT_FN_ATTRS
 800 _mm256_mask_cvtepu64_pd (__m256d __W, __mmask8 __U, __m256i __A) {
 801   return (__m256d) __builtin_ia32_cvtuqq2pd256_mask ((__v4di) __A,
 802                 (__v4df) __W,
 803                 (__mmask8) __U);
 804 }
 805
 806 static __inline__ __m256d __DEFAULT_FN_ATTRS
 807 _mm256_maskz_cvtepu64_pd (__mmask8 __U, __m256i __A) {
 808   return (__m256d) __builtin_ia32_cvtuqq2pd256_mask ((__v4di) __A,
 809                 (__v4df) _mm256_setzero_pd(),
 810                 (__mmask8) __U);
 811 }
 812
 813 static __inline__ __m128 __DEFAULT_FN_ATTRS
 814 _mm_cvtepu64_ps (__m128i __A) {
 815   return (__m128) __builtin_ia32_cvtuqq2ps128_mask ((__v2di) __A,
 816                 (__v4sf) _mm_setzero_ps(),
 817                 (__mmask8) -1);
 818 }
 819
 820 static __inline__ __m128 __DEFAULT_FN_ATTRS
 821 _mm_mask_cvtepu64_ps (__m128 __W, __mmask8 __U, __m128i __A) {
 822   return (__m128) __builtin_ia32_cvtuqq2ps128_mask ((__v2di) __A,
 823                 (__v4sf) __W,
 824                 (__mmask8) __U);
 825 }
 826
 827 static __inline__ __m128 __DEFAULT_FN_ATTRS
 828 _mm_maskz_cvtepu64_ps (__mmask8 __U, __m128i __A) {
 829   return (__m128) __builtin_ia32_cvtuqq2ps128_mask ((__v2di) __A,
 830                 (__v4sf) _mm_setzero_ps(),
 831                 (__mmask8) __U);
 832 }
 833
 834 static __inline__ __m128 __DEFAULT_FN_ATTRS
 835 _mm256_cvtepu64_ps (__m256i __A) {
 836   return (__m128) __builtin_ia32_cvtuqq2ps256_mask ((__v4di) __A,
 837                 (__v4sf) _mm_setzero_ps(),
 838                 (__mmask8) -1);
 839 }
 840
 841 static __inline__ __m128 __DEFAULT_FN_ATTRS
 842 _mm256_mask_cvtepu64_ps (__m128 __W, __mmask8 __U, __m256i __A) {
 843   return (__m128) __builtin_ia32_cvtuqq2ps256_mask ((__v4di) __A,
 844                 (__v4sf) __W,
 845                 (__mmask8) __U);
 846 }
 847
 848 static __inline__ __m128 __DEFAULT_FN_ATTRS
 849 _mm256_maskz_cvtepu64_ps (__mmask8 __U, __m256i __A) {
 850   return (__m128) __builtin_ia32_cvtuqq2ps256_mask ((__v4di) __A,
 851                 (__v4sf) _mm_setzero_ps(),
 852                 (__mmask8) __U);
 853 }
 854
 855 #define _mm_range_pd(__A, __B, __C) __extension__ ({                         \
 856   (__m128d) __builtin_ia32_rangepd128_mask ((__v2df) __A, (__v2df) __B, __C, \
 857                 (__v2df) _mm_setzero_pd(), (__mmask8) -1); })
 858
 859 #define _mm_mask_range_pd(__W, __U, __A, __B, __C) __extension__ ({          \
 860   (__m128d) __builtin_ia32_rangepd128_mask ((__v2df) __A, (__v2df) __B, __C, \
 861                 (__v2df) __W, (__mmask8) __U); })
 862
 863 #define _mm_maskz_range_pd(__U, __A, __B, __C) __extension__ ({              \
 864   (__m128d) __builtin_ia32_rangepd128_mask ((__v2df) __A, (__v2df) __B, __C, \
 865                 (__v2df) _mm_setzero_pd(), (__mmask8) __U); })
 866
 867 #define _mm256_range_pd(__A, __B, __C) __extension__ ({                      \
 868   (__m256d) __builtin_ia32_rangepd256_mask ((__v4df) __A, (__v4df) __B, __C, \
 869                 (__v4df) _mm256_setzero_pd(), (__mmask8) -1); })
 870
 871 #define _mm256_mask_range_pd(__W, __U, __A, __B, __C) __extension__ ({       \
 872   (__m256d) __builtin_ia32_rangepd256_mask ((__v4df) __A, (__v4df) __B, __C, \
 873                 (__v4df) __W, (__mmask8) __U); })
 874
 875 #define _mm256_maskz_range_pd(__U, __A, __B, __C) __extension__ ({           \
 876   (__m256d) __builtin_ia32_rangepd256_mask ((__v4df) __A, (__v4df) __B, __C, \
 877                 (__v4df) _mm256_setzero_pd(), (__mmask8) __U); })
 878
 879 #define _mm_range_ps(__A, __B, __C) __extension__ ({                         \
 880   (__m128) __builtin_ia32_rangeps128_mask ((__v4sf) __A, (__v4sf) __B, __C,  \
 881                 (__v4sf) _mm_setzero_ps(), (__mmask8) -1); })
 882
 883 #define _mm_mask_range_ps(__W, __U, __A, __B, __C) __extension__ ({          \
 884   (__m128) __builtin_ia32_rangeps128_mask ((__v4sf) __A, (__v4sf) __B, __C,  \
 885                 (__v4sf) __W, (__mmask8) __U); })
 886
 887 #define _mm_maskz_range_ps(__U, __A, __B, __C) __extension__ ({              \
 888   (__m128) __builtin_ia32_rangeps128_mask ((__v4sf) __A, (__v4sf) __B, __C,  \
 889                 (__v4sf) _mm_setzero_ps(), (__mmask8) __U); })
 890
 891 #define _mm256_range_ps(__A, __B, __C) __extension__ ({                      \
 892   (__m256) __builtin_ia32_rangeps256_mask ((__v8sf) __A, (__v8sf) __B, __C,  \
 893                 (__v8sf) _mm256_setzero_ps(), (__mmask8) -1); })
 894
 895 #define _mm256_mask_range_ps(__W, __U, __A, __B, __C) __extension__ ({       \
 896   (__m256) __builtin_ia32_rangeps256_mask ((__v8sf) __A, (__v8sf) __B, __C,  \
 897                 (__v8sf) __W, (__mmask8) __U); })
 898
 899 #define _mm256_maskz_range_ps(__U, __A, __B, __C) __extension__ ({           \
 900   (__m256) __builtin_ia32_rangeps256_mask ((__v8sf) __A, (__v8sf) __B, __C,  \
 901                 (__v8sf) _mm256_setzero_ps(), (__mmask8) __U); })
 902
 903 #define _mm_reduce_pd(__A, __B) __extension__ ({                \
 904   (__m128d) __builtin_ia32_reducepd128_mask ((__v2df) __A, __B, \
 905                 (__v2df) _mm_setzero_pd(), (__mmask8) -1); })
 906
 907 #define _mm_mask_reduce_pd(__W, __U, __A, __B) __extension__ ({ \
 908   (__m128d) __builtin_ia32_reducepd128_mask ((__v2df) __A, __B, \
 909                 (__v2df) __W, (__mmask8) __U); })
 910
 911 #define _mm_maskz_reduce_pd(__U, __A, __B) __extension__ ({     \
 912   (__m128d) __builtin_ia32_reducepd128_mask ((__v2df) __A, __B, \
 913                 (__v2df) _mm_setzero_pd(), (__mmask8) __U); })
 914
 915 #define _mm256_reduce_pd(__A, __B) __extension__ ({                \
 916   (__m256d) __builtin_ia32_reducepd256_mask ((__v4df) __A, __B,    \
 917                 (__v4df) _mm256_setzero_pd(), (__mmask8) -1); })
 918
 919 #define _mm256_mask_reduce_pd(__W, __U, __A, __B) __extension__ ({ \
 920   (__m256d) __builtin_ia32_reducepd256_mask ((__v4df) __A, __B,    \
 921                 (__v4df) __W, (__mmask8) __U); })
 922
 923 #define _mm256_maskz_reduce_pd(__U, __A, __B) __extension__ ({     \
 924   (__m256d) __builtin_ia32_reducepd256_mask ((__v4df) __A, __B,    \
 925                 (__v4df) _mm256_setzero_pd(), (__mmask8) __U); })
 926
 927 #define _mm_reduce_ps(__A, __B) __extension__ ({                   \
 928   (__m128) __builtin_ia32_reduceps128_mask ((__v4sf) __A, __B,     \
 929                 (__v4sf) _mm_setzero_ps(), (__mmask8) -1); })
 930
 931 #define _mm_mask_reduce_ps(__W, __U, __A, __B) __extension__ ({    \
 932   (__m128) __builtin_ia32_reduceps128_mask ((__v4sf) __A, __B,     \
 933                 (__v4sf) __W, (__mmask8) __U); })
 934
 935 #define _mm_maskz_reduce_ps(__U, __A, __B) __extension__ ({        \
 936   (__m128) __builtin_ia32_reduceps128_mask ((__v4sf) __A, __B,     \
 937                 (__v4sf) _mm_setzero_ps(), (__mmask8) __U); })
 938
 939 #define _mm256_reduce_ps(__A, __B) __extension__ ({                \
 940   (__m256) __builtin_ia32_reduceps256_mask ((__v8sf) __A, __B,     \
 941                 (__v8sf) _mm256_setzero_ps(), (__mmask8) -1); })
 942
 943 #define _mm256_mask_reduce_ps(__W, __U, __A, __B) __extension__ ({ \
 944   (__m256) __builtin_ia32_reduceps256_mask ((__v8sf) __A, __B,     \
 945                 (__v8sf) __W, (__mmask8) __U); })
 946
 947 #define _mm256_maskz_reduce_ps(__U, __A, __B) __extension__ ({     \
 948   (__m256) __builtin_ia32_reduceps256_mask ((__v8sf) __A, __B,     \
 949                 (__v8sf) _mm256_setzero_ps(), (__mmask8) __U); })
 950
 951 #undef __DEFAULT_FN_ATTRS
 952
 953 #endif