contrib/arm-optimized-routines/math/v_expf.c

   1 /*
   2  * Single-precision vector e^x function.
   3  *
   4  * Copyright (c) 2019, Arm Limited.
   5  * SPDX-License-Identifier: MIT
   6  */
   7
   8 #include "mathlib.h"
   9 #include "v_math.h"
  10 #if V_SUPPORTED
  11
  12 static const float Poly[] = {
  13   /* maxerr: 1.45358 +0.5 ulp.  */
  14   0x1.0e4020p-7f,
  15   0x1.573e2ep-5f,
  16   0x1.555e66p-3f,
  17   0x1.fffdb6p-2f,
  18   0x1.ffffecp-1f,
  19 };
  20 #define C0 v_f32 (Poly[0])
  21 #define C1 v_f32 (Poly[1])
  22 #define C2 v_f32 (Poly[2])
  23 #define C3 v_f32 (Poly[3])
  24 #define C4 v_f32 (Poly[4])
  25
  26 #define Shift v_f32 (0x1.8p23f)
  27 #define InvLn2 v_f32 (0x1.715476p+0f)
  28 #define Ln2hi v_f32 (0x1.62e4p-1f)
  29 #define Ln2lo v_f32 (0x1.7f7d1cp-20f)
  30
  31 VPCS_ATTR
  32 static v_f32_t
  33 specialcase (v_f32_t poly, v_f32_t n, v_u32_t e, v_f32_t absn, v_u32_t cmp1, v_f32_t scale)
  34 {
  35   /* 2^n may overflow, break it up into s1*s2.  */
  36   v_u32_t b = v_cond_u32 (n <= v_f32 (0.0f)) & v_u32 (0x82000000);
  37   v_f32_t s1 = v_as_f32_u32 (v_u32 (0x7f000000) + b);
  38   v_f32_t s2 = v_as_f32_u32 (e - b);
  39   v_u32_t cmp2 = v_cond_u32 (absn > v_f32 (192.0f));
  40   v_u32_t r2 = v_as_u32_f32 (s1 * s1);
  41   v_u32_t r1 = v_as_u32_f32 (v_fma_f32 (poly, s2, s2) * s1);
  42   /* Similar to r1 but avoids double rounding in the subnormal range.  */
  43   v_u32_t r0 = v_as_u32_f32 (v_fma_f32 (poly, scale, scale));
  44   return v_as_f32_u32 ((cmp2 & r2) | (~cmp2 & cmp1 & r1) | (~cmp1 & r0));
  45 }
  46
  47 VPCS_ATTR
  48 v_f32_t
  49 V_NAME(expf) (v_f32_t x)
  50 {
  51   v_f32_t n, r, r2, scale, p, q, poly, absn, z;
  52   v_u32_t cmp, e;
  53
  54   /* exp(x) = 2^n (1 + poly(r)), with 1 + poly(r) in [1/sqrt(2),sqrt(2)]
  55      x = ln2*n + r, with r in [-ln2/2, ln2/2].  */
  56 #if 1
  57   z = v_fma_f32 (x, InvLn2, Shift);
  58   n = z - Shift;
  59   r = v_fma_f32 (n, -Ln2hi, x);
  60   r = v_fma_f32 (n, -Ln2lo, r);
  61   e = v_as_u32_f32 (z) << 23;
  62 #else
  63   z = x * InvLn2;
  64   n = v_round_f32 (z);
  65   r = v_fma_f32 (n, -Ln2hi, x);
  66   r = v_fma_f32 (n, -Ln2lo, r);
  67   e = v_as_u32_s32 (v_round_s32 (z)) << 23;
  68 #endif
  69   scale = v_as_f32_u32 (e + v_u32 (0x3f800000));
  70   absn = v_abs_f32 (n);
  71   cmp = v_cond_u32 (absn > v_f32 (126.0f));
  72   r2 = r * r;
  73   p = v_fma_f32 (C0, r, C1);
  74   q = v_fma_f32 (C2, r, C3);
  75   q = v_fma_f32 (p, r2, q);
  76   p = C4 * r;
  77   poly = v_fma_f32 (q, r2, p);
  78   if (unlikely (v_any_u32 (cmp)))
  79     return specialcase (poly, n, e, absn, cmp, scale);
  80   return v_fma_f32 (poly, scale, scale);
  81 }
  82 VPCS_ALIAS
  83 #endif