contrib/arm-optimized-routines/math/v_exp.c

   1 /*
   2  * Double-precision vector e^x function.
   3  *
   4  * Copyright (c) 2019, Arm Limited.
   5  * SPDX-License-Identifier: MIT
   6  */
   7
   8 #include "mathlib.h"
   9 #include "v_math.h"
  10 #if V_SUPPORTED
  11 #include "v_exp.h"
  12
  13 #if V_EXP_TABLE_BITS == 7
  14 /* maxerr: 1.88 +0.5 ulp
  15    rel error: 1.4337*2^-53
  16    abs error: 1.4299*2^-53 in [ -ln2/256, ln2/256 ].  */
  17 #define C1 v_f64 (0x1.ffffffffffd43p-2)
  18 #define C2 v_f64 (0x1.55555c75adbb2p-3)
  19 #define C3 v_f64 (0x1.55555da646206p-5)
  20 #define InvLn2 v_f64 (0x1.71547652b82fep7) /* N/ln2.  */
  21 #define Ln2hi v_f64 (0x1.62e42fefa39efp-8) /* ln2/N.  */
  22 #define Ln2lo v_f64 (0x1.abc9e3b39803f3p-63)
  23 #elif V_EXP_TABLE_BITS == 8
  24 /* maxerr: 0.54 +0.5 ulp
  25    rel error: 1.4318*2^-58
  26    abs error: 1.4299*2^-58 in [ -ln2/512, ln2/512 ].  */
  27 #define C1 v_f64 (0x1.fffffffffffd4p-2)
  28 #define C2 v_f64 (0x1.5555571d6b68cp-3)
  29 #define C3 v_f64 (0x1.5555576a59599p-5)
  30 #define InvLn2 v_f64 (0x1.71547652b82fep8)
  31 #define Ln2hi v_f64 (0x1.62e42fefa39efp-9)
  32 #define Ln2lo v_f64 (0x1.abc9e3b39803f3p-64)
  33 #endif
  34
  35 #define N (1 << V_EXP_TABLE_BITS)
  36 #define Tab __v_exp_data
  37 #define IndexMask v_u64 (N - 1)
  38 #define Shift v_f64 (0x1.8p+52)
  39 #define Thres v_f64 (704.0)
  40
  41 VPCS_ATTR
  42 static v_f64_t
  43 specialcase (v_f64_t s, v_f64_t y, v_f64_t n)
  44 {
  45   v_f64_t absn = v_abs_f64 (n);
  46
  47   /* 2^(n/N) may overflow, break it up into s1*s2.  */
  48   v_u64_t b = v_cond_u64 (n <= v_f64 (0.0)) & v_u64 (0x6000000000000000);
  49   v_f64_t s1 = v_as_f64_u64 (v_u64 (0x7000000000000000) - b);
  50   v_f64_t s2 = v_as_f64_u64 (v_as_u64_f64 (s) - v_u64 (0x3010000000000000) + b);
  51   v_u64_t cmp = v_cond_u64 (absn > v_f64 (1280.0 * N));
  52   v_f64_t r1 = s1 * s1;
  53   v_f64_t r0 = v_fma_f64 (y, s2, s2) * s1;
  54   return v_as_f64_u64 ((cmp & v_as_u64_f64 (r1)) | (~cmp & v_as_u64_f64 (r0)));
  55 }
  56
  57 VPCS_ATTR
  58 v_f64_t
  59 V_NAME(exp) (v_f64_t x)
  60 {
  61   v_f64_t n, r, r2, s, y, z;
  62   v_u64_t cmp, u, e, i;
  63
  64   cmp = v_cond_u64 (v_abs_f64 (x) > Thres);
  65
  66   /* n = round(x/(ln2/N)).  */
  67   z = v_fma_f64 (x, InvLn2, Shift);
  68   u = v_as_u64_f64 (z);
  69   n = z - Shift;
  70
  71   /* r = x - n*ln2/N.  */
  72   r = x;
  73   r = v_fma_f64 (-Ln2hi, n, r);
  74   r = v_fma_f64 (-Ln2lo, n, r);
  75
  76   e = u << (52 - V_EXP_TABLE_BITS);
  77   i = u & IndexMask;
  78
  79   /* y = exp(r) - 1 ~= r + C1 r^2 + C2 r^3 + C3 r^4.  */
  80   r2 = r * r;
  81   y = v_fma_f64 (C2, r, C1);
  82   y = v_fma_f64 (C3, r2, y);
  83   y = v_fma_f64 (y, r2, r);
  84
  85   /* s = 2^(n/N).  */
  86   u = v_lookup_u64 (Tab, i);
  87   s = v_as_f64_u64 (u + e);
  88
  89   if (unlikely (v_any_u64 (cmp)))
  90     return specialcase (s, y, n);
  91   return v_fma_f64 (y, s, s);
  92 }
  93 VPCS_ALIAS
  94 #endif