contrib/compiler-rt/lib/divdf3.c

   1 //===-- lib/divdf3.c - Double-precision division ------------------*- C -*-===//
   2 //
   3 //                     The LLVM Compiler Infrastructure
   4 //
   5 // This file is dual licensed under the MIT and the University of Illinois Open
   6 // Source Licenses. See LICENSE.TXT for details.
   7 //
   8 //===----------------------------------------------------------------------===//
   9 //
  10 // This file implements double-precision soft-float division
  11 // with the IEEE-754 default rounding (to nearest, ties to even).
  12 //
  13 // For simplicity, this implementation currently flushes denormals to zero.
  14 // It should be a fairly straightforward exercise to implement gradual
  15 // underflow with correct rounding.
  16 //
  17 //===----------------------------------------------------------------------===//
  18 #include "abi.h"
  19
  20 #define DOUBLE_PRECISION
  21 #include "fp_lib.h"
  22
  23 ARM_EABI_FNALIAS(ddiv, divdf3);
  24
  25 fp_t __divdf3(fp_t a, fp_t b) {
  26
  27     const unsigned int aExponent = toRep(a) >> significandBits & maxExponent;
  28     const unsigned int bExponent = toRep(b) >> significandBits & maxExponent;
  29     const rep_t quotientSign = (toRep(a) ^ toRep(b)) & signBit;
  30
  31     rep_t aSignificand = toRep(a) & significandMask;
  32     rep_t bSignificand = toRep(b) & significandMask;
  33     int scale = 0;
  34
  35     // Detect if a or b is zero, denormal, infinity, or NaN.
  36     if (aExponent-1U >= maxExponent-1U || bExponent-1U >= maxExponent-1U) {
  37
  38         const rep_t aAbs = toRep(a) & absMask;
  39         const rep_t bAbs = toRep(b) & absMask;
  40
  41         // NaN / anything = qNaN
  42         if (aAbs > infRep) return fromRep(toRep(a) | quietBit);
  43         // anything / NaN = qNaN
  44         if (bAbs > infRep) return fromRep(toRep(b) | quietBit);
  45
  46         if (aAbs == infRep) {
  47             // infinity / infinity = NaN
  48             if (bAbs == infRep) return fromRep(qnanRep);
  49             // infinity / anything else = +/- infinity
  50             else return fromRep(aAbs | quotientSign);
  51         }
  52
  53         // anything else / infinity = +/- 0
  54         if (bAbs == infRep) return fromRep(quotientSign);
  55
  56         if (!aAbs) {
  57             // zero / zero = NaN
  58             if (!bAbs) return fromRep(qnanRep);
  59             // zero / anything else = +/- zero
  60             else return fromRep(quotientSign);
  61         }
  62         // anything else / zero = +/- infinity
  63         if (!bAbs) return fromRep(infRep | quotientSign);
  64
  65         // one or both of a or b is denormal, the other (if applicable) is a
  66         // normal number.  Renormalize one or both of a and b, and set scale to
  67         // include the necessary exponent adjustment.
  68         if (aAbs < implicitBit) scale += normalize(&aSignificand);
  69         if (bAbs < implicitBit) scale -= normalize(&bSignificand);
  70     }
  71
  72     // Or in the implicit significand bit.  (If we fell through from the
  73     // denormal path it was already set by normalize( ), but setting it twice
  74     // won't hurt anything.)
  75     aSignificand |= implicitBit;
  76     bSignificand |= implicitBit;
  77     int quotientExponent = aExponent - bExponent + scale;
  78
  79     // Align the significand of b as a Q31 fixed-point number in the range
  80     // [1, 2.0) and get a Q32 approximate reciprocal using a small minimax
  81     // polynomial approximation: reciprocal = 3/4 + 1/sqrt(2) - b/2.  This
  82     // is accurate to about 3.5 binary digits.
  83     const uint32_t q31b = bSignificand >> 21;
  84     uint32_t recip32 = UINT32_C(0x7504f333) - q31b;
  85
  86     // Now refine the reciprocal estimate using a Newton-Raphson iteration:
  87     //
  88     //     x1 = x0 * (2 - x0 * b)
  89     //
  90     // This doubles the number of correct binary digits in the approximation
  91     // with each iteration, so after three iterations, we have about 28 binary
  92     // digits of accuracy.
  93     uint32_t correction32;
  94     correction32 = -((uint64_t)recip32 * q31b >> 32);
  95     recip32 = (uint64_t)recip32 * correction32 >> 31;
  96     correction32 = -((uint64_t)recip32 * q31b >> 32);
  97     recip32 = (uint64_t)recip32 * correction32 >> 31;
  98     correction32 = -((uint64_t)recip32 * q31b >> 32);
  99     recip32 = (uint64_t)recip32 * correction32 >> 31;
 100
 101     // recip32 might have overflowed to exactly zero in the preceeding
 102     // computation if the high word of b is exactly 1.0.  This would sabotage
 103     // the full-width final stage of the computation that follows, so we adjust
 104     // recip32 downward by one bit.
 105     recip32--;
 106
 107     // We need to perform one more iteration to get us to 56 binary digits;
 108     // The last iteration needs to happen with extra precision.
 109     const uint32_t q63blo = bSignificand << 11;
 110     uint64_t correction, reciprocal;
 111     correction = -((uint64_t)recip32*q31b + ((uint64_t)recip32*q63blo >> 32));
 112     uint32_t cHi = correction >> 32;
 113     uint32_t cLo = correction;
 114     reciprocal = (uint64_t)recip32*cHi + ((uint64_t)recip32*cLo >> 32);
 115
 116     // We already adjusted the 32-bit estimate, now we need to adjust the final
 117     // 64-bit reciprocal estimate downward to ensure that it is strictly smaller
 118     // than the infinitely precise exact reciprocal.  Because the computation
 119     // of the Newton-Raphson step is truncating at every step, this adjustment
 120     // is small; most of the work is already done.
 121     reciprocal -= 2;
 122
 123     // The numerical reciprocal is accurate to within 2^-56, lies in the
 124     // interval [0.5, 1.0), and is strictly smaller than the true reciprocal
 125     // of b.  Multiplying a by this reciprocal thus gives a numerical q = a/b
 126     // in Q53 with the following properties:
 127     //
 128     //    1. q < a/b
 129     //    2. q is in the interval [0.5, 2.0)
 130     //    3. the error in q is bounded away from 2^-53 (actually, we have a
 131     //       couple of bits to spare, but this is all we need).
 132
 133     // We need a 64 x 64 multiply high to compute q, which isn't a basic
 134     // operation in C, so we need to be a little bit fussy.
 135     rep_t quotient, quotientLo;
 136     wideMultiply(aSignificand << 2, reciprocal, &quotient, &quotientLo);
 137
 138     // Two cases: quotient is in [0.5, 1.0) or quotient is in [1.0, 2.0).
 139     // In either case, we are going to compute a residual of the form
 140     //
 141     //     r = a - q*b
 142     //
 143     // We know from the construction of q that r satisfies:
 144     //
 145     //     0 <= r < ulp(q)*b
 146     //
 147     // if r is greater than 1/2 ulp(q)*b, then q rounds up.  Otherwise, we
 148     // already have the correct result.  The exact halfway case cannot occur.
 149     // We also take this time to right shift quotient if it falls in the [1,2)
 150     // range and adjust the exponent accordingly.
 151     rep_t residual;
 152     if (quotient < (implicitBit << 1)) {
 153         residual = (aSignificand << 53) - quotient * bSignificand;
 154         quotientExponent--;
 155     } else {
 156         quotient >>= 1;
 157         residual = (aSignificand << 52) - quotient * bSignificand;
 158     }
 159
 160     const int writtenExponent = quotientExponent + exponentBias;
 161
 162     if (writtenExponent >= maxExponent) {
 163         // If we have overflowed the exponent, return infinity.
 164         return fromRep(infRep | quotientSign);
 165     }
 166
 167     else if (writtenExponent < 1) {
 168         // Flush denormals to zero.  In the future, it would be nice to add
 169         // code to round them correctly.
 170         return fromRep(quotientSign);
 171     }
 172
 173     else {
 174         const bool round = (residual << 1) > bSignificand;
 175         // Clear the implicit bit
 176         rep_t absResult = quotient & significandMask;
 177         // Insert the exponent
 178         absResult |= (rep_t)writtenExponent << significandBits;
 179         // Round
 180         absResult += round;
 181         // Insert the sign and return
 182         const double result = fromRep(absResult | quotientSign);
 183         return result;
 184     }
 185 }