]> CyberLeo.Net >> Repos - FreeBSD/releng/9.0.git/blob - crypto/openssl/crypto/bn/bn_gf2m.c
Fix OpenSSL multiple vulnerabilities. [13:03]
[FreeBSD/releng/9.0.git] / crypto / openssl / crypto / bn / bn_gf2m.c
1 /* crypto/bn/bn_gf2m.c */
2 /* ====================================================================
3  * Copyright 2002 Sun Microsystems, Inc. ALL RIGHTS RESERVED.
4  *
5  * The Elliptic Curve Public-Key Crypto Library (ECC Code) included
6  * herein is developed by SUN MICROSYSTEMS, INC., and is contributed
7  * to the OpenSSL project.
8  *
9  * The ECC Code is licensed pursuant to the OpenSSL open source
10  * license provided below.
11  *
12  * In addition, Sun covenants to all licensees who provide a reciprocal
13  * covenant with respect to their own patents if any, not to sue under
14  * current and future patent claims necessarily infringed by the making,
15  * using, practicing, selling, offering for sale and/or otherwise
16  * disposing of the ECC Code as delivered hereunder (or portions thereof),
17  * provided that such covenant shall not apply:
18  *  1) for code that a licensee deletes from the ECC Code;
19  *  2) separates from the ECC Code; or
20  *  3) for infringements caused by:
21  *       i) the modification of the ECC Code or
22  *      ii) the combination of the ECC Code with other software or
23  *          devices where such combination causes the infringement.
24  *
25  * The software is originally written by Sheueling Chang Shantz and
26  * Douglas Stebila of Sun Microsystems Laboratories.
27  *
28  */
29
30 /* NOTE: This file is licensed pursuant to the OpenSSL license below
31  * and may be modified; but after modifications, the above covenant
32  * may no longer apply!  In such cases, the corresponding paragraph
33  * ["In addition, Sun covenants ... causes the infringement."] and
34  * this note can be edited out; but please keep the Sun copyright
35  * notice and attribution. */
36
37 /* ====================================================================
38  * Copyright (c) 1998-2002 The OpenSSL Project.  All rights reserved.
39  *
40  * Redistribution and use in source and binary forms, with or without
41  * modification, are permitted provided that the following conditions
42  * are met:
43  *
44  * 1. Redistributions of source code must retain the above copyright
45  *    notice, this list of conditions and the following disclaimer. 
46  *
47  * 2. Redistributions in binary form must reproduce the above copyright
48  *    notice, this list of conditions and the following disclaimer in
49  *    the documentation and/or other materials provided with the
50  *    distribution.
51  *
52  * 3. All advertising materials mentioning features or use of this
53  *    software must display the following acknowledgment:
54  *    "This product includes software developed by the OpenSSL Project
55  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
56  *
57  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
58  *    endorse or promote products derived from this software without
59  *    prior written permission. For written permission, please contact
60  *    openssl-core@openssl.org.
61  *
62  * 5. Products derived from this software may not be called "OpenSSL"
63  *    nor may "OpenSSL" appear in their names without prior written
64  *    permission of the OpenSSL Project.
65  *
66  * 6. Redistributions of any form whatsoever must retain the following
67  *    acknowledgment:
68  *    "This product includes software developed by the OpenSSL Project
69  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
70  *
71  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
72  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
73  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
74  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
75  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
76  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
77  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
78  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
79  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
80  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
81  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
82  * OF THE POSSIBILITY OF SUCH DAMAGE.
83  * ====================================================================
84  *
85  * This product includes cryptographic software written by Eric Young
86  * (eay@cryptsoft.com).  This product includes software written by Tim
87  * Hudson (tjh@cryptsoft.com).
88  *
89  */
90
91 #include <assert.h>
92 #include <limits.h>
93 #include <stdio.h>
94 #include "cryptlib.h"
95 #include "bn_lcl.h"
96
97 /* Maximum number of iterations before BN_GF2m_mod_solve_quad_arr should fail. */
98 #define MAX_ITERATIONS 50
99
100 static const BN_ULONG SQR_tb[16] =
101   {     0,     1,     4,     5,    16,    17,    20,    21,
102        64,    65,    68,    69,    80,    81,    84,    85 };
103 /* Platform-specific macros to accelerate squaring. */
104 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
105 #define SQR1(w) \
106     SQR_tb[(w) >> 60 & 0xF] << 56 | SQR_tb[(w) >> 56 & 0xF] << 48 | \
107     SQR_tb[(w) >> 52 & 0xF] << 40 | SQR_tb[(w) >> 48 & 0xF] << 32 | \
108     SQR_tb[(w) >> 44 & 0xF] << 24 | SQR_tb[(w) >> 40 & 0xF] << 16 | \
109     SQR_tb[(w) >> 36 & 0xF] <<  8 | SQR_tb[(w) >> 32 & 0xF]
110 #define SQR0(w) \
111     SQR_tb[(w) >> 28 & 0xF] << 56 | SQR_tb[(w) >> 24 & 0xF] << 48 | \
112     SQR_tb[(w) >> 20 & 0xF] << 40 | SQR_tb[(w) >> 16 & 0xF] << 32 | \
113     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
114     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
115 #endif
116 #ifdef THIRTY_TWO_BIT
117 #define SQR1(w) \
118     SQR_tb[(w) >> 28 & 0xF] << 24 | SQR_tb[(w) >> 24 & 0xF] << 16 | \
119     SQR_tb[(w) >> 20 & 0xF] <<  8 | SQR_tb[(w) >> 16 & 0xF]
120 #define SQR0(w) \
121     SQR_tb[(w) >> 12 & 0xF] << 24 | SQR_tb[(w) >>  8 & 0xF] << 16 | \
122     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
123 #endif
124 #ifdef SIXTEEN_BIT
125 #define SQR1(w) \
126     SQR_tb[(w) >> 12 & 0xF] <<  8 | SQR_tb[(w) >>  8 & 0xF]
127 #define SQR0(w) \
128     SQR_tb[(w) >>  4 & 0xF] <<  8 | SQR_tb[(w)       & 0xF]
129 #endif
130 #ifdef EIGHT_BIT
131 #define SQR1(w) \
132     SQR_tb[(w) >>  4 & 0xF]
133 #define SQR0(w) \
134     SQR_tb[(w)       & 15]
135 #endif
136
137 /* Product of two polynomials a, b each with degree < BN_BITS2 - 1,
138  * result is a polynomial r with degree < 2 * BN_BITS - 1
139  * The caller MUST ensure that the variables have the right amount
140  * of space allocated.
141  */
142 #ifdef EIGHT_BIT
143 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
144         {
145         register BN_ULONG h, l, s;
146         BN_ULONG tab[4], top1b = a >> 7;
147         register BN_ULONG a1, a2;
148
149         a1 = a & (0x7F); a2 = a1 << 1;
150
151         tab[0] = 0; tab[1] = a1; tab[2] = a2; tab[3] = a1^a2;
152
153         s = tab[b      & 0x3]; l  = s;
154         s = tab[b >> 2 & 0x3]; l ^= s << 2; h  = s >> 6;
155         s = tab[b >> 4 & 0x3]; l ^= s << 4; h ^= s >> 4;
156         s = tab[b >> 6      ]; l ^= s << 6; h ^= s >> 2;
157         
158         /* compensate for the top bit of a */
159
160         if (top1b & 01) { l ^= b << 7; h ^= b >> 1; } 
161
162         *r1 = h; *r0 = l;
163         } 
164 #endif
165 #ifdef SIXTEEN_BIT
166 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
167         {
168         register BN_ULONG h, l, s;
169         BN_ULONG tab[4], top1b = a >> 15; 
170         register BN_ULONG a1, a2;
171
172         a1 = a & (0x7FFF); a2 = a1 << 1;
173
174         tab[0] = 0; tab[1] = a1; tab[2] = a2; tab[3] = a1^a2;
175
176         s = tab[b      & 0x3]; l  = s;
177         s = tab[b >> 2 & 0x3]; l ^= s <<  2; h  = s >> 14;
178         s = tab[b >> 4 & 0x3]; l ^= s <<  4; h ^= s >> 12;
179         s = tab[b >> 6 & 0x3]; l ^= s <<  6; h ^= s >> 10;
180         s = tab[b >> 8 & 0x3]; l ^= s <<  8; h ^= s >>  8;
181         s = tab[b >>10 & 0x3]; l ^= s << 10; h ^= s >>  6;
182         s = tab[b >>12 & 0x3]; l ^= s << 12; h ^= s >>  4;
183         s = tab[b >>14      ]; l ^= s << 14; h ^= s >>  2;
184
185         /* compensate for the top bit of a */
186
187         if (top1b & 01) { l ^= b << 15; h ^= b >> 1; } 
188
189         *r1 = h; *r0 = l;
190         } 
191 #endif
192 #ifdef THIRTY_TWO_BIT
193 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
194         {
195         register BN_ULONG h, l, s;
196         BN_ULONG tab[8], top2b = a >> 30; 
197         register BN_ULONG a1, a2, a4;
198
199         a1 = a & (0x3FFFFFFF); a2 = a1 << 1; a4 = a2 << 1;
200
201         tab[0] =  0; tab[1] = a1;    tab[2] = a2;    tab[3] = a1^a2;
202         tab[4] = a4; tab[5] = a1^a4; tab[6] = a2^a4; tab[7] = a1^a2^a4;
203
204         s = tab[b       & 0x7]; l  = s;
205         s = tab[b >>  3 & 0x7]; l ^= s <<  3; h  = s >> 29;
206         s = tab[b >>  6 & 0x7]; l ^= s <<  6; h ^= s >> 26;
207         s = tab[b >>  9 & 0x7]; l ^= s <<  9; h ^= s >> 23;
208         s = tab[b >> 12 & 0x7]; l ^= s << 12; h ^= s >> 20;
209         s = tab[b >> 15 & 0x7]; l ^= s << 15; h ^= s >> 17;
210         s = tab[b >> 18 & 0x7]; l ^= s << 18; h ^= s >> 14;
211         s = tab[b >> 21 & 0x7]; l ^= s << 21; h ^= s >> 11;
212         s = tab[b >> 24 & 0x7]; l ^= s << 24; h ^= s >>  8;
213         s = tab[b >> 27 & 0x7]; l ^= s << 27; h ^= s >>  5;
214         s = tab[b >> 30      ]; l ^= s << 30; h ^= s >>  2;
215
216         /* compensate for the top two bits of a */
217
218         if (top2b & 01) { l ^= b << 30; h ^= b >> 2; } 
219         if (top2b & 02) { l ^= b << 31; h ^= b >> 1; } 
220
221         *r1 = h; *r0 = l;
222         } 
223 #endif
224 #if defined(SIXTY_FOUR_BIT) || defined(SIXTY_FOUR_BIT_LONG)
225 static void bn_GF2m_mul_1x1(BN_ULONG *r1, BN_ULONG *r0, const BN_ULONG a, const BN_ULONG b)
226         {
227         register BN_ULONG h, l, s;
228         BN_ULONG tab[16], top3b = a >> 61;
229         register BN_ULONG a1, a2, a4, a8;
230
231         a1 = a & (0x1FFFFFFFFFFFFFFFULL); a2 = a1 << 1; a4 = a2 << 1; a8 = a4 << 1;
232
233         tab[ 0] = 0;     tab[ 1] = a1;       tab[ 2] = a2;       tab[ 3] = a1^a2;
234         tab[ 4] = a4;    tab[ 5] = a1^a4;    tab[ 6] = a2^a4;    tab[ 7] = a1^a2^a4;
235         tab[ 8] = a8;    tab[ 9] = a1^a8;    tab[10] = a2^a8;    tab[11] = a1^a2^a8;
236         tab[12] = a4^a8; tab[13] = a1^a4^a8; tab[14] = a2^a4^a8; tab[15] = a1^a2^a4^a8;
237
238         s = tab[b       & 0xF]; l  = s;
239         s = tab[b >>  4 & 0xF]; l ^= s <<  4; h  = s >> 60;
240         s = tab[b >>  8 & 0xF]; l ^= s <<  8; h ^= s >> 56;
241         s = tab[b >> 12 & 0xF]; l ^= s << 12; h ^= s >> 52;
242         s = tab[b >> 16 & 0xF]; l ^= s << 16; h ^= s >> 48;
243         s = tab[b >> 20 & 0xF]; l ^= s << 20; h ^= s >> 44;
244         s = tab[b >> 24 & 0xF]; l ^= s << 24; h ^= s >> 40;
245         s = tab[b >> 28 & 0xF]; l ^= s << 28; h ^= s >> 36;
246         s = tab[b >> 32 & 0xF]; l ^= s << 32; h ^= s >> 32;
247         s = tab[b >> 36 & 0xF]; l ^= s << 36; h ^= s >> 28;
248         s = tab[b >> 40 & 0xF]; l ^= s << 40; h ^= s >> 24;
249         s = tab[b >> 44 & 0xF]; l ^= s << 44; h ^= s >> 20;
250         s = tab[b >> 48 & 0xF]; l ^= s << 48; h ^= s >> 16;
251         s = tab[b >> 52 & 0xF]; l ^= s << 52; h ^= s >> 12;
252         s = tab[b >> 56 & 0xF]; l ^= s << 56; h ^= s >>  8;
253         s = tab[b >> 60      ]; l ^= s << 60; h ^= s >>  4;
254
255         /* compensate for the top three bits of a */
256
257         if (top3b & 01) { l ^= b << 61; h ^= b >> 3; } 
258         if (top3b & 02) { l ^= b << 62; h ^= b >> 2; } 
259         if (top3b & 04) { l ^= b << 63; h ^= b >> 1; } 
260
261         *r1 = h; *r0 = l;
262         } 
263 #endif
264
265 /* Product of two polynomials a, b each with degree < 2 * BN_BITS2 - 1,
266  * result is a polynomial r with degree < 4 * BN_BITS2 - 1
267  * The caller MUST ensure that the variables have the right amount
268  * of space allocated.
269  */
270 static void bn_GF2m_mul_2x2(BN_ULONG *r, const BN_ULONG a1, const BN_ULONG a0, const BN_ULONG b1, const BN_ULONG b0)
271         {
272         BN_ULONG m1, m0;
273         /* r[3] = h1, r[2] = h0; r[1] = l1; r[0] = l0 */
274         bn_GF2m_mul_1x1(r+3, r+2, a1, b1);
275         bn_GF2m_mul_1x1(r+1, r, a0, b0);
276         bn_GF2m_mul_1x1(&m1, &m0, a0 ^ a1, b0 ^ b1);
277         /* Correction on m1 ^= l1 ^ h1; m0 ^= l0 ^ h0; */
278         r[2] ^= m1 ^ r[1] ^ r[3];  /* h0 ^= m1 ^ l1 ^ h1; */
279         r[1] = r[3] ^ r[2] ^ r[0] ^ m1 ^ m0;  /* l1 ^= l0 ^ h0 ^ m0; */
280         }
281
282
283 /* Add polynomials a and b and store result in r; r could be a or b, a and b 
284  * could be equal; r is the bitwise XOR of a and b.
285  */
286 int     BN_GF2m_add(BIGNUM *r, const BIGNUM *a, const BIGNUM *b)
287         {
288         int i;
289         const BIGNUM *at, *bt;
290
291         bn_check_top(a);
292         bn_check_top(b);
293
294         if (a->top < b->top) { at = b; bt = a; }
295         else { at = a; bt = b; }
296
297         if(bn_wexpand(r, at->top) == NULL)
298                 return 0;
299
300         for (i = 0; i < bt->top; i++)
301                 {
302                 r->d[i] = at->d[i] ^ bt->d[i];
303                 }
304         for (; i < at->top; i++)
305                 {
306                 r->d[i] = at->d[i];
307                 }
308         
309         r->top = at->top;
310         bn_correct_top(r);
311         
312         return 1;
313         }
314
315
316 /* Some functions allow for representation of the irreducible polynomials
317  * as an int[], say p.  The irreducible f(t) is then of the form:
318  *     t^p[0] + t^p[1] + ... + t^p[k]
319  * where m = p[0] > p[1] > ... > p[k] = 0.
320  */
321
322
323 /* Performs modular reduction of a and store result in r.  r could be a. */
324 int BN_GF2m_mod_arr(BIGNUM *r, const BIGNUM *a, const unsigned int p[])
325         {
326         int j, k;
327         int n, dN, d0, d1;
328         BN_ULONG zz, *z;
329
330         bn_check_top(a);
331
332         if (!p[0])
333                 {
334                 /* reduction mod 1 => return 0 */
335                 BN_zero(r);
336                 return 1;
337                 }
338
339         /* Since the algorithm does reduction in the r value, if a != r, copy
340          * the contents of a into r so we can do reduction in r. 
341          */
342         if (a != r)
343                 {
344                 if (!bn_wexpand(r, a->top)) return 0;
345                 for (j = 0; j < a->top; j++)
346                         {
347                         r->d[j] = a->d[j];
348                         }
349                 r->top = a->top;
350                 }
351         z = r->d;
352
353         /* start reduction */
354         dN = p[0] / BN_BITS2;  
355         for (j = r->top - 1; j > dN;)
356                 {
357                 zz = z[j];
358                 if (z[j] == 0) { j--; continue; }
359                 z[j] = 0;
360
361                 for (k = 1; p[k] != 0; k++)
362                         {
363                         /* reducing component t^p[k] */
364                         n = p[0] - p[k];
365                         d0 = n % BN_BITS2;  d1 = BN_BITS2 - d0;
366                         n /= BN_BITS2; 
367                         z[j-n] ^= (zz>>d0);
368                         if (d0) z[j-n-1] ^= (zz<<d1);
369                         }
370
371                 /* reducing component t^0 */
372                 n = dN;  
373                 d0 = p[0] % BN_BITS2;
374                 d1 = BN_BITS2 - d0;
375                 z[j-n] ^= (zz >> d0);
376                 if (d0) z[j-n-1] ^= (zz << d1);
377                 }
378
379         /* final round of reduction */
380         while (j == dN)
381                 {
382
383                 d0 = p[0] % BN_BITS2;
384                 zz = z[dN] >> d0;
385                 if (zz == 0) break;
386                 d1 = BN_BITS2 - d0;
387                 
388                 /* clear up the top d1 bits */
389                 if (d0)
390                         z[dN] = (z[dN] << d1) >> d1;
391                 else
392                         z[dN] = 0;
393                 z[0] ^= zz; /* reduction t^0 component */
394
395                 for (k = 1; p[k] != 0; k++)
396                         {
397                         BN_ULONG tmp_ulong;
398
399                         /* reducing component t^p[k]*/
400                         n = p[k] / BN_BITS2;   
401                         d0 = p[k] % BN_BITS2;
402                         d1 = BN_BITS2 - d0;
403                         z[n] ^= (zz << d0);
404                         tmp_ulong = zz >> d1;
405                         if (d0 && tmp_ulong)
406                                 z[n+1] ^= tmp_ulong;
407                         }
408
409                 
410                 }
411
412         bn_correct_top(r);
413         return 1;
414         }
415
416 /* Performs modular reduction of a by p and store result in r.  r could be a.
417  *
418  * This function calls down to the BN_GF2m_mod_arr implementation; this wrapper
419  * function is only provided for convenience; for best performance, use the 
420  * BN_GF2m_mod_arr function.
421  */
422 int     BN_GF2m_mod(BIGNUM *r, const BIGNUM *a, const BIGNUM *p)
423         {
424         int ret = 0;
425         const int max = BN_num_bits(p);
426         unsigned int *arr=NULL;
427         bn_check_top(a);
428         bn_check_top(p);
429         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
430         ret = BN_GF2m_poly2arr(p, arr, max);
431         if (!ret || ret > max)
432                 {
433                 BNerr(BN_F_BN_GF2M_MOD,BN_R_INVALID_LENGTH);
434                 goto err;
435                 }
436         ret = BN_GF2m_mod_arr(r, a, arr);
437         bn_check_top(r);
438 err:
439         if (arr) OPENSSL_free(arr);
440         return ret;
441         }
442
443
444 /* Compute the product of two polynomials a and b, reduce modulo p, and store
445  * the result in r.  r could be a or b; a could be b.
446  */
447 int     BN_GF2m_mod_mul_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const unsigned int p[], BN_CTX *ctx)
448         {
449         int zlen, i, j, k, ret = 0;
450         BIGNUM *s;
451         BN_ULONG x1, x0, y1, y0, zz[4];
452
453         bn_check_top(a);
454         bn_check_top(b);
455
456         if (a == b)
457                 {
458                 return BN_GF2m_mod_sqr_arr(r, a, p, ctx);
459                 }
460
461         BN_CTX_start(ctx);
462         if ((s = BN_CTX_get(ctx)) == NULL) goto err;
463         
464         zlen = a->top + b->top + 4;
465         if (!bn_wexpand(s, zlen)) goto err;
466         s->top = zlen;
467
468         for (i = 0; i < zlen; i++) s->d[i] = 0;
469
470         for (j = 0; j < b->top; j += 2)
471                 {
472                 y0 = b->d[j];
473                 y1 = ((j+1) == b->top) ? 0 : b->d[j+1];
474                 for (i = 0; i < a->top; i += 2)
475                         {
476                         x0 = a->d[i];
477                         x1 = ((i+1) == a->top) ? 0 : a->d[i+1];
478                         bn_GF2m_mul_2x2(zz, x1, x0, y1, y0);
479                         for (k = 0; k < 4; k++) s->d[i+j+k] ^= zz[k];
480                         }
481                 }
482
483         bn_correct_top(s);
484         if (BN_GF2m_mod_arr(r, s, p))
485                 ret = 1;
486         bn_check_top(r);
487
488 err:
489         BN_CTX_end(ctx);
490         return ret;
491         }
492
493 /* Compute the product of two polynomials a and b, reduce modulo p, and store
494  * the result in r.  r could be a or b; a could equal b.
495  *
496  * This function calls down to the BN_GF2m_mod_mul_arr implementation; this wrapper
497  * function is only provided for convenience; for best performance, use the 
498  * BN_GF2m_mod_mul_arr function.
499  */
500 int     BN_GF2m_mod_mul(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
501         {
502         int ret = 0;
503         const int max = BN_num_bits(p);
504         unsigned int *arr=NULL;
505         bn_check_top(a);
506         bn_check_top(b);
507         bn_check_top(p);
508         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
509         ret = BN_GF2m_poly2arr(p, arr, max);
510         if (!ret || ret > max)
511                 {
512                 BNerr(BN_F_BN_GF2M_MOD_MUL,BN_R_INVALID_LENGTH);
513                 goto err;
514                 }
515         ret = BN_GF2m_mod_mul_arr(r, a, b, arr, ctx);
516         bn_check_top(r);
517 err:
518         if (arr) OPENSSL_free(arr);
519         return ret;
520         }
521
522
523 /* Square a, reduce the result mod p, and store it in a.  r could be a. */
524 int     BN_GF2m_mod_sqr_arr(BIGNUM *r, const BIGNUM *a, const unsigned int p[], BN_CTX *ctx)
525         {
526         int i, ret = 0;
527         BIGNUM *s;
528
529         bn_check_top(a);
530         BN_CTX_start(ctx);
531         if ((s = BN_CTX_get(ctx)) == NULL) return 0;
532         if (!bn_wexpand(s, 2 * a->top)) goto err;
533
534         for (i = a->top - 1; i >= 0; i--)
535                 {
536                 s->d[2*i+1] = SQR1(a->d[i]);
537                 s->d[2*i  ] = SQR0(a->d[i]);
538                 }
539
540         s->top = 2 * a->top;
541         bn_correct_top(s);
542         if (!BN_GF2m_mod_arr(r, s, p)) goto err;
543         bn_check_top(r);
544         ret = 1;
545 err:
546         BN_CTX_end(ctx);
547         return ret;
548         }
549
550 /* Square a, reduce the result mod p, and store it in a.  r could be a.
551  *
552  * This function calls down to the BN_GF2m_mod_sqr_arr implementation; this wrapper
553  * function is only provided for convenience; for best performance, use the 
554  * BN_GF2m_mod_sqr_arr function.
555  */
556 int     BN_GF2m_mod_sqr(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
557         {
558         int ret = 0;
559         const int max = BN_num_bits(p);
560         unsigned int *arr=NULL;
561
562         bn_check_top(a);
563         bn_check_top(p);
564         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
565         ret = BN_GF2m_poly2arr(p, arr, max);
566         if (!ret || ret > max)
567                 {
568                 BNerr(BN_F_BN_GF2M_MOD_SQR,BN_R_INVALID_LENGTH);
569                 goto err;
570                 }
571         ret = BN_GF2m_mod_sqr_arr(r, a, arr, ctx);
572         bn_check_top(r);
573 err:
574         if (arr) OPENSSL_free(arr);
575         return ret;
576         }
577
578
579 /* Invert a, reduce modulo p, and store the result in r. r could be a. 
580  * Uses Modified Almost Inverse Algorithm (Algorithm 10) from
581  *     Hankerson, D., Hernandez, J.L., and Menezes, A.  "Software Implementation
582  *     of Elliptic Curve Cryptography Over Binary Fields".
583  */
584 int BN_GF2m_mod_inv(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
585         {
586         BIGNUM *b, *c, *u, *v, *tmp;
587         int ret = 0;
588
589         bn_check_top(a);
590         bn_check_top(p);
591
592         BN_CTX_start(ctx);
593         
594         b = BN_CTX_get(ctx);
595         c = BN_CTX_get(ctx);
596         u = BN_CTX_get(ctx);
597         v = BN_CTX_get(ctx);
598         if (v == NULL) goto err;
599
600         if (!BN_one(b)) goto err;
601         if (!BN_GF2m_mod(u, a, p)) goto err;
602         if (!BN_copy(v, p)) goto err;
603
604         if (BN_is_zero(u)) goto err;
605
606         while (1)
607                 {
608                 while (!BN_is_odd(u))
609                         {
610                         if (BN_is_zero(u)) goto err;
611                         if (!BN_rshift1(u, u)) goto err;
612                         if (BN_is_odd(b))
613                                 {
614                                 if (!BN_GF2m_add(b, b, p)) goto err;
615                                 }
616                         if (!BN_rshift1(b, b)) goto err;
617                         }
618
619                 if (BN_abs_is_word(u, 1)) break;
620
621                 if (BN_num_bits(u) < BN_num_bits(v))
622                         {
623                         tmp = u; u = v; v = tmp;
624                         tmp = b; b = c; c = tmp;
625                         }
626                 
627                 if (!BN_GF2m_add(u, u, v)) goto err;
628                 if (!BN_GF2m_add(b, b, c)) goto err;
629                 }
630
631
632         if (!BN_copy(r, b)) goto err;
633         bn_check_top(r);
634         ret = 1;
635
636 err:
637         BN_CTX_end(ctx);
638         return ret;
639         }
640
641 /* Invert xx, reduce modulo p, and store the result in r. r could be xx. 
642  *
643  * This function calls down to the BN_GF2m_mod_inv implementation; this wrapper
644  * function is only provided for convenience; for best performance, use the 
645  * BN_GF2m_mod_inv function.
646  */
647 int BN_GF2m_mod_inv_arr(BIGNUM *r, const BIGNUM *xx, const unsigned int p[], BN_CTX *ctx)
648         {
649         BIGNUM *field;
650         int ret = 0;
651
652         bn_check_top(xx);
653         BN_CTX_start(ctx);
654         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
655         if (!BN_GF2m_arr2poly(p, field)) goto err;
656         
657         ret = BN_GF2m_mod_inv(r, xx, field, ctx);
658         bn_check_top(r);
659
660 err:
661         BN_CTX_end(ctx);
662         return ret;
663         }
664
665
666 #ifndef OPENSSL_SUN_GF2M_DIV
667 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
668  * or y, x could equal y.
669  */
670 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
671         {
672         BIGNUM *xinv = NULL;
673         int ret = 0;
674
675         bn_check_top(y);
676         bn_check_top(x);
677         bn_check_top(p);
678
679         BN_CTX_start(ctx);
680         xinv = BN_CTX_get(ctx);
681         if (xinv == NULL) goto err;
682         
683         if (!BN_GF2m_mod_inv(xinv, x, p, ctx)) goto err;
684         if (!BN_GF2m_mod_mul(r, y, xinv, p, ctx)) goto err;
685         bn_check_top(r);
686         ret = 1;
687
688 err:
689         BN_CTX_end(ctx);
690         return ret;
691         }
692 #else
693 /* Divide y by x, reduce modulo p, and store the result in r. r could be x 
694  * or y, x could equal y.
695  * Uses algorithm Modular_Division_GF(2^m) from 
696  *     Chang-Shantz, S.  "From Euclid's GCD to Montgomery Multiplication to 
697  *     the Great Divide".
698  */
699 int BN_GF2m_mod_div(BIGNUM *r, const BIGNUM *y, const BIGNUM *x, const BIGNUM *p, BN_CTX *ctx)
700         {
701         BIGNUM *a, *b, *u, *v;
702         int ret = 0;
703
704         bn_check_top(y);
705         bn_check_top(x);
706         bn_check_top(p);
707
708         BN_CTX_start(ctx);
709         
710         a = BN_CTX_get(ctx);
711         b = BN_CTX_get(ctx);
712         u = BN_CTX_get(ctx);
713         v = BN_CTX_get(ctx);
714         if (v == NULL) goto err;
715
716         /* reduce x and y mod p */
717         if (!BN_GF2m_mod(u, y, p)) goto err;
718         if (!BN_GF2m_mod(a, x, p)) goto err;
719         if (!BN_copy(b, p)) goto err;
720         
721         while (!BN_is_odd(a))
722                 {
723                 if (!BN_rshift1(a, a)) goto err;
724                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
725                 if (!BN_rshift1(u, u)) goto err;
726                 }
727
728         do
729                 {
730                 if (BN_GF2m_cmp(b, a) > 0)
731                         {
732                         if (!BN_GF2m_add(b, b, a)) goto err;
733                         if (!BN_GF2m_add(v, v, u)) goto err;
734                         do
735                                 {
736                                 if (!BN_rshift1(b, b)) goto err;
737                                 if (BN_is_odd(v)) if (!BN_GF2m_add(v, v, p)) goto err;
738                                 if (!BN_rshift1(v, v)) goto err;
739                                 } while (!BN_is_odd(b));
740                         }
741                 else if (BN_abs_is_word(a, 1))
742                         break;
743                 else
744                         {
745                         if (!BN_GF2m_add(a, a, b)) goto err;
746                         if (!BN_GF2m_add(u, u, v)) goto err;
747                         do
748                                 {
749                                 if (!BN_rshift1(a, a)) goto err;
750                                 if (BN_is_odd(u)) if (!BN_GF2m_add(u, u, p)) goto err;
751                                 if (!BN_rshift1(u, u)) goto err;
752                                 } while (!BN_is_odd(a));
753                         }
754                 } while (1);
755
756         if (!BN_copy(r, u)) goto err;
757         bn_check_top(r);
758         ret = 1;
759
760 err:
761         BN_CTX_end(ctx);
762         return ret;
763         }
764 #endif
765
766 /* Divide yy by xx, reduce modulo p, and store the result in r. r could be xx 
767  * or yy, xx could equal yy.
768  *
769  * This function calls down to the BN_GF2m_mod_div implementation; this wrapper
770  * function is only provided for convenience; for best performance, use the 
771  * BN_GF2m_mod_div function.
772  */
773 int BN_GF2m_mod_div_arr(BIGNUM *r, const BIGNUM *yy, const BIGNUM *xx, const unsigned int p[], BN_CTX *ctx)
774         {
775         BIGNUM *field;
776         int ret = 0;
777
778         bn_check_top(yy);
779         bn_check_top(xx);
780
781         BN_CTX_start(ctx);
782         if ((field = BN_CTX_get(ctx)) == NULL) goto err;
783         if (!BN_GF2m_arr2poly(p, field)) goto err;
784         
785         ret = BN_GF2m_mod_div(r, yy, xx, field, ctx);
786         bn_check_top(r);
787
788 err:
789         BN_CTX_end(ctx);
790         return ret;
791         }
792
793
794 /* Compute the bth power of a, reduce modulo p, and store
795  * the result in r.  r could be a.
796  * Uses simple square-and-multiply algorithm A.5.1 from IEEE P1363.
797  */
798 int     BN_GF2m_mod_exp_arr(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const unsigned int p[], BN_CTX *ctx)
799         {
800         int ret = 0, i, n;
801         BIGNUM *u;
802
803         bn_check_top(a);
804         bn_check_top(b);
805
806         if (BN_is_zero(b))
807                 return(BN_one(r));
808
809         if (BN_abs_is_word(b, 1))
810                 return (BN_copy(r, a) != NULL);
811
812         BN_CTX_start(ctx);
813         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
814         
815         if (!BN_GF2m_mod_arr(u, a, p)) goto err;
816         
817         n = BN_num_bits(b) - 1;
818         for (i = n - 1; i >= 0; i--)
819                 {
820                 if (!BN_GF2m_mod_sqr_arr(u, u, p, ctx)) goto err;
821                 if (BN_is_bit_set(b, i))
822                         {
823                         if (!BN_GF2m_mod_mul_arr(u, u, a, p, ctx)) goto err;
824                         }
825                 }
826         if (!BN_copy(r, u)) goto err;
827         bn_check_top(r);
828         ret = 1;
829 err:
830         BN_CTX_end(ctx);
831         return ret;
832         }
833
834 /* Compute the bth power of a, reduce modulo p, and store
835  * the result in r.  r could be a.
836  *
837  * This function calls down to the BN_GF2m_mod_exp_arr implementation; this wrapper
838  * function is only provided for convenience; for best performance, use the 
839  * BN_GF2m_mod_exp_arr function.
840  */
841 int BN_GF2m_mod_exp(BIGNUM *r, const BIGNUM *a, const BIGNUM *b, const BIGNUM *p, BN_CTX *ctx)
842         {
843         int ret = 0;
844         const int max = BN_num_bits(p);
845         unsigned int *arr=NULL;
846         bn_check_top(a);
847         bn_check_top(b);
848         bn_check_top(p);
849         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
850         ret = BN_GF2m_poly2arr(p, arr, max);
851         if (!ret || ret > max)
852                 {
853                 BNerr(BN_F_BN_GF2M_MOD_EXP,BN_R_INVALID_LENGTH);
854                 goto err;
855                 }
856         ret = BN_GF2m_mod_exp_arr(r, a, b, arr, ctx);
857         bn_check_top(r);
858 err:
859         if (arr) OPENSSL_free(arr);
860         return ret;
861         }
862
863 /* Compute the square root of a, reduce modulo p, and store
864  * the result in r.  r could be a.
865  * Uses exponentiation as in algorithm A.4.1 from IEEE P1363.
866  */
867 int     BN_GF2m_mod_sqrt_arr(BIGNUM *r, const BIGNUM *a, const unsigned int p[], BN_CTX *ctx)
868         {
869         int ret = 0;
870         BIGNUM *u;
871
872         bn_check_top(a);
873
874         if (!p[0])
875                 {
876                 /* reduction mod 1 => return 0 */
877                 BN_zero(r);
878                 return 1;
879                 }
880
881         BN_CTX_start(ctx);
882         if ((u = BN_CTX_get(ctx)) == NULL) goto err;
883         
884         if (!BN_set_bit(u, p[0] - 1)) goto err;
885         ret = BN_GF2m_mod_exp_arr(r, a, u, p, ctx);
886         bn_check_top(r);
887
888 err:
889         BN_CTX_end(ctx);
890         return ret;
891         }
892
893 /* Compute the square root of a, reduce modulo p, and store
894  * the result in r.  r could be a.
895  *
896  * This function calls down to the BN_GF2m_mod_sqrt_arr implementation; this wrapper
897  * function is only provided for convenience; for best performance, use the 
898  * BN_GF2m_mod_sqrt_arr function.
899  */
900 int BN_GF2m_mod_sqrt(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
901         {
902         int ret = 0;
903         const int max = BN_num_bits(p);
904         unsigned int *arr=NULL;
905         bn_check_top(a);
906         bn_check_top(p);
907         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) * max)) == NULL) goto err;
908         ret = BN_GF2m_poly2arr(p, arr, max);
909         if (!ret || ret > max)
910                 {
911                 BNerr(BN_F_BN_GF2M_MOD_SQRT,BN_R_INVALID_LENGTH);
912                 goto err;
913                 }
914         ret = BN_GF2m_mod_sqrt_arr(r, a, arr, ctx);
915         bn_check_top(r);
916 err:
917         if (arr) OPENSSL_free(arr);
918         return ret;
919         }
920
921 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
922  * Uses algorithms A.4.7 and A.4.6 from IEEE P1363.
923  */
924 int BN_GF2m_mod_solve_quad_arr(BIGNUM *r, const BIGNUM *a_, const unsigned int p[], BN_CTX *ctx)
925         {
926         int ret = 0, count = 0;
927         unsigned int j;
928         BIGNUM *a, *z, *rho, *w, *w2, *tmp;
929
930         bn_check_top(a_);
931
932         if (!p[0])
933                 {
934                 /* reduction mod 1 => return 0 */
935                 BN_zero(r);
936                 return 1;
937                 }
938
939         BN_CTX_start(ctx);
940         a = BN_CTX_get(ctx);
941         z = BN_CTX_get(ctx);
942         w = BN_CTX_get(ctx);
943         if (w == NULL) goto err;
944
945         if (!BN_GF2m_mod_arr(a, a_, p)) goto err;
946         
947         if (BN_is_zero(a))
948                 {
949                 BN_zero(r);
950                 ret = 1;
951                 goto err;
952                 }
953
954         if (p[0] & 0x1) /* m is odd */
955                 {
956                 /* compute half-trace of a */
957                 if (!BN_copy(z, a)) goto err;
958                 for (j = 1; j <= (p[0] - 1) / 2; j++)
959                         {
960                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
961                         if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
962                         if (!BN_GF2m_add(z, z, a)) goto err;
963                         }
964                 
965                 }
966         else /* m is even */
967                 {
968                 rho = BN_CTX_get(ctx);
969                 w2 = BN_CTX_get(ctx);
970                 tmp = BN_CTX_get(ctx);
971                 if (tmp == NULL) goto err;
972                 do
973                         {
974                         if (!BN_rand(rho, p[0], 0, 0)) goto err;
975                         if (!BN_GF2m_mod_arr(rho, rho, p)) goto err;
976                         BN_zero(z);
977                         if (!BN_copy(w, rho)) goto err;
978                         for (j = 1; j <= p[0] - 1; j++)
979                                 {
980                                 if (!BN_GF2m_mod_sqr_arr(z, z, p, ctx)) goto err;
981                                 if (!BN_GF2m_mod_sqr_arr(w2, w, p, ctx)) goto err;
982                                 if (!BN_GF2m_mod_mul_arr(tmp, w2, a, p, ctx)) goto err;
983                                 if (!BN_GF2m_add(z, z, tmp)) goto err;
984                                 if (!BN_GF2m_add(w, w2, rho)) goto err;
985                                 }
986                         count++;
987                         } while (BN_is_zero(w) && (count < MAX_ITERATIONS));
988                 if (BN_is_zero(w))
989                         {
990                         BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR,BN_R_TOO_MANY_ITERATIONS);
991                         goto err;
992                         }
993                 }
994         
995         if (!BN_GF2m_mod_sqr_arr(w, z, p, ctx)) goto err;
996         if (!BN_GF2m_add(w, z, w)) goto err;
997         if (BN_GF2m_cmp(w, a))
998                 {
999                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD_ARR, BN_R_NO_SOLUTION);
1000                 goto err;
1001                 }
1002
1003         if (!BN_copy(r, z)) goto err;
1004         bn_check_top(r);
1005
1006         ret = 1;
1007
1008 err:
1009         BN_CTX_end(ctx);
1010         return ret;
1011         }
1012
1013 /* Find r such that r^2 + r = a mod p.  r could be a. If no r exists returns 0.
1014  *
1015  * This function calls down to the BN_GF2m_mod_solve_quad_arr implementation; this wrapper
1016  * function is only provided for convenience; for best performance, use the 
1017  * BN_GF2m_mod_solve_quad_arr function.
1018  */
1019 int BN_GF2m_mod_solve_quad(BIGNUM *r, const BIGNUM *a, const BIGNUM *p, BN_CTX *ctx)
1020         {
1021         int ret = 0;
1022         const int max = BN_num_bits(p);
1023         unsigned int *arr=NULL;
1024         bn_check_top(a);
1025         bn_check_top(p);
1026         if ((arr = (unsigned int *)OPENSSL_malloc(sizeof(unsigned int) *
1027                                                 max)) == NULL) goto err;
1028         ret = BN_GF2m_poly2arr(p, arr, max);
1029         if (!ret || ret > max)
1030                 {
1031                 BNerr(BN_F_BN_GF2M_MOD_SOLVE_QUAD,BN_R_INVALID_LENGTH);
1032                 goto err;
1033                 }
1034         ret = BN_GF2m_mod_solve_quad_arr(r, a, arr, ctx);
1035         bn_check_top(r);
1036 err:
1037         if (arr) OPENSSL_free(arr);
1038         return ret;
1039         }
1040
1041 /* Convert the bit-string representation of a polynomial
1042  * ( \sum_{i=0}^n a_i * x^i , where a_0 is *not* zero) into an array
1043  * of integers corresponding to the bits with non-zero coefficient.
1044  * Up to max elements of the array will be filled.  Return value is total
1045  * number of coefficients that would be extracted if array was large enough.
1046  */
1047 int BN_GF2m_poly2arr(const BIGNUM *a, unsigned int p[], int max)
1048         {
1049         int i, j, k = 0;
1050         BN_ULONG mask;
1051
1052         if (BN_is_zero(a) || !BN_is_bit_set(a, 0))
1053                 /* a_0 == 0 => return error (the unsigned int array
1054                  * must be terminated by 0)
1055                  */
1056                 return 0;
1057
1058         for (i = a->top - 1; i >= 0; i--)
1059                 {
1060                 if (!a->d[i])
1061                         /* skip word if a->d[i] == 0 */
1062                         continue;
1063                 mask = BN_TBIT;
1064                 for (j = BN_BITS2 - 1; j >= 0; j--)
1065                         {
1066                         if (a->d[i] & mask) 
1067                                 {
1068                                 if (k < max) p[k] = BN_BITS2 * i + j;
1069                                 k++;
1070                                 }
1071                         mask >>= 1;
1072                         }
1073                 }
1074
1075         return k;
1076         }
1077
1078 /* Convert the coefficient array representation of a polynomial to a 
1079  * bit-string.  The array must be terminated by 0.
1080  */
1081 int BN_GF2m_arr2poly(const unsigned int p[], BIGNUM *a)
1082         {
1083         int i;
1084
1085         bn_check_top(a);
1086         BN_zero(a);
1087         for (i = 0; p[i] != 0; i++)
1088                 {
1089                 if (BN_set_bit(a, p[i]) == 0)
1090                         return 0;
1091                 }
1092         BN_set_bit(a, 0);
1093         bn_check_top(a);
1094
1095         return 1;
1096         }
1097