sys/dev/if_wg/module/crypto/zinc/poly1305/poly1305-arm64.pl

   1 #!/usr/bin/env perl
   2 # SPDX-License-Identifier: GPL-2.0 OR BSD-3-Clause
   3 #
   4 # This code is taken from the OpenSSL project but the author, Andy Polyakov,
   5 # has relicensed it under the licenses specified in the SPDX header above.
   6 # The original headers, including the original license headers, are
   7 # included below for completeness.
   8 #
   9 # ====================================================================
  10 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
  11 # project. The module is, however, dual licensed under OpenSSL and
  12 # CRYPTOGAMS licenses depending on where you obtain it. For further
  13 # details see http://www.openssl.org/~appro/cryptogams/.
  14 # ====================================================================
  15 #
  16 # This module implements Poly1305 hash for ARMv8.
  17 #
  18 # June 2015
  19 #
  20 # Numbers are cycles per processed byte with poly1305_blocks alone.
  21 #
  22 #               IALU/gcc-4.9    NEON
  23 #
  24 # Apple A7      1.86/+5%        0.72
  25 # Cortex-A53    2.69/+58%       1.47
  26 # Cortex-A57    2.70/+7%        1.14
  27 # Denver        1.64/+50%       1.18(*)
  28 # X-Gene        2.13/+68%       2.27
  29 # Mongoose      1.77/+75%       1.12
  30 # Kryo          2.70/+55%       1.13
  31 #
  32 # (*)   estimate based on resources availability is less than 1.0,
  33 #       i.e. measured result is worse than expected, presumably binary
  34 #       translator is not almighty;
  35
  36 $flavour=shift;
  37 if ($flavour=~/\w[\w\-]*\.\w+$/) { $output=$flavour; undef $flavour; }
  38 else { while (($output=shift) && ($output!~/\w[\w\-]*\.\w+$/)) {} }
  39
  40 if ($flavour && $flavour ne "void") {
  41     $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  42     ( $xlate="${dir}arm-xlate.pl" and -f $xlate ) or
  43     ( $xlate="${dir}../../perlasm/arm-xlate.pl" and -f $xlate) or
  44     die "can't locate arm-xlate.pl";
  45
  46     open STDOUT,"| \"$^X\" $xlate $flavour $output";
  47 } else {
  48     open STDOUT,">$output";
  49 }
  50
  51 my ($ctx,$inp,$len,$padbit) = map("x$_",(0..3));
  52 my ($mac,$nonce)=($inp,$len);
  53
  54 my ($h0,$h1,$h2,$r0,$r1,$s1,$t0,$t1,$d0,$d1,$d2) = map("x$_",(4..14));
  55
  56 $code.=<<___;
  57 #ifndef __KERNEL__
  58 # include "arm_arch.h"
  59 .extern OPENSSL_armcap_P
  60 #else
  61 # define poly1305_init   poly1305_init_arm
  62 # define poly1305_blocks poly1305_blocks_arm
  63 # define poly1305_emit   poly1305_emit_arm
  64 #endif
  65
  66 .text
  67
  68 // forward "declarations" are required for Apple
  69 .globl  poly1305_blocks
  70 .globl  poly1305_emit
  71 .globl  poly1305_init
  72 .type   poly1305_init,%function
  73 .align  5
  74 poly1305_init:
  75         cmp     $inp,xzr
  76         stp     xzr,xzr,[$ctx]          // zero hash value
  77         stp     xzr,xzr,[$ctx,#16]      // [along with is_base2_26]
  78
  79         csel    x0,xzr,x0,eq
  80         b.eq    .Lno_key
  81
  82 #ifndef __KERNEL__
  83 # ifdef __ILP32__
  84         ldrsw   $t1,.LOPENSSL_armcap_P
  85 # else
  86         ldr     $t1,.LOPENSSL_armcap_P
  87 # endif
  88         adr     $t0,.LOPENSSL_armcap_P
  89         ldr     w17,[$t0,$t1]
  90 #endif
  91
  92         ldp     $r0,$r1,[$inp]          // load key
  93         mov     $s1,#0xfffffffc0fffffff
  94         movk    $s1,#0x0fff,lsl#48
  95 #ifdef  __AARCH64EB__
  96         rev     $r0,$r0                 // flip bytes
  97         rev     $r1,$r1
  98 #endif
  99         and     $r0,$r0,$s1             // &=0ffffffc0fffffff
 100         and     $s1,$s1,#-4
 101         and     $r1,$r1,$s1             // &=0ffffffc0ffffffc
 102         stp     $r0,$r1,[$ctx,#32]      // save key value
 103
 104 #ifndef __KERNEL__
 105         tst     w17,#ARMV7_NEON
 106
 107         adr     $d0,poly1305_blocks
 108         adr     $r0,poly1305_blocks_neon
 109         adr     $d1,poly1305_emit
 110         adr     $r1,poly1305_emit_neon
 111
 112         csel    $d0,$d0,$r0,eq
 113         csel    $d1,$d1,$r1,eq
 114
 115 # ifdef __ILP32__
 116         stp     w12,w13,[$len]
 117 # else
 118         stp     $d0,$d1,[$len]
 119 # endif
 120
 121         mov     x0,#1
 122 #else
 123         mov     x0,#0
 124 #endif
 125 .Lno_key:
 126         ret
 127 .size   poly1305_init,.-poly1305_init
 128
 129 .type   poly1305_blocks,%function
 130 .align  5
 131 poly1305_blocks:
 132         ands    $len,$len,#-16
 133         b.eq    .Lno_data
 134
 135         ldp     $h0,$h1,[$ctx]          // load hash value
 136         ldp     $r0,$r1,[$ctx,#32]      // load key value
 137         ldr     $h2,[$ctx,#16]
 138         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 139         b       .Loop
 140
 141 .align  5
 142 .Loop:
 143         ldp     $t0,$t1,[$inp],#16      // load input
 144         sub     $len,$len,#16
 145 #ifdef  __AARCH64EB__
 146         rev     $t0,$t0
 147         rev     $t1,$t1
 148 #endif
 149         adds    $h0,$h0,$t0             // accumulate input
 150         adcs    $h1,$h1,$t1
 151
 152         mul     $d0,$h0,$r0             // h0*r0
 153         adc     $h2,$h2,$padbit
 154         umulh   $d1,$h0,$r0
 155
 156         mul     $t0,$h1,$s1             // h1*5*r1
 157         umulh   $t1,$h1,$s1
 158
 159         adds    $d0,$d0,$t0
 160         mul     $t0,$h0,$r1             // h0*r1
 161         adc     $d1,$d1,$t1
 162         umulh   $d2,$h0,$r1
 163
 164         adds    $d1,$d1,$t0
 165         mul     $t0,$h1,$r0             // h1*r0
 166         adc     $d2,$d2,xzr
 167         umulh   $t1,$h1,$r0
 168
 169         adds    $d1,$d1,$t0
 170         mul     $t0,$h2,$s1             // h2*5*r1
 171         adc     $d2,$d2,$t1
 172         mul     $t1,$h2,$r0             // h2*r0
 173
 174         adds    $d1,$d1,$t0
 175         adc     $d2,$d2,$t1
 176
 177         and     $t0,$d2,#-4             // final reduction
 178         and     $h2,$d2,#3
 179         add     $t0,$t0,$d2,lsr#2
 180         adds    $h0,$d0,$t0
 181         adcs    $h1,$d1,xzr
 182         adc     $h2,$h2,xzr
 183
 184         cbnz    $len,.Loop
 185
 186         stp     $h0,$h1,[$ctx]          // store hash value
 187         str     $h2,[$ctx,#16]
 188
 189 .Lno_data:
 190         ret
 191 .size   poly1305_blocks,.-poly1305_blocks
 192
 193 .type   poly1305_emit,%function
 194 .align  5
 195 poly1305_emit:
 196         ldp     $h0,$h1,[$ctx]          // load hash base 2^64
 197         ldr     $h2,[$ctx,#16]
 198         ldp     $t0,$t1,[$nonce]        // load nonce
 199
 200         adds    $d0,$h0,#5              // compare to modulus
 201         adcs    $d1,$h1,xzr
 202         adc     $d2,$h2,xzr
 203
 204         tst     $d2,#-4                 // see if it's carried/borrowed
 205
 206         csel    $h0,$h0,$d0,eq
 207         csel    $h1,$h1,$d1,eq
 208
 209 #ifdef  __AARCH64EB__
 210         ror     $t0,$t0,#32             // flip nonce words
 211         ror     $t1,$t1,#32
 212 #endif
 213         adds    $h0,$h0,$t0             // accumulate nonce
 214         adc     $h1,$h1,$t1
 215 #ifdef  __AARCH64EB__
 216         rev     $h0,$h0                 // flip output bytes
 217         rev     $h1,$h1
 218 #endif
 219         stp     $h0,$h1,[$mac]          // write result
 220
 221         ret
 222 .size   poly1305_emit,.-poly1305_emit
 223 ___
 224 my ($R0,$R1,$S1,$R2,$S2,$R3,$S3,$R4,$S4) = map("v$_.4s",(0..8));
 225 my ($IN01_0,$IN01_1,$IN01_2,$IN01_3,$IN01_4) = map("v$_.2s",(9..13));
 226 my ($IN23_0,$IN23_1,$IN23_2,$IN23_3,$IN23_4) = map("v$_.2s",(14..18));
 227 my ($ACC0,$ACC1,$ACC2,$ACC3,$ACC4) = map("v$_.2d",(19..23));
 228 my ($H0,$H1,$H2,$H3,$H4) = map("v$_.2s",(24..28));
 229 my ($T0,$T1,$MASK) = map("v$_",(29..31));
 230
 231 my ($in2,$zeros)=("x16","x17");
 232 my $is_base2_26 = $zeros;               # borrow
 233
 234 $code.=<<___;
 235 .type   __poly1305_mult,%function
 236 .align  5
 237 __poly1305_mult:
 238         mul     $d0,$h0,$r0             // h0*r0
 239         umulh   $d1,$h0,$r0
 240
 241         mul     $t0,$h1,$s1             // h1*5*r1
 242         umulh   $t1,$h1,$s1
 243
 244         adds    $d0,$d0,$t0
 245         mul     $t0,$h0,$r1             // h0*r1
 246         adc     $d1,$d1,$t1
 247         umulh   $d2,$h0,$r1
 248
 249         adds    $d1,$d1,$t0
 250         mul     $t0,$h1,$r0             // h1*r0
 251         adc     $d2,$d2,xzr
 252         umulh   $t1,$h1,$r0
 253
 254         adds    $d1,$d1,$t0
 255         mul     $t0,$h2,$s1             // h2*5*r1
 256         adc     $d2,$d2,$t1
 257         mul     $t1,$h2,$r0             // h2*r0
 258
 259         adds    $d1,$d1,$t0
 260         adc     $d2,$d2,$t1
 261
 262         and     $t0,$d2,#-4             // final reduction
 263         and     $h2,$d2,#3
 264         add     $t0,$t0,$d2,lsr#2
 265         adds    $h0,$d0,$t0
 266         adcs    $h1,$d1,xzr
 267         adc     $h2,$h2,xzr
 268
 269         ret
 270 .size   __poly1305_mult,.-__poly1305_mult
 271
 272 .type   __poly1305_splat,%function
 273 .align  5
 274 __poly1305_splat:
 275         and     x12,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 276         ubfx    x13,$h0,#26,#26
 277         extr    x14,$h1,$h0,#52
 278         and     x14,x14,#0x03ffffff
 279         ubfx    x15,$h1,#14,#26
 280         extr    x16,$h2,$h1,#40
 281
 282         str     w12,[$ctx,#16*0]        // r0
 283         add     w12,w13,w13,lsl#2       // r1*5
 284         str     w13,[$ctx,#16*1]        // r1
 285         add     w13,w14,w14,lsl#2       // r2*5
 286         str     w12,[$ctx,#16*2]        // s1
 287         str     w14,[$ctx,#16*3]        // r2
 288         add     w14,w15,w15,lsl#2       // r3*5
 289         str     w13,[$ctx,#16*4]        // s2
 290         str     w15,[$ctx,#16*5]        // r3
 291         add     w15,w16,w16,lsl#2       // r4*5
 292         str     w14,[$ctx,#16*6]        // s3
 293         str     w16,[$ctx,#16*7]        // r4
 294         str     w15,[$ctx,#16*8]        // s4
 295
 296         ret
 297 .size   __poly1305_splat,.-__poly1305_splat
 298
 299 #if !defined(__KERNEL__) || defined(CONFIG_KERNEL_MODE_NEON)
 300 #ifdef  __KERNEL__
 301 .globl  poly1305_blocks_neon
 302 .globl  poly1305_emit_neon
 303 #endif
 304
 305 .type   poly1305_blocks_neon,%function
 306 .align  5
 307 poly1305_blocks_neon:
 308         ldr     $is_base2_26,[$ctx,#24]
 309         cmp     $len,#128
 310         b.hs    .Lblocks_neon
 311         cbz     $is_base2_26,poly1305_blocks
 312
 313 .Lblocks_neon:
 314         stp     x29,x30,[sp,#-80]!
 315         add     x29,sp,#0
 316
 317         ands    $len,$len,#-16
 318         b.eq    .Lno_data_neon
 319
 320         cbz     $is_base2_26,.Lbase2_64_neon
 321
 322         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 323         ldp     w12,w13,[$ctx,#8]
 324         ldr     w14,[$ctx,#16]
 325
 326         tst     $len,#31
 327         b.eq    .Leven_neon
 328
 329         ldp     $r0,$r1,[$ctx,#32]      // load key value
 330
 331         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 332         lsr     $h1,x12,#12
 333         adds    $h0,$h0,x12,lsl#52
 334         add     $h1,$h1,x13,lsl#14
 335         adc     $h1,$h1,xzr
 336         lsr     $h2,x14,#24
 337         adds    $h1,$h1,x14,lsl#40
 338         adc     $d2,$h2,xzr             // can be partially reduced...
 339
 340         ldp     $d0,$d1,[$inp],#16      // load input
 341         sub     $len,$len,#16
 342         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 343
 344         and     $t0,$d2,#-4             // ... so reduce
 345         and     $h2,$d2,#3
 346         add     $t0,$t0,$d2,lsr#2
 347         adds    $h0,$h0,$t0
 348         adcs    $h1,$h1,xzr
 349         adc     $h2,$h2,xzr
 350
 351 #ifdef  __AARCH64EB__
 352         rev     $d0,$d0
 353         rev     $d1,$d1
 354 #endif
 355         adds    $h0,$h0,$d0             // accumulate input
 356         adcs    $h1,$h1,$d1
 357         adc     $h2,$h2,$padbit
 358
 359         bl      __poly1305_mult
 360         ldr     x30,[sp,#8]
 361
 362         cbz     $padbit,.Lstore_base2_64_neon
 363
 364         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 365         ubfx    x11,$h0,#26,#26
 366         extr    x12,$h1,$h0,#52
 367         and     x12,x12,#0x03ffffff
 368         ubfx    x13,$h1,#14,#26
 369         extr    x14,$h2,$h1,#40
 370
 371         cbnz    $len,.Leven_neon
 372
 373         stp     w10,w11,[$ctx]          // store hash value base 2^26
 374         stp     w12,w13,[$ctx,#8]
 375         str     w14,[$ctx,#16]
 376         b       .Lno_data_neon
 377
 378 .align  4
 379 .Lstore_base2_64_neon:
 380         stp     $h0,$h1,[$ctx]          // store hash value base 2^64
 381         stp     $h2,xzr,[$ctx,#16]      // note that is_base2_26 is zeroed
 382         b       .Lno_data_neon
 383
 384 .align  4
 385 .Lbase2_64_neon:
 386         ldp     $r0,$r1,[$ctx,#32]      // load key value
 387
 388         ldp     $h0,$h1,[$ctx]          // load hash value base 2^64
 389         ldr     $h2,[$ctx,#16]
 390
 391         tst     $len,#31
 392         b.eq    .Linit_neon
 393
 394         ldp     $d0,$d1,[$inp],#16      // load input
 395         sub     $len,$len,#16
 396         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 397 #ifdef  __AARCH64EB__
 398         rev     $d0,$d0
 399         rev     $d1,$d1
 400 #endif
 401         adds    $h0,$h0,$d0             // accumulate input
 402         adcs    $h1,$h1,$d1
 403         adc     $h2,$h2,$padbit
 404
 405         bl      __poly1305_mult
 406
 407 .Linit_neon:
 408         and     x10,$h0,#0x03ffffff     // base 2^64 -> base 2^26
 409         ubfx    x11,$h0,#26,#26
 410         extr    x12,$h1,$h0,#52
 411         and     x12,x12,#0x03ffffff
 412         ubfx    x13,$h1,#14,#26
 413         extr    x14,$h2,$h1,#40
 414
 415         stp     d8,d9,[sp,#16]          // meet ABI requirements
 416         stp     d10,d11,[sp,#32]
 417         stp     d12,d13,[sp,#48]
 418         stp     d14,d15,[sp,#64]
 419
 420         fmov    ${H0},x10
 421         fmov    ${H1},x11
 422         fmov    ${H2},x12
 423         fmov    ${H3},x13
 424         fmov    ${H4},x14
 425
 426         ////////////////////////////////// initialize r^n table
 427         mov     $h0,$r0                 // r^1
 428         add     $s1,$r1,$r1,lsr#2       // s1 = r1 + (r1 >> 2)
 429         mov     $h1,$r1
 430         mov     $h2,xzr
 431         add     $ctx,$ctx,#48+12
 432         bl      __poly1305_splat
 433
 434         bl      __poly1305_mult         // r^2
 435         sub     $ctx,$ctx,#4
 436         bl      __poly1305_splat
 437
 438         bl      __poly1305_mult         // r^3
 439         sub     $ctx,$ctx,#4
 440         bl      __poly1305_splat
 441
 442         bl      __poly1305_mult         // r^4
 443         sub     $ctx,$ctx,#4
 444         bl      __poly1305_splat
 445         ldr     x30,[sp,#8]
 446
 447         add     $in2,$inp,#32
 448         adr     $zeros,.Lzeros
 449         subs    $len,$len,#64
 450         csel    $in2,$zeros,$in2,lo
 451
 452         mov     x4,#1
 453         str     x4,[$ctx,#-24]          // set is_base2_26
 454         sub     $ctx,$ctx,#48           // restore original $ctx
 455         b       .Ldo_neon
 456
 457 .align  4
 458 .Leven_neon:
 459         add     $in2,$inp,#32
 460         adr     $zeros,.Lzeros
 461         subs    $len,$len,#64
 462         csel    $in2,$zeros,$in2,lo
 463
 464         stp     d8,d9,[sp,#16]          // meet ABI requirements
 465         stp     d10,d11,[sp,#32]
 466         stp     d12,d13,[sp,#48]
 467         stp     d14,d15,[sp,#64]
 468
 469         fmov    ${H0},x10
 470         fmov    ${H1},x11
 471         fmov    ${H2},x12
 472         fmov    ${H3},x13
 473         fmov    ${H4},x14
 474
 475 .Ldo_neon:
 476         ldp     x8,x12,[$in2],#16       // inp[2:3] (or zero)
 477         ldp     x9,x13,[$in2],#48
 478
 479         lsl     $padbit,$padbit,#24
 480         add     x15,$ctx,#48
 481
 482 #ifdef  __AARCH64EB__
 483         rev     x8,x8
 484         rev     x12,x12
 485         rev     x9,x9
 486         rev     x13,x13
 487 #endif
 488         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 489         and     x5,x9,#0x03ffffff
 490         ubfx    x6,x8,#26,#26
 491         ubfx    x7,x9,#26,#26
 492         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 493         extr    x8,x12,x8,#52
 494         extr    x9,x13,x9,#52
 495         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 496         fmov    $IN23_0,x4
 497         and     x8,x8,#0x03ffffff
 498         and     x9,x9,#0x03ffffff
 499         ubfx    x10,x12,#14,#26
 500         ubfx    x11,x13,#14,#26
 501         add     x12,$padbit,x12,lsr#40
 502         add     x13,$padbit,x13,lsr#40
 503         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 504         fmov    $IN23_1,x6
 505         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 506         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 507         fmov    $IN23_2,x8
 508         fmov    $IN23_3,x10
 509         fmov    $IN23_4,x12
 510
 511         ldp     x8,x12,[$inp],#16       // inp[0:1]
 512         ldp     x9,x13,[$inp],#48
 513
 514         ld1     {$R0,$R1,$S1,$R2},[x15],#64
 515         ld1     {$S2,$R3,$S3,$R4},[x15],#64
 516         ld1     {$S4},[x15]
 517
 518 #ifdef  __AARCH64EB__
 519         rev     x8,x8
 520         rev     x12,x12
 521         rev     x9,x9
 522         rev     x13,x13
 523 #endif
 524         and     x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 525         and     x5,x9,#0x03ffffff
 526         ubfx    x6,x8,#26,#26
 527         ubfx    x7,x9,#26,#26
 528         add     x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 529         extr    x8,x12,x8,#52
 530         extr    x9,x13,x9,#52
 531         add     x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 532         fmov    $IN01_0,x4
 533         and     x8,x8,#0x03ffffff
 534         and     x9,x9,#0x03ffffff
 535         ubfx    x10,x12,#14,#26
 536         ubfx    x11,x13,#14,#26
 537         add     x12,$padbit,x12,lsr#40
 538         add     x13,$padbit,x13,lsr#40
 539         add     x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 540         fmov    $IN01_1,x6
 541         add     x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 542         add     x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 543         movi    $MASK.2d,#-1
 544         fmov    $IN01_2,x8
 545         fmov    $IN01_3,x10
 546         fmov    $IN01_4,x12
 547         ushr    $MASK.2d,$MASK.2d,#38
 548
 549         b.ls    .Lskip_loop
 550
 551 .align  4
 552 .Loop_neon:
 553         ////////////////////////////////////////////////////////////////
 554         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2
 555         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^3+inp[7]*r
 556         //   \___________________/
 557         // ((inp[0]*r^4+inp[2]*r^2+inp[4])*r^4+inp[6]*r^2+inp[8])*r^2
 558         // ((inp[1]*r^4+inp[3]*r^2+inp[5])*r^4+inp[7]*r^2+inp[9])*r
 559         //   \___________________/ \____________________/
 560         //
 561         // Note that we start with inp[2:3]*r^2. This is because it
 562         // doesn't depend on reduction in previous iteration.
 563         ////////////////////////////////////////////////////////////////
 564         // d4 = h0*r4 + h1*r3   + h2*r2   + h3*r1   + h4*r0
 565         // d3 = h0*r3 + h1*r2   + h2*r1   + h3*r0   + h4*5*r4
 566         // d2 = h0*r2 + h1*r1   + h2*r0   + h3*5*r4 + h4*5*r3
 567         // d1 = h0*r1 + h1*r0   + h2*5*r4 + h3*5*r3 + h4*5*r2
 568         // d0 = h0*r0 + h1*5*r4 + h2*5*r3 + h3*5*r2 + h4*5*r1
 569
 570         subs    $len,$len,#64
 571         umull   $ACC4,$IN23_0,${R4}[2]
 572         csel    $in2,$zeros,$in2,lo
 573         umull   $ACC3,$IN23_0,${R3}[2]
 574         umull   $ACC2,$IN23_0,${R2}[2]
 575          ldp    x8,x12,[$in2],#16       // inp[2:3] (or zero)
 576         umull   $ACC1,$IN23_0,${R1}[2]
 577          ldp    x9,x13,[$in2],#48
 578         umull   $ACC0,$IN23_0,${R0}[2]
 579 #ifdef  __AARCH64EB__
 580          rev    x8,x8
 581          rev    x12,x12
 582          rev    x9,x9
 583          rev    x13,x13
 584 #endif
 585
 586         umlal   $ACC4,$IN23_1,${R3}[2]
 587          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 588         umlal   $ACC3,$IN23_1,${R2}[2]
 589          and    x5,x9,#0x03ffffff
 590         umlal   $ACC2,$IN23_1,${R1}[2]
 591          ubfx   x6,x8,#26,#26
 592         umlal   $ACC1,$IN23_1,${R0}[2]
 593          ubfx   x7,x9,#26,#26
 594         umlal   $ACC0,$IN23_1,${S4}[2]
 595          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 596
 597         umlal   $ACC4,$IN23_2,${R2}[2]
 598          extr   x8,x12,x8,#52
 599         umlal   $ACC3,$IN23_2,${R1}[2]
 600          extr   x9,x13,x9,#52
 601         umlal   $ACC2,$IN23_2,${R0}[2]
 602          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 603         umlal   $ACC1,$IN23_2,${S4}[2]
 604          fmov   $IN23_0,x4
 605         umlal   $ACC0,$IN23_2,${S3}[2]
 606          and    x8,x8,#0x03ffffff
 607
 608         umlal   $ACC4,$IN23_3,${R1}[2]
 609          and    x9,x9,#0x03ffffff
 610         umlal   $ACC3,$IN23_3,${R0}[2]
 611          ubfx   x10,x12,#14,#26
 612         umlal   $ACC2,$IN23_3,${S4}[2]
 613          ubfx   x11,x13,#14,#26
 614         umlal   $ACC1,$IN23_3,${S3}[2]
 615          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 616         umlal   $ACC0,$IN23_3,${S2}[2]
 617          fmov   $IN23_1,x6
 618
 619         add     $IN01_2,$IN01_2,$H2
 620          add    x12,$padbit,x12,lsr#40
 621         umlal   $ACC4,$IN23_4,${R0}[2]
 622          add    x13,$padbit,x13,lsr#40
 623         umlal   $ACC3,$IN23_4,${S4}[2]
 624          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 625         umlal   $ACC2,$IN23_4,${S3}[2]
 626          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 627         umlal   $ACC1,$IN23_4,${S2}[2]
 628          fmov   $IN23_2,x8
 629         umlal   $ACC0,$IN23_4,${S1}[2]
 630          fmov   $IN23_3,x10
 631
 632         ////////////////////////////////////////////////////////////////
 633         // (hash+inp[0:1])*r^4 and accumulate
 634
 635         add     $IN01_0,$IN01_0,$H0
 636          fmov   $IN23_4,x12
 637         umlal   $ACC3,$IN01_2,${R1}[0]
 638          ldp    x8,x12,[$inp],#16       // inp[0:1]
 639         umlal   $ACC0,$IN01_2,${S3}[0]
 640          ldp    x9,x13,[$inp],#48
 641         umlal   $ACC4,$IN01_2,${R2}[0]
 642         umlal   $ACC1,$IN01_2,${S4}[0]
 643         umlal   $ACC2,$IN01_2,${R0}[0]
 644 #ifdef  __AARCH64EB__
 645          rev    x8,x8
 646          rev    x12,x12
 647          rev    x9,x9
 648          rev    x13,x13
 649 #endif
 650
 651         add     $IN01_1,$IN01_1,$H1
 652         umlal   $ACC3,$IN01_0,${R3}[0]
 653         umlal   $ACC4,$IN01_0,${R4}[0]
 654          and    x4,x8,#0x03ffffff       // base 2^64 -> base 2^26
 655         umlal   $ACC2,$IN01_0,${R2}[0]
 656          and    x5,x9,#0x03ffffff
 657         umlal   $ACC0,$IN01_0,${R0}[0]
 658          ubfx   x6,x8,#26,#26
 659         umlal   $ACC1,$IN01_0,${R1}[0]
 660          ubfx   x7,x9,#26,#26
 661
 662         add     $IN01_3,$IN01_3,$H3
 663          add    x4,x4,x5,lsl#32         // bfi  x4,x5,#32,#32
 664         umlal   $ACC3,$IN01_1,${R2}[0]
 665          extr   x8,x12,x8,#52
 666         umlal   $ACC4,$IN01_1,${R3}[0]
 667          extr   x9,x13,x9,#52
 668         umlal   $ACC0,$IN01_1,${S4}[0]
 669          add    x6,x6,x7,lsl#32         // bfi  x6,x7,#32,#32
 670         umlal   $ACC2,$IN01_1,${R1}[0]
 671          fmov   $IN01_0,x4
 672         umlal   $ACC1,$IN01_1,${R0}[0]
 673          and    x8,x8,#0x03ffffff
 674
 675         add     $IN01_4,$IN01_4,$H4
 676          and    x9,x9,#0x03ffffff
 677         umlal   $ACC3,$IN01_3,${R0}[0]
 678          ubfx   x10,x12,#14,#26
 679         umlal   $ACC0,$IN01_3,${S2}[0]
 680          ubfx   x11,x13,#14,#26
 681         umlal   $ACC4,$IN01_3,${R1}[0]
 682          add    x8,x8,x9,lsl#32         // bfi  x8,x9,#32,#32
 683         umlal   $ACC1,$IN01_3,${S3}[0]
 684          fmov   $IN01_1,x6
 685         umlal   $ACC2,$IN01_3,${S4}[0]
 686          add    x12,$padbit,x12,lsr#40
 687
 688         umlal   $ACC3,$IN01_4,${S4}[0]
 689          add    x13,$padbit,x13,lsr#40
 690         umlal   $ACC0,$IN01_4,${S1}[0]
 691          add    x10,x10,x11,lsl#32      // bfi  x10,x11,#32,#32
 692         umlal   $ACC4,$IN01_4,${R0}[0]
 693          add    x12,x12,x13,lsl#32      // bfi  x12,x13,#32,#32
 694         umlal   $ACC1,$IN01_4,${S2}[0]
 695          fmov   $IN01_2,x8
 696         umlal   $ACC2,$IN01_4,${S3}[0]
 697          fmov   $IN01_3,x10
 698          fmov   $IN01_4,x12
 699
 700         /////////////////////////////////////////////////////////////////
 701         // lazy reduction as discussed in "NEON crypto" by D.J. Bernstein
 702         // and P. Schwabe
 703         //
 704         // [see discussion in poly1305-armv4 module]
 705
 706         ushr    $T0.2d,$ACC3,#26
 707         xtn     $H3,$ACC3
 708          ushr   $T1.2d,$ACC0,#26
 709          and    $ACC0,$ACC0,$MASK.2d
 710         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 711         bic     $H3,#0xfc,lsl#24        // &=0x03ffffff
 712          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 713
 714         ushr    $T0.2d,$ACC4,#26
 715         xtn     $H4,$ACC4
 716          ushr   $T1.2d,$ACC1,#26
 717          xtn    $H1,$ACC1
 718         bic     $H4,#0xfc,lsl#24
 719          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 720
 721         add     $ACC0,$ACC0,$T0.2d
 722         shl     $T0.2d,$T0.2d,#2
 723          shrn   $T1.2s,$ACC2,#26
 724          xtn    $H2,$ACC2
 725         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 726          bic    $H1,#0xfc,lsl#24
 727          add    $H3,$H3,$T1.2s          // h2 -> h3
 728          bic    $H2,#0xfc,lsl#24
 729
 730         shrn    $T0.2s,$ACC0,#26
 731         xtn     $H0,$ACC0
 732          ushr   $T1.2s,$H3,#26
 733          bic    $H3,#0xfc,lsl#24
 734          bic    $H0,#0xfc,lsl#24
 735         add     $H1,$H1,$T0.2s          // h0 -> h1
 736          add    $H4,$H4,$T1.2s          // h3 -> h4
 737
 738         b.hi    .Loop_neon
 739
 740 .Lskip_loop:
 741         dup     $IN23_2,${IN23_2}[0]
 742         add     $IN01_2,$IN01_2,$H2
 743
 744         ////////////////////////////////////////////////////////////////
 745         // multiply (inp[0:1]+hash) or inp[2:3] by r^2:r^1
 746
 747         adds    $len,$len,#32
 748         b.ne    .Long_tail
 749
 750         dup     $IN23_2,${IN01_2}[0]
 751         add     $IN23_0,$IN01_0,$H0
 752         add     $IN23_3,$IN01_3,$H3
 753         add     $IN23_1,$IN01_1,$H1
 754         add     $IN23_4,$IN01_4,$H4
 755
 756 .Long_tail:
 757         dup     $IN23_0,${IN23_0}[0]
 758         umull2  $ACC0,$IN23_2,${S3}
 759         umull2  $ACC3,$IN23_2,${R1}
 760         umull2  $ACC4,$IN23_2,${R2}
 761         umull2  $ACC2,$IN23_2,${R0}
 762         umull2  $ACC1,$IN23_2,${S4}
 763
 764         dup     $IN23_1,${IN23_1}[0]
 765         umlal2  $ACC0,$IN23_0,${R0}
 766         umlal2  $ACC2,$IN23_0,${R2}
 767         umlal2  $ACC3,$IN23_0,${R3}
 768         umlal2  $ACC4,$IN23_0,${R4}
 769         umlal2  $ACC1,$IN23_0,${R1}
 770
 771         dup     $IN23_3,${IN23_3}[0]
 772         umlal2  $ACC0,$IN23_1,${S4}
 773         umlal2  $ACC3,$IN23_1,${R2}
 774         umlal2  $ACC2,$IN23_1,${R1}
 775         umlal2  $ACC4,$IN23_1,${R3}
 776         umlal2  $ACC1,$IN23_1,${R0}
 777
 778         dup     $IN23_4,${IN23_4}[0]
 779         umlal2  $ACC3,$IN23_3,${R0}
 780         umlal2  $ACC4,$IN23_3,${R1}
 781         umlal2  $ACC0,$IN23_3,${S2}
 782         umlal2  $ACC1,$IN23_3,${S3}
 783         umlal2  $ACC2,$IN23_3,${S4}
 784
 785         umlal2  $ACC3,$IN23_4,${S4}
 786         umlal2  $ACC0,$IN23_4,${S1}
 787         umlal2  $ACC4,$IN23_4,${R0}
 788         umlal2  $ACC1,$IN23_4,${S2}
 789         umlal2  $ACC2,$IN23_4,${S3}
 790
 791         b.eq    .Lshort_tail
 792
 793         ////////////////////////////////////////////////////////////////
 794         // (hash+inp[0:1])*r^4:r^3 and accumulate
 795
 796         add     $IN01_0,$IN01_0,$H0
 797         umlal   $ACC3,$IN01_2,${R1}
 798         umlal   $ACC0,$IN01_2,${S3}
 799         umlal   $ACC4,$IN01_2,${R2}
 800         umlal   $ACC1,$IN01_2,${S4}
 801         umlal   $ACC2,$IN01_2,${R0}
 802
 803         add     $IN01_1,$IN01_1,$H1
 804         umlal   $ACC3,$IN01_0,${R3}
 805         umlal   $ACC0,$IN01_0,${R0}
 806         umlal   $ACC4,$IN01_0,${R4}
 807         umlal   $ACC1,$IN01_0,${R1}
 808         umlal   $ACC2,$IN01_0,${R2}
 809
 810         add     $IN01_3,$IN01_3,$H3
 811         umlal   $ACC3,$IN01_1,${R2}
 812         umlal   $ACC0,$IN01_1,${S4}
 813         umlal   $ACC4,$IN01_1,${R3}
 814         umlal   $ACC1,$IN01_1,${R0}
 815         umlal   $ACC2,$IN01_1,${R1}
 816
 817         add     $IN01_4,$IN01_4,$H4
 818         umlal   $ACC3,$IN01_3,${R0}
 819         umlal   $ACC0,$IN01_3,${S2}
 820         umlal   $ACC4,$IN01_3,${R1}
 821         umlal   $ACC1,$IN01_3,${S3}
 822         umlal   $ACC2,$IN01_3,${S4}
 823
 824         umlal   $ACC3,$IN01_4,${S4}
 825         umlal   $ACC0,$IN01_4,${S1}
 826         umlal   $ACC4,$IN01_4,${R0}
 827         umlal   $ACC1,$IN01_4,${S2}
 828         umlal   $ACC2,$IN01_4,${S3}
 829
 830 .Lshort_tail:
 831         ////////////////////////////////////////////////////////////////
 832         // horizontal add
 833
 834         addp    $ACC3,$ACC3,$ACC3
 835          ldp    d8,d9,[sp,#16]          // meet ABI requirements
 836         addp    $ACC0,$ACC0,$ACC0
 837          ldp    d10,d11,[sp,#32]
 838         addp    $ACC4,$ACC4,$ACC4
 839          ldp    d12,d13,[sp,#48]
 840         addp    $ACC1,$ACC1,$ACC1
 841          ldp    d14,d15,[sp,#64]
 842         addp    $ACC2,$ACC2,$ACC2
 843
 844         ////////////////////////////////////////////////////////////////
 845         // lazy reduction, but without narrowing
 846
 847         ushr    $T0.2d,$ACC3,#26
 848         and     $ACC3,$ACC3,$MASK.2d
 849          ushr   $T1.2d,$ACC0,#26
 850          and    $ACC0,$ACC0,$MASK.2d
 851
 852         add     $ACC4,$ACC4,$T0.2d      // h3 -> h4
 853          add    $ACC1,$ACC1,$T1.2d      // h0 -> h1
 854
 855         ushr    $T0.2d,$ACC4,#26
 856         and     $ACC4,$ACC4,$MASK.2d
 857          ushr   $T1.2d,$ACC1,#26
 858          and    $ACC1,$ACC1,$MASK.2d
 859          add    $ACC2,$ACC2,$T1.2d      // h1 -> h2
 860
 861         add     $ACC0,$ACC0,$T0.2d
 862         shl     $T0.2d,$T0.2d,#2
 863          ushr   $T1.2d,$ACC2,#26
 864          and    $ACC2,$ACC2,$MASK.2d
 865         add     $ACC0,$ACC0,$T0.2d      // h4 -> h0
 866          add    $ACC3,$ACC3,$T1.2d      // h2 -> h3
 867
 868         ushr    $T0.2d,$ACC0,#26
 869         and     $ACC0,$ACC0,$MASK.2d
 870          ushr   $T1.2d,$ACC3,#26
 871          and    $ACC3,$ACC3,$MASK.2d
 872         add     $ACC1,$ACC1,$T0.2d      // h0 -> h1
 873          add    $ACC4,$ACC4,$T1.2d      // h3 -> h4
 874
 875         ////////////////////////////////////////////////////////////////
 876         // write the result, can be partially reduced
 877
 878         st4     {$ACC0,$ACC1,$ACC2,$ACC3}[0],[$ctx],#16
 879         st1     {$ACC4}[0],[$ctx]
 880
 881 .Lno_data_neon:
 882         ldr     x29,[sp],#80
 883         ret
 884 .size   poly1305_blocks_neon,.-poly1305_blocks_neon
 885
 886 .type   poly1305_emit_neon,%function
 887 .align  5
 888 poly1305_emit_neon:
 889         ldr     $is_base2_26,[$ctx,#24]
 890         cbz     $is_base2_26,poly1305_emit
 891
 892         ldp     w10,w11,[$ctx]          // load hash value base 2^26
 893         ldp     w12,w13,[$ctx,#8]
 894         ldr     w14,[$ctx,#16]
 895
 896         add     $h0,x10,x11,lsl#26      // base 2^26 -> base 2^64
 897         lsr     $h1,x12,#12
 898         adds    $h0,$h0,x12,lsl#52
 899         add     $h1,$h1,x13,lsl#14
 900         adc     $h1,$h1,xzr
 901         lsr     $h2,x14,#24
 902         adds    $h1,$h1,x14,lsl#40
 903         adc     $h2,$h2,xzr             // can be partially reduced...
 904
 905         ldp     $t0,$t1,[$nonce]        // load nonce
 906
 907         and     $d0,$h2,#-4             // ... so reduce
 908         add     $d0,$d0,$h2,lsr#2
 909         and     $h2,$h2,#3
 910         adds    $h0,$h0,$d0
 911         adcs    $h1,$h1,xzr
 912         adc     $h2,$h2,xzr
 913
 914         adds    $d0,$h0,#5              // compare to modulus
 915         adcs    $d1,$h1,xzr
 916         adc     $d2,$h2,xzr
 917
 918         tst     $d2,#-4                 // see if it's carried/borrowed
 919
 920         csel    $h0,$h0,$d0,eq
 921         csel    $h1,$h1,$d1,eq
 922
 923 #ifdef  __AARCH64EB__
 924         ror     $t0,$t0,#32             // flip nonce words
 925         ror     $t1,$t1,#32
 926 #endif
 927         adds    $h0,$h0,$t0             // accumulate nonce
 928         adc     $h1,$h1,$t1
 929 #ifdef  __AARCH64EB__
 930         rev     $h0,$h0                 // flip output bytes
 931         rev     $h1,$h1
 932 #endif
 933         stp     $h0,$h1,[$mac]          // write result
 934
 935         ret
 936 .size   poly1305_emit_neon,.-poly1305_emit_neon
 937 #endif
 938
 939 .align  5
 940 .Lzeros:
 941 .long   0,0,0,0,0,0,0,0
 942 #ifndef __KERNEL__
 943 .LOPENSSL_armcap_P:
 944 #ifdef  __ILP32__
 945 .long   OPENSSL_armcap_P-.
 946 #else
 947 .quad   OPENSSL_armcap_P-.
 948 #endif
 949 #endif
 950 .align  2
 951 ___
 952
 953 open SELF,$0;
 954 while(<SELF>) {
 955         next if (/^#!/);
 956         last if (!s/^#/\/\// and !/^$/);
 957         print;
 958 }
 959 close SELF;
 960
 961 foreach (split("\n",$code)) {
 962         s/\b(shrn\s+v[0-9]+)\.[24]d/$1.2s/                      or
 963         s/\b(fmov\s+)v([0-9]+)[^,]*,\s*x([0-9]+)/$1d$2,x$3/     or
 964         (m/\bdup\b/ and (s/\.[24]s/.2d/g or 1))                 or
 965         (m/\b(eor|and)/ and (s/\.[248][sdh]/.16b/g or 1))       or
 966         (m/\bum(ul|la)l\b/ and (s/\.4s/.2s/g or 1))             or
 967         (m/\bum(ul|la)l2\b/ and (s/\.2s/.4s/g or 1))            or
 968         (m/\bst[1-4]\s+{[^}]+}\[/ and (s/\.[24]d/.s/g or 1));
 969
 970         s/\.[124]([sd])\[/.$1\[/;
 971
 972         print $_,"\n";
 973 }
 974 close STDOUT;