sys/dev/if_wg/module/blake2s.c

   1 // SPDX-License-Identifier: GPL-2.0 OR MIT
   2 /*
   3  * Copyright (C) 2012 Samuel Neves <sneves@dei.uc.pt>. All Rights Reserved.
   4  * Copyright (C) 2015-2019 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved.
   5  *
   6  * This is an implementation of the BLAKE2s hash and PRF functions.
   7  *
   8  * Information: https://blake2.net/
   9  *
  10  */
  11
  12 #include <sys/types.h>
  13 #include <sys/systm.h>
  14 #include <sys/endian.h>
  15
  16 #include <crypto/blake2s.h>
  17
  18 static inline uint32_t
  19 ror32(uint32_t word, unsigned int shift)
  20 {
  21         return (word >> shift) | (word << (32 - shift));
  22 }
  23
  24 typedef union {
  25         struct {
  26                 uint8_t digest_length;
  27                 uint8_t key_length;
  28                 uint8_t fanout;
  29                 uint8_t depth;
  30                 uint32_t leaf_length;
  31                 uint32_t node_offset;
  32                 uint16_t xof_length;
  33                 uint8_t node_depth;
  34                 uint8_t inner_length;
  35                 uint8_t salt[8];
  36                 uint8_t personal[8];
  37         };
  38         uint32_t words[8];
  39 } __packed blake2s_param;
  40
  41 static const uint32_t blake2s_iv[8] = {
  42         0x6A09E667UL, 0xBB67AE85UL, 0x3C6EF372UL, 0xA54FF53AUL,
  43         0x510E527FUL, 0x9B05688CUL, 0x1F83D9ABUL, 0x5BE0CD19UL
  44 };
  45
  46 static const uint8_t blake2s_sigma[10][16] = {
  47         { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15 },
  48         { 14, 10, 4, 8, 9, 15, 13, 6, 1, 12, 0, 2, 11, 7, 5, 3 },
  49         { 11, 8, 12, 0, 5, 2, 15, 13, 10, 14, 3, 6, 7, 1, 9, 4 },
  50         { 7, 9, 3, 1, 13, 12, 11, 14, 2, 6, 5, 10, 4, 0, 15, 8 },
  51         { 9, 0, 5, 7, 2, 4, 10, 15, 14, 1, 11, 12, 6, 8, 3, 13 },
  52         { 2, 12, 6, 10, 0, 11, 8, 3, 4, 13, 7, 5, 15, 14, 1, 9 },
  53         { 12, 5, 1, 15, 14, 13, 4, 10, 0, 7, 6, 3, 9, 2, 8, 11 },
  54         { 13, 11, 7, 14, 12, 1, 3, 9, 5, 0, 15, 4, 8, 6, 2, 10 },
  55         { 6, 15, 14, 9, 11, 3, 0, 8, 12, 2, 13, 7, 1, 4, 10, 5 },
  56         { 10, 2, 8, 4, 7, 6, 1, 5, 15, 11, 9, 14, 3, 12, 13, 0 },
  57 };
  58
  59 static inline void blake2s_set_lastblock(struct blake2s_state *state)
  60 {
  61         if (state->last_node)
  62                 state->f[1] = -1;
  63         state->f[0] = -1;
  64 }
  65
  66 static inline void blake2s_increment_counter(struct blake2s_state *state,
  67                                              const uint32_t inc)
  68 {
  69         state->t[0] += inc;
  70         state->t[1] += (state->t[0] < inc);
  71 }
  72
  73 static inline void blake2s_init_param(struct blake2s_state *state,
  74                                       const blake2s_param *param)
  75 {
  76         int i;
  77
  78         memset(state, 0, sizeof(*state));
  79         for (i = 0; i < 8; ++i)
  80                 state->h[i] = blake2s_iv[i] ^ le32toh(param->words[i]);
  81 }
  82
  83 void blake2s_init(struct blake2s_state *state, const size_t outlen)
  84 {
  85         blake2s_param param __aligned(__alignof__(uint32_t)) = {
  86                 .digest_length = outlen,
  87                 .fanout = 1,
  88                 .depth = 1
  89         };
  90
  91         /*WARN_ON(IS_ENABLED(DEBUG) && (!outlen || outlen > BLAKE2S_HASH_SIZE));*/
  92         blake2s_init_param(state, &param);
  93 }
  94
  95 void blake2s_init_key(struct blake2s_state *state, const size_t outlen,
  96                       const void *key, const size_t keylen)
  97 {
  98         blake2s_param param = { .digest_length = outlen,
  99                                 .key_length = keylen,
 100                                 .fanout = 1,
 101                                 .depth = 1 };
 102         uint8_t block[BLAKE2S_BLOCK_SIZE] = { 0 };
 103
 104         /*WARN_ON(IS_ENABLED(DEBUG) && (!outlen || outlen > BLAKE2S_HASH_SIZE ||
 105                 !key || !keylen || keylen > BLAKE2S_KEY_SIZE));*/
 106         blake2s_init_param(state, &param);
 107         memcpy(block, key, keylen);
 108         blake2s_update(state, block, BLAKE2S_BLOCK_SIZE);
 109         explicit_bzero(block, BLAKE2S_BLOCK_SIZE);
 110 }
 111
 112 static inline void blake2s_compress(struct blake2s_state *state,
 113                                     const uint8_t *block, size_t nblocks,
 114                                     const uint32_t inc)
 115 {
 116         uint32_t m[16];
 117         uint32_t v[16];
 118         int i;
 119
 120         /*WARN_ON(IS_ENABLED(DEBUG) &&
 121                 (nblocks > 1 && inc != BLAKE2S_BLOCK_SIZE));*/
 122
 123         while (nblocks > 0) {
 124                 blake2s_increment_counter(state, inc);
 125                 memcpy(m, block, BLAKE2S_BLOCK_SIZE);
 126                 for(i = 0; i < (sizeof(m)/sizeof(m[0])); i++)
 127                         (m[i]) = le32toh((m[i]));
 128                 memcpy(v, state->h, 32);
 129                 v[ 8] = blake2s_iv[0];
 130                 v[ 9] = blake2s_iv[1];
 131                 v[10] = blake2s_iv[2];
 132                 v[11] = blake2s_iv[3];
 133                 v[12] = blake2s_iv[4] ^ state->t[0];
 134                 v[13] = blake2s_iv[5] ^ state->t[1];
 135                 v[14] = blake2s_iv[6] ^ state->f[0];
 136                 v[15] = blake2s_iv[7] ^ state->f[1];
 137
 138 #define G(r, i, a, b, c, d) do { \
 139         a += b + m[blake2s_sigma[r][2 * i + 0]]; \
 140         d = ror32(d ^ a, 16); \
 141         c += d; \
 142         b = ror32(b ^ c, 12); \
 143         a += b + m[blake2s_sigma[r][2 * i + 1]]; \
 144         d = ror32(d ^ a, 8); \
 145         c += d; \
 146         b = ror32(b ^ c, 7); \
 147 } while (0)
 148
 149 #define ROUND(r) do { \
 150         G(r, 0, v[0], v[ 4], v[ 8], v[12]); \
 151         G(r, 1, v[1], v[ 5], v[ 9], v[13]); \
 152         G(r, 2, v[2], v[ 6], v[10], v[14]); \
 153         G(r, 3, v[3], v[ 7], v[11], v[15]); \
 154         G(r, 4, v[0], v[ 5], v[10], v[15]); \
 155         G(r, 5, v[1], v[ 6], v[11], v[12]); \
 156         G(r, 6, v[2], v[ 7], v[ 8], v[13]); \
 157         G(r, 7, v[3], v[ 4], v[ 9], v[14]); \
 158 } while (0)
 159                 ROUND(0);
 160                 ROUND(1);
 161                 ROUND(2);
 162                 ROUND(3);
 163                 ROUND(4);
 164                 ROUND(5);
 165                 ROUND(6);
 166                 ROUND(7);
 167                 ROUND(8);
 168                 ROUND(9);
 169
 170 #undef G
 171 #undef ROUND
 172
 173                 for (i = 0; i < 8; ++i)
 174                         state->h[i] ^= v[i] ^ v[i + 8];
 175
 176                 block += BLAKE2S_BLOCK_SIZE;
 177                 --nblocks;
 178         }
 179 }
 180
 181 void blake2s_update(struct blake2s_state *state, const uint8_t *in, size_t inlen)
 182 {
 183         const size_t fill = BLAKE2S_BLOCK_SIZE - state->buflen;
 184
 185         if (!inlen)
 186                 return;
 187         if (inlen > fill) {
 188                 memcpy(state->buf + state->buflen, in, fill);
 189                 blake2s_compress(state, state->buf, 1, BLAKE2S_BLOCK_SIZE);
 190                 state->buflen = 0;
 191                 in += fill;
 192                 inlen -= fill;
 193         }
 194         if (inlen > BLAKE2S_BLOCK_SIZE) {
 195                 const size_t nblocks =
 196                         (inlen + BLAKE2S_BLOCK_SIZE - 1) / BLAKE2S_BLOCK_SIZE;
 197                 /* Hash one less (full) block than strictly possible */
 198                 blake2s_compress(state, in, nblocks - 1, BLAKE2S_BLOCK_SIZE);
 199                 in += BLAKE2S_BLOCK_SIZE * (nblocks - 1);
 200                 inlen -= BLAKE2S_BLOCK_SIZE * (nblocks - 1);
 201         }
 202         memcpy(state->buf + state->buflen, in, inlen);
 203         state->buflen += inlen;
 204 }
 205
 206 void blake2s_final(struct blake2s_state *state, uint8_t *out, const size_t outlen)
 207 {
 208         int i;
 209         /*WARN_ON(IS_ENABLED(DEBUG) &&
 210                 (!out || !outlen || outlen > BLAKE2S_HASH_SIZE));*/
 211         blake2s_set_lastblock(state);
 212         memset(state->buf + state->buflen, 0,
 213                BLAKE2S_BLOCK_SIZE - state->buflen); /* Padding */
 214         blake2s_compress(state, state->buf, 1, state->buflen);
 215         for(i = 0; i < (sizeof(state->h)/sizeof(state->h[0])); i++)
 216                 (state->h[i]) = htole32((state->h[i]));
 217
 218         memcpy(out, state->h, outlen);
 219         explicit_bzero(state, sizeof(*state));
 220 }
 221
 222 void blake2s_hmac(uint8_t *out, const uint8_t *in, const uint8_t *key, const size_t outlen,
 223                   const size_t inlen, const size_t keylen)
 224 {
 225         struct blake2s_state state;
 226         uint8_t x_key[BLAKE2S_BLOCK_SIZE] __aligned(__alignof__(uint32_t)) = { 0 };
 227         uint8_t i_hash[BLAKE2S_HASH_SIZE] __aligned(__alignof__(uint32_t));
 228         int i;
 229
 230         if (keylen > BLAKE2S_BLOCK_SIZE) {
 231                 blake2s_init(&state, BLAKE2S_HASH_SIZE);
 232                 blake2s_update(&state, key, keylen);
 233                 blake2s_final(&state, x_key, BLAKE2S_HASH_SIZE);
 234         } else
 235                 memcpy(x_key, key, keylen);
 236
 237         for (i = 0; i < BLAKE2S_BLOCK_SIZE; ++i)
 238                 x_key[i] ^= 0x36;
 239
 240         blake2s_init(&state, BLAKE2S_HASH_SIZE);
 241         blake2s_update(&state, x_key, BLAKE2S_BLOCK_SIZE);
 242         blake2s_update(&state, in, inlen);
 243         blake2s_final(&state, i_hash, BLAKE2S_HASH_SIZE);
 244
 245         for (i = 0; i < BLAKE2S_BLOCK_SIZE; ++i)
 246                 x_key[i] ^= 0x5c ^ 0x36;
 247
 248         blake2s_init(&state, BLAKE2S_HASH_SIZE);
 249         blake2s_update(&state, x_key, BLAKE2S_BLOCK_SIZE);
 250         blake2s_update(&state, i_hash, BLAKE2S_HASH_SIZE);
 251         blake2s_final(&state, i_hash, BLAKE2S_HASH_SIZE);
 252
 253         memcpy(out, i_hash, outlen);
 254         explicit_bzero(x_key, BLAKE2S_BLOCK_SIZE);
 255         explicit_bzero(i_hash, BLAKE2S_HASH_SIZE);
 256 }