lib/libedit/chartype.c

   1 /*      $NetBSD: chartype.c,v 1.10 2011/08/16 16:25:15 christos Exp $   */
   2
   3 /*-
   4  * Copyright (c) 2009 The NetBSD Foundation, Inc.
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  * 1. Redistributions of source code must retain the above copyright
  11  *    notice, this list of conditions and the following disclaimer.
  12  * 2. Redistributions in binary form must reproduce the above copyright
  13  *    notice, this list of conditions and the following disclaimer in the
  14  *    documentation and/or other materials provided with the distribution.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
  17  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  18  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
  20  * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  21  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  22  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  23  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  24  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  25  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  26  * POSSIBILITY OF SUCH DAMAGE.
  27  */
  28
  29 /*
  30  * chartype.c: character classification and meta information
  31  */
  32 #include "config.h"
  33 #if !defined(lint) && !defined(SCCSID)
  34 __RCSID("$NetBSD: chartype.c,v 1.10 2011/08/16 16:25:15 christos Exp $");
  35 #endif /* not lint && not SCCSID */
  36 #include <sys/cdefs.h>
  37 __FBSDID("$FreeBSD$");
  38
  39 #include "el.h"
  40 #include <stdlib.h>
  41
  42 #define CT_BUFSIZ ((size_t)1024)
  43
  44 #ifdef WIDECHAR
  45 protected void
  46 ct_conv_buff_resize(ct_buffer_t *conv, size_t mincsize, size_t minwsize)
  47 {
  48         void *p;
  49         if (mincsize > conv->csize) {
  50                 conv->csize = mincsize;
  51                 p = el_realloc(conv->cbuff, conv->csize * sizeof(*conv->cbuff));
  52                 if (p == NULL) {
  53                         conv->csize = 0;
  54                         el_free(conv->cbuff);
  55                         conv->cbuff = NULL;
  56                 } else
  57                         conv->cbuff = p;
  58         }
  59
  60         if (minwsize > conv->wsize) {
  61                 conv->wsize = minwsize;
  62                 p = el_realloc(conv->wbuff, conv->wsize * sizeof(*conv->wbuff));
  63                 if (p == NULL) {
  64                         conv->wsize = 0;
  65                         el_free(conv->wbuff);
  66                         conv->wbuff = NULL;
  67                 } else
  68                         conv->wbuff = p;
  69         }
  70 }
  71
  72
  73 public char *
  74 ct_encode_string(const Char *s, ct_buffer_t *conv)
  75 {
  76         char *dst;
  77         ssize_t used = 0;
  78
  79         if (!s)
  80                 return NULL;
  81         if (!conv->cbuff)
  82                 ct_conv_buff_resize(conv, CT_BUFSIZ, (size_t)0);
  83         if (!conv->cbuff)
  84                 return NULL;
  85
  86         dst = conv->cbuff;
  87         while (*s) {
  88                 used = (ssize_t)(conv->csize - (size_t)(dst - conv->cbuff));
  89                 if (used < 5) {
  90                         used = dst - conv->cbuff;
  91                         ct_conv_buff_resize(conv, conv->csize + CT_BUFSIZ,
  92                             (size_t)0);
  93                         if (!conv->cbuff)
  94                                 return NULL;
  95                         dst = conv->cbuff + used;
  96                 }
  97                 used = ct_encode_char(dst, (size_t)5, *s);
  98                 if (used == -1) /* failed to encode, need more buffer space */
  99                         abort();
 100                 ++s;
 101                 dst += used;
 102         }
 103         *dst = '\0';
 104         return conv->cbuff;
 105 }
 106
 107 public Char *
 108 ct_decode_string(const char *s, ct_buffer_t *conv)
 109 {
 110         size_t len = 0;
 111
 112         if (!s)
 113                 return NULL;
 114         if (!conv->wbuff)
 115                 ct_conv_buff_resize(conv, (size_t)0, CT_BUFSIZ);
 116         if (!conv->wbuff)
 117                 return NULL;
 118
 119         len = ct_mbstowcs(NULL, s, (size_t)0);
 120         if (len == (size_t)-1)
 121                 return NULL;
 122         if (len > conv->wsize)
 123                 ct_conv_buff_resize(conv, (size_t)0, len + 1);
 124         if (!conv->wbuff)
 125                 return NULL;
 126         ct_mbstowcs(conv->wbuff, s, conv->wsize);
 127         return conv->wbuff;
 128 }
 129
 130
 131 protected Char **
 132 ct_decode_argv(int argc, const char *argv[], ct_buffer_t *conv)
 133 {
 134         size_t bufspace;
 135         int i;
 136         Char *p;
 137         Char **wargv;
 138         ssize_t bytes;
 139
 140         /* Make sure we have enough space in the conversion buffer to store all
 141          * the argv strings. */
 142         for (i = 0, bufspace = 0; i < argc; ++i)
 143                 bufspace += argv[i] ? strlen(argv[i]) + 1 : 0;
 144         ct_conv_buff_resize(conv, (size_t)0, bufspace);
 145         if (!conv->wsize)
 146                 return NULL;
 147
 148         wargv = el_malloc((size_t)argc * sizeof(*wargv));
 149
 150         for (i = 0, p = conv->wbuff; i < argc; ++i) {
 151                 if (!argv[i]) {   /* don't pass null pointers to mbstowcs */
 152                         wargv[i] = NULL;
 153                         continue;
 154                 } else {
 155                         wargv[i] = p;
 156                         bytes = (ssize_t)mbstowcs(p, argv[i], bufspace);
 157                 }
 158                 if (bytes == -1) {
 159                         el_free(wargv);
 160                         return NULL;
 161                 } else
 162                         bytes++;  /* include '\0' in the count */
 163                 bufspace -= (size_t)bytes;
 164                 p += bytes;
 165         }
 166
 167         return wargv;
 168 }
 169
 170
 171 protected size_t
 172 ct_enc_width(Char c)
 173 {
 174         /* UTF-8 encoding specific values */
 175         if (c < 0x80)
 176                 return 1;
 177         else if (c < 0x0800)
 178                 return 2;
 179         else if (c < 0x10000)
 180                 return 3;
 181         else if (c < 0x110000)
 182                 return 4;
 183         else
 184                 return 0; /* not a valid codepoint */
 185 }
 186
 187 protected ssize_t
 188 ct_encode_char(char *dst, size_t len, Char c)
 189 {
 190         ssize_t l = 0;
 191         if (len < ct_enc_width(c))
 192                 return -1;
 193         l = ct_wctomb(dst, c);
 194
 195         if (l < 0) {
 196                 ct_wctomb_reset;
 197                 l = 0;
 198         }
 199         return l;
 200 }
 201 #endif
 202
 203 protected const Char *
 204 ct_visual_string(const Char *s)
 205 {
 206         static Char *buff = NULL;
 207         static size_t buffsize = 0;
 208         void *p;
 209         Char *dst;
 210         ssize_t used = 0;
 211
 212         if (!s)
 213                 return NULL;
 214         if (!buff) {
 215             buffsize = CT_BUFSIZ;
 216             buff = el_malloc(buffsize * sizeof(*buff));
 217         }
 218         dst = buff;
 219         while (*s) {
 220                 used = ct_visual_char(dst, buffsize - (size_t)(dst - buff), *s);
 221                 if (used == -1) { /* failed to encode, need more buffer space */
 222                         used = dst - buff;
 223                         buffsize += CT_BUFSIZ;
 224                         p = el_realloc(buff, buffsize * sizeof(*buff));
 225                         if (p == NULL)
 226                                 goto out;
 227                         buff = p;
 228                         dst = buff + used;
 229                         /* don't increment s here - we want to retry it! */
 230                 }
 231                 else
 232                     ++s;
 233                 dst += used;
 234         }
 235         if (dst >= (buff + buffsize)) { /* sigh */
 236                 buffsize += 1;
 237                 p = el_realloc(buff, buffsize * sizeof(*buff));
 238                 if (p == NULL)
 239                         goto out;
 240                 buff = p;
 241                 dst = buff + buffsize - 1;
 242         }
 243         *dst = 0;
 244         return buff;
 245 out:
 246         el_free(buff);
 247         buffsize = 0;
 248         return NULL;
 249 }
 250
 251
 252
 253 protected int
 254 ct_visual_width(Char c)
 255 {
 256         int t = ct_chr_class(c);
 257         switch (t) {
 258         case CHTYPE_ASCIICTL:
 259                 return 2; /* ^@ ^? etc. */
 260         case CHTYPE_TAB:
 261                 return 1; /* Hmm, this really need to be handled outside! */
 262         case CHTYPE_NL:
 263                 return 0; /* Should this be 1 instead? */
 264 #ifdef WIDECHAR
 265         case CHTYPE_PRINT:
 266                 return wcwidth(c);
 267         case CHTYPE_NONPRINT:
 268                 if (c > 0xffff) /* prefer standard 4-byte display over 5-byte */
 269                         return 8; /* \U+12345 */
 270                 else
 271                         return 7; /* \U+1234 */
 272 #else
 273         case CHTYPE_PRINT:
 274                 return 1;
 275         case CHTYPE_NONPRINT:
 276                 return 4; /* \123 */
 277 #endif
 278         default:
 279                 return 0; /* should not happen */
 280         }
 281 }
 282
 283
 284 protected ssize_t
 285 ct_visual_char(Char *dst, size_t len, Char c)
 286 {
 287         int t = ct_chr_class(c);
 288         switch (t) {
 289         case CHTYPE_TAB:
 290         case CHTYPE_NL:
 291         case CHTYPE_ASCIICTL:
 292                 if (len < 2)
 293                         return -1;   /* insufficient space */
 294                 *dst++ = '^';
 295                 if (c == '\177')
 296                         *dst = '?'; /* DEL -> ^? */
 297                 else
 298                         *dst = c | 0100;    /* uncontrolify it */
 299                 return 2;
 300         case CHTYPE_PRINT:
 301                 if (len < 1)
 302                         return -1;  /* insufficient space */
 303                 *dst = c;
 304                 return 1;
 305         case CHTYPE_NONPRINT:
 306                 /* we only use single-width glyphs for display,
 307                  * so this is right */
 308                 if ((ssize_t)len < ct_visual_width(c))
 309                         return -1;   /* insufficient space */
 310 #ifdef WIDECHAR
 311                 *dst++ = '\\';
 312                 *dst++ = 'U';
 313                 *dst++ = '+';
 314 #define tohexdigit(v) "0123456789ABCDEF"[v]
 315                 if (c > 0xffff) /* prefer standard 4-byte display over 5-byte */
 316                         *dst++ = tohexdigit(((unsigned int) c >> 16) & 0xf);
 317                 *dst++ = tohexdigit(((unsigned int) c >> 12) & 0xf);
 318                 *dst++ = tohexdigit(((unsigned int) c >>  8) & 0xf);
 319                 *dst++ = tohexdigit(((unsigned int) c >>  4) & 0xf);
 320                 *dst   = tohexdigit(((unsigned int) c      ) & 0xf);
 321                 return c > 0xffff ? 8 : 7;
 322 #else
 323                 *dst++ = '\\';
 324 #define tooctaldigit(v) ((v) + '0')
 325                 *dst++ = tooctaldigit(((unsigned int) c >> 6) & 0x7);
 326                 *dst++ = tooctaldigit(((unsigned int) c >> 3) & 0x7);
 327                 *dst++ = tooctaldigit(((unsigned int) c     ) & 0x7);
 328 #endif
 329                 /*FALLTHROUGH*/
 330         /* these two should be handled outside this function */
 331         default:            /* we should never hit the default */
 332                 return 0;
 333         }
 334 }
 335
 336
 337
 338
 339 protected int
 340 ct_chr_class(Char c)
 341 {
 342         if (c == '\t')
 343                 return CHTYPE_TAB;
 344         else if (c == '\n')
 345                 return CHTYPE_NL;
 346         else if (IsASCII(c) && Iscntrl(c))
 347                 return CHTYPE_ASCIICTL;
 348         else if (Isprint(c))
 349                 return CHTYPE_PRINT;
 350         else
 351                 return CHTYPE_NONPRINT;
 352 }