sys/sys/malloc.h

   1 /*
   2  * Copyright (c) 1987, 1993
   3  *      The Regents of the University of California.  All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions
   7  * are met:
   8  * 1. Redistributions of source code must retain the above copyright
   9  *    notice, this list of conditions and the following disclaimer.
  10  * 2. Redistributions in binary form must reproduce the above copyright
  11  *    notice, this list of conditions and the following disclaimer in the
  12  *    documentation and/or other materials provided with the distribution.
  13  * 3. All advertising materials mentioning features or use of this software
  14  *    must display the following acknowledgement:
  15  *      This product includes software developed by the University of
  16  *      California, Berkeley and its contributors.
  17  * 4. Neither the name of the University nor the names of its contributors
  18  *    may be used to endorse or promote products derived from this software
  19  *    without specific prior written permission.
  20  *
  21  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  31  * SUCH DAMAGE.
  32  *
  33  *      @(#)malloc.h    8.5 (Berkeley) 5/3/95
  34  * $FreeBSD$
  35  */
  36
  37 #ifndef _SYS_MALLOC_H_
  38 #define _SYS_MALLOC_H_
  39
  40 #define splmem splhigh
  41
  42 #define KMEMSTATS
  43
  44 /*
  45  * flags to malloc.
  46  */
  47 #define M_WAITOK        0x0000
  48 #define M_NOWAIT        0x0001          /* do not block */
  49 #define M_USE_RESERVE   0x0002          /* can alloc out of reserve memory */
  50 #define M_ASLEEP        0x0004          /* async sleep on failure */
  51
  52 #define M_MAGIC         877983977       /* time when first defined :-) */
  53
  54 struct malloc_type {
  55         struct malloc_type *ks_next;    /* next in list */
  56         long    ks_memuse;      /* total memory held in bytes */
  57         long    ks_limit;       /* most that are allowed to exist */
  58         long    ks_size;        /* sizes of this thing that are allocated */
  59         long    ks_inuse;       /* # of packets of this type currently in use */
  60         int64_t ks_calls;       /* total packets of this type ever allocated */
  61         long    ks_maxused;     /* maximum number ever used */
  62         u_long  ks_magic;       /* if it's not magic, don't touch it */
  63         const char *ks_shortdesc;       /* short description */
  64         u_short ks_limblocks;   /* number of times blocked for hitting limit */
  65         u_short ks_mapblocks;   /* number of times blocked for kernel map */
  66 };
  67
  68 #ifdef KERNEL
  69 #define MALLOC_DEFINE(type, shortdesc, longdesc) \
  70         struct malloc_type type[1] = { \
  71                 { NULL, 0, 0, 0, 0, 0, 0, M_MAGIC, shortdesc, 0, 0 } \
  72         }; \
  73         SYSINIT(type##_init, SI_SUB_KMEM, SI_ORDER_ANY, malloc_init, type); \
  74         SYSUNINIT(type##_uninit, SI_SUB_KMEM, SI_ORDER_ANY, malloc_uninit, type)
  75
  76 #define MALLOC_DECLARE(type) \
  77         extern struct malloc_type type[1]
  78
  79 MALLOC_DECLARE(M_CACHE);
  80 MALLOC_DECLARE(M_DEVBUF);
  81 MALLOC_DECLARE(M_TEMP);
  82
  83 MALLOC_DECLARE(M_IP6OPT); /* for INET6 */
  84 MALLOC_DECLARE(M_IP6NDP); /* for INET6 */
  85 #endif /* KERNEL */
  86
  87 /*
  88  * Array of descriptors that describe the contents of each page
  89  */
  90 struct kmemusage {
  91         short ku_indx;          /* bucket index */
  92         union {
  93                 u_short freecnt;/* for small allocations, free pieces in page */
  94                 u_short pagecnt;/* for large allocations, pages alloced */
  95         } ku_un;
  96 };
  97 #define ku_freecnt ku_un.freecnt
  98 #define ku_pagecnt ku_un.pagecnt
  99
 100 /*
 101  * Set of buckets for each size of memory block that is retained
 102  */
 103 struct kmembuckets {
 104         caddr_t kb_next;        /* list of free blocks */
 105         caddr_t kb_last;        /* last free block */
 106         int64_t kb_calls;       /* total calls to allocate this size */
 107         long    kb_total;       /* total number of blocks allocated */
 108         long    kb_elmpercl;    /* # of elements in this sized allocation */
 109         long    kb_totalfree;   /* # of free elements in this bucket */
 110         long    kb_highwat;     /* high water mark */
 111         long    kb_couldfree;   /* over high water mark and could free */
 112 };
 113
 114 #ifdef KERNEL
 115 #define MINALLOCSIZE    (1 << MINBUCKET)
 116 #define BUCKETINDX(size) \
 117         ((size) <= (MINALLOCSIZE * 128) \
 118                 ? (size) <= (MINALLOCSIZE * 8) \
 119                         ? (size) <= (MINALLOCSIZE * 2) \
 120                                 ? (size) <= (MINALLOCSIZE * 1) \
 121                                         ? (MINBUCKET + 0) \
 122                                         : (MINBUCKET + 1) \
 123                                 : (size) <= (MINALLOCSIZE * 4) \
 124                                         ? (MINBUCKET + 2) \
 125                                         : (MINBUCKET + 3) \
 126                         : (size) <= (MINALLOCSIZE* 32) \
 127                                 ? (size) <= (MINALLOCSIZE * 16) \
 128                                         ? (MINBUCKET + 4) \
 129                                         : (MINBUCKET + 5) \
 130                                 : (size) <= (MINALLOCSIZE * 64) \
 131                                         ? (MINBUCKET + 6) \
 132                                         : (MINBUCKET + 7) \
 133                 : (size) <= (MINALLOCSIZE * 2048) \
 134                         ? (size) <= (MINALLOCSIZE * 512) \
 135                                 ? (size) <= (MINALLOCSIZE * 256) \
 136                                         ? (MINBUCKET + 8) \
 137                                         : (MINBUCKET + 9) \
 138                                 : (size) <= (MINALLOCSIZE * 1024) \
 139                                         ? (MINBUCKET + 10) \
 140                                         : (MINBUCKET + 11) \
 141                         : (size) <= (MINALLOCSIZE * 8192) \
 142                                 ? (size) <= (MINALLOCSIZE * 4096) \
 143                                         ? (MINBUCKET + 12) \
 144                                         : (MINBUCKET + 13) \
 145                                 : (size) <= (MINALLOCSIZE * 16384) \
 146                                         ? (MINBUCKET + 14) \
 147                                         : (MINBUCKET + 15))
 148
 149 /*
 150  * Turn virtual addresses into kmem map indices
 151  */
 152 #define kmemxtob(alloc) (kmembase + (alloc) * PAGE_SIZE)
 153 #define btokmemx(addr)  (((caddr_t)(addr) - kmembase) / PAGE_SIZE)
 154 #define btokup(addr)    (&kmemusage[((caddr_t)(addr) - kmembase) >> PAGE_SHIFT])
 155
 156 /*
 157  * Macro versions for the usual cases of malloc/free
 158  */
 159 #if defined(KMEMSTATS) || defined(DIAGNOSTIC)
 160 #define MALLOC(space, cast, size, type, flags) \
 161         (space) = (cast)malloc((u_long)(size), type, flags)
 162 #define FREE(addr, type) free((addr), type)
 163
 164 #else /* do not collect statistics */
 165 #define MALLOC(space, cast, size, type, flags) do { \
 166         register struct kmembuckets *kbp = &bucket[BUCKETINDX(size)]; \
 167         long s = splmem(); \
 168         if (kbp->kb_next == NULL) { \
 169                 (space) = (cast)malloc((u_long)(size), type, flags); \
 170         } else { \
 171                 (space) = (cast)kbp->kb_next; \
 172                 kbp->kb_next = *(caddr_t *)(space); \
 173         } \
 174         splx(s); \
 175 } while (0)
 176
 177 #define FREE(addr, type) do { \
 178         register struct kmembuckets *kbp; \
 179         register struct kmemusage *kup = btokup(addr); \
 180         long s = splmem(); \
 181         if (1 << kup->ku_indx > MAXALLOCSAVE) { \
 182                 free((addr), type); \
 183         } else { \
 184                 kbp = &bucket[kup->ku_indx]; \
 185                 if (kbp->kb_next == NULL) \
 186                         kbp->kb_next = (caddr_t)(addr); \
 187                 else \
 188                         *(caddr_t *)(kbp->kb_last) = (caddr_t)(addr); \
 189                 *(caddr_t *)(addr) = NULL; \
 190                 kbp->kb_last = (caddr_t)(addr); \
 191         } \
 192         splx(s); \
 193 } while (0)
 194
 195 extern struct kmemusage *kmemusage;
 196 extern char *kmembase;
 197 extern struct kmembuckets bucket[];
 198 #endif /* do not collect statistics */
 199
 200 /*
 201  * XXX this should be declared in <sys/uio.h>, but that tends to fail
 202  * because <sys/uio.h> is included in a header before the source file
 203  * has a chance to include <sys/malloc.h> to get MALLOC_DECLARE() defined.
 204  */
 205 MALLOC_DECLARE(M_IOV);
 206
 207 /* XXX struct malloc_type is unused for contig*(). */
 208 void    contigfree __P((void *addr, unsigned long size,
 209                         struct malloc_type *type));
 210 void    *contigmalloc __P((unsigned long size, struct malloc_type *type,
 211                            int flags, unsigned long low, unsigned long high,
 212                            unsigned long alignment, unsigned long boundary));
 213 void    free __P((void *addr, struct malloc_type *type));
 214 void    *malloc __P((unsigned long size, struct malloc_type *type, int flags));
 215 void    malloc_init __P((void *));
 216 void    malloc_uninit __P((void *));
 217 #endif /* KERNEL */
 218
 219 #endif /* !_SYS_MALLOC_H_ */