lib/libkvm/kvm_private.h

   1 /*-
   2  * SPDX-License-Identifier: BSD-3-Clause
   3  *
   4  * Copyright (c) 1992, 1993
   5  *      The Regents of the University of California.  All rights reserved.
   6  *
   7  * This code is derived from software developed by the Computer Systems
   8  * Engineering group at Lawrence Berkeley Laboratory under DARPA contract
   9  * BG 91-66 and contributed to Berkeley.
  10  *
  11  * Redistribution and use in source and binary forms, with or without
  12  * modification, are permitted provided that the following conditions
  13  * are met:
  14  * 1. Redistributions of source code must retain the above copyright
  15  *    notice, this list of conditions and the following disclaimer.
  16  * 2. Redistributions in binary form must reproduce the above copyright
  17  *    notice, this list of conditions and the following disclaimer in the
  18  *    documentation and/or other materials provided with the distribution.
  19  * 3. Neither the name of the University nor the names of its contributors
  20  *    may be used to endorse or promote products derived from this software
  21  *    without specific prior written permission.
  22  *
  23  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  24  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  25  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  26  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  27  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  28  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  29  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  30  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  31  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  32  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  *
  35  *      @(#)kvm_private.h       8.1 (Berkeley) 6/4/93
  36  * $FreeBSD$
  37  */
  38
  39 #include <sys/endian.h>
  40 #include <sys/linker_set.h>
  41 #include <gelf.h>
  42
  43 struct kvm_arch {
  44         int     (*ka_probe)(kvm_t *);
  45         int     (*ka_initvtop)(kvm_t *);
  46         void    (*ka_freevtop)(kvm_t *);
  47         int     (*ka_kvatop)(kvm_t *, kvaddr_t, off_t *);
  48         int     (*ka_native)(kvm_t *);
  49         int     (*ka_walk_pages)(kvm_t *, kvm_walk_pages_cb_t *, void *);
  50         kssize_t (*ka_kerndisp)(kvm_t *);
  51 };
  52
  53 #define KVM_ARCH(ka)    DATA_SET(kvm_arch, ka)
  54
  55 struct __kvm {
  56         struct kvm_arch *arch;
  57         /*
  58          * a string to be prepended to error messages
  59          * provided for compatibility with sun's interface
  60          * if this value is null, errors are saved in errbuf[]
  61          */
  62         const char *program;
  63         char    *errp;          /* XXX this can probably go away */
  64         char    errbuf[_POSIX2_LINE_MAX];
  65 #define ISALIVE(kd) ((kd)->vmfd >= 0)
  66         int     pmfd;           /* physical memory file (or crashdump) */
  67         int     vmfd;           /* virtual memory file (-1 if crashdump) */
  68         int     nlfd;           /* namelist file (e.g., /kernel) */
  69         GElf_Ehdr nlehdr;       /* ELF file header for namelist file */
  70         int     (*resolve_symbol)(const char *, kvaddr_t *);
  71         struct kinfo_proc *procbase;
  72         char    *argspc;        /* (dynamic) storage for argv strings */
  73         int     arglen;         /* length of the above */
  74         char    **argv;         /* (dynamic) storage for argv pointers */
  75         int     argc;           /* length of above (not actual # present) */
  76         char    *argbuf;        /* (dynamic) temporary storage */
  77         /*
  78          * Kernel virtual address translation state.  This only gets filled
  79          * in for dead kernels; otherwise, the running kernel (i.e. kmem)
  80          * will do the translations for us.  It could be big, so we
  81          * only allocate it if necessary.
  82          */
  83         struct vmstate *vmst;
  84         int     rawdump;        /* raw dump format */
  85         int     writable;       /* physical memory is writable */
  86
  87         int             vnet_initialized;       /* vnet fields set up */
  88         kvaddr_t        vnet_start;     /* start of kernel's vnet region */
  89         kvaddr_t        vnet_stop;      /* stop of kernel's vnet region */
  90         kvaddr_t        vnet_current;   /* vnet we're working with */
  91         kvaddr_t        vnet_base;      /* vnet base of current vnet */
  92
  93         /*
  94          * Dynamic per-CPU kernel memory.  We translate symbols, on-demand,
  95          * to the data associated with dpcpu_curcpu, set with
  96          * kvm_dpcpu_setcpu().
  97          */
  98         int             dpcpu_initialized;      /* dpcpu fields set up */
  99         kvaddr_t        dpcpu_start;    /* start of kernel's dpcpu region */
 100         kvaddr_t        dpcpu_stop;     /* stop of kernel's dpcpu region */
 101         u_int           dpcpu_maxcpus;  /* size of base array */
 102         uintptr_t       *dpcpu_off;     /* base array, indexed by CPU ID */
 103         u_int           dpcpu_curcpu;   /* CPU we're currently working with */
 104         kvaddr_t        dpcpu_curoff;   /* dpcpu base of current CPU */
 105
 106         /* Page table lookup structures. */
 107         uint64_t        *pt_map;
 108         size_t          pt_map_size;
 109         uint64_t        *dump_avail;    /* actually word sized */
 110         size_t          dump_avail_size;
 111         off_t           pt_sparse_off;
 112         uint64_t        pt_sparse_size;
 113         uint32_t        *pt_popcounts;
 114         unsigned int    pt_page_size;
 115
 116         /* Page & sparse map structures. */
 117         void            *page_map;
 118         uint32_t        page_map_size;
 119         off_t           page_map_off;
 120         void            *sparse_map;
 121 };
 122
 123 struct kvm_bitmap {
 124         uint8_t *map;
 125         u_long size;
 126 };
 127
 128 /* Page table lookup constants. */
 129 #define POPCOUNT_BITS   1024
 130 #define BITS_IN(v)      (sizeof(v) * NBBY)
 131 #define POPCOUNTS_IN(v) (POPCOUNT_BITS / BITS_IN(v))
 132
 133 /*
 134  * Functions used internally by kvm, but across kvm modules.
 135  */
 136 static inline uint16_t
 137 _kvm16toh(kvm_t *kd, uint16_t val)
 138 {
 139
 140         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 141                 return (le16toh(val));
 142         else
 143                 return (be16toh(val));
 144 }
 145
 146 static inline uint32_t
 147 _kvm32toh(kvm_t *kd, uint32_t val)
 148 {
 149
 150         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 151                 return (le32toh(val));
 152         else
 153                 return (be32toh(val));
 154 }
 155
 156 static inline uint64_t
 157 _kvm64toh(kvm_t *kd, uint64_t val)
 158 {
 159
 160         if (kd->nlehdr.e_ident[EI_DATA] == ELFDATA2LSB)
 161                 return (le64toh(val));
 162         else
 163                 return (be64toh(val));
 164 }
 165
 166 uint64_t _kvm_pa_bit_id(kvm_t *kd, uint64_t pa, unsigned int page_size);
 167 uint64_t _kvm_bit_id_pa(kvm_t *kd, uint64_t bit_id, unsigned int page_size);
 168 #define _KVM_PA_INVALID         ULONG_MAX
 169 #define _KVM_BIT_ID_INVALID     ULONG_MAX
 170
 171 int      _kvm_bitmap_init(struct kvm_bitmap *, u_long, u_long *);
 172 void     _kvm_bitmap_set(struct kvm_bitmap *, u_long);
 173 int      _kvm_bitmap_next(struct kvm_bitmap *, u_long *);
 174 void     _kvm_bitmap_deinit(struct kvm_bitmap *);
 175
 176 void     _kvm_err(kvm_t *kd, const char *program, const char *fmt, ...)
 177             __printflike(3, 4);
 178 void     _kvm_freeprocs(kvm_t *kd);
 179 void    *_kvm_malloc(kvm_t *kd, size_t);
 180 int      _kvm_nlist(kvm_t *, struct kvm_nlist *, int);
 181 void    *_kvm_realloc(kvm_t *kd, void *, size_t);
 182 void     _kvm_syserr (kvm_t *kd, const char *program, const char *fmt, ...)
 183             __printflike(3, 4);
 184 int      _kvm_vnet_selectpid(kvm_t *, pid_t);
 185 int      _kvm_vnet_initialized(kvm_t *, int);
 186 kvaddr_t _kvm_vnet_validaddr(kvm_t *, kvaddr_t);
 187 int      _kvm_dpcpu_initialized(kvm_t *, int);
 188 kvaddr_t _kvm_dpcpu_validaddr(kvm_t *, kvaddr_t);
 189 int      _kvm_probe_elf_kernel(kvm_t *, int, int);
 190 int      _kvm_is_minidump(kvm_t *);
 191 int      _kvm_read_core_phdrs(kvm_t *, size_t *, GElf_Phdr **);
 192 int      _kvm_pt_init(kvm_t *, size_t, off_t, size_t, off_t, off_t, int);
 193 off_t    _kvm_pt_find(kvm_t *, uint64_t, unsigned int);
 194 int      _kvm_visit_cb(kvm_t *, kvm_walk_pages_cb_t *, void *, u_long,
 195             u_long, u_long, vm_prot_t, size_t, unsigned int);
 196 int      _kvm_pmap_init(kvm_t *, uint32_t, off_t);
 197 void *   _kvm_pmap_get(kvm_t *, u_long, size_t);
 198 void *   _kvm_map_get(kvm_t *, u_long, unsigned int);