sys/amd64/include/smp.h

   1 /*-
   2  * ----------------------------------------------------------------------------
   3  * "THE BEER-WARE LICENSE" (Revision 42):
   4  * <phk@FreeBSD.org> wrote this file.  As long as you retain this notice you
   5  * can do whatever you want with this stuff. If we meet some day, and you think
   6  * this stuff is worth it, you can buy me a beer in return.   Poul-Henning Kamp
   7  * ----------------------------------------------------------------------------
   8  *
   9  * $FreeBSD$
  10  *
  11  */
  12
  13 #ifndef _MACHINE_SMP_H_
  14 #define _MACHINE_SMP_H_
  15
  16 #ifdef _KERNEL
  17
  18 #ifdef SMP
  19
  20 #ifndef LOCORE
  21
  22 #include <sys/bus.h>
  23 #include <machine/frame.h>
  24 #include <machine/intr_machdep.h>
  25 #include <x86/apicvar.h>
  26 #include <machine/pcb.h>
  27
  28 /* global symbols in mpboot.S */
  29 extern char                     mptramp_start[];
  30 extern char                     mptramp_end[];
  31 extern u_int32_t                mptramp_pagetables;
  32
  33 /* global data in mp_machdep.c */
  34 extern int                      mp_naps;
  35 extern int                      boot_cpu_id;
  36 extern struct pcb               stoppcbs[];
  37 extern int                      cpu_apic_ids[];
  38 extern void *dpcpu;
  39 extern char *bootSTK;
  40 extern int bootAP;
  41 extern void *bootstacks[];
  42 extern volatile u_int cpu_ipi_pending[];
  43 extern volatile int aps_ready;
  44 extern struct mtx ap_boot_mtx;
  45 extern int cpu_logical;
  46 extern int cpu_cores;
  47 extern int pmap_pcid_enabled;
  48 extern int invpcid_works;
  49 extern u_int xhits_gbl[];
  50 extern u_int xhits_pg[];
  51 extern u_int xhits_rng[];
  52 extern u_int ipi_global;
  53 extern u_int ipi_page;
  54 extern u_int ipi_range;
  55 extern u_int ipi_range_size;
  56
  57 extern volatile int smp_tlb_wait;
  58
  59 struct cpu_info {
  60         int     cpu_present:1;
  61         int     cpu_bsp:1;
  62         int     cpu_disabled:1;
  63         int     cpu_hyperthread:1;
  64 };
  65 extern struct cpu_info cpu_info[];
  66
  67 #ifdef COUNT_IPIS
  68 extern u_long *ipi_invltlb_counts[MAXCPU];
  69 extern u_long *ipi_invlrng_counts[MAXCPU];
  70 extern u_long *ipi_invlpg_counts[MAXCPU];
  71 extern u_long *ipi_invlcache_counts[MAXCPU];
  72 extern u_long *ipi_rendezvous_counts[MAXCPU];
  73 #endif
  74
  75 /* IPI handlers */
  76 inthand_t
  77         IDTVEC(invltlb),        /* TLB shootdowns - global */
  78         IDTVEC(invltlb_pcid),   /* TLB shootdowns - global, pcid */
  79         IDTVEC(invltlb_invpcid),/* TLB shootdowns - global, invpcid */
  80         IDTVEC(invlpg),         /* TLB shootdowns - 1 page */
  81         IDTVEC(invlrng),        /* TLB shootdowns - page range */
  82         IDTVEC(invlcache),      /* Write back and invalidate cache */
  83         IDTVEC(ipi_intr_bitmap_handler), /* Bitmap based IPIs */
  84         IDTVEC(cpustop),        /* CPU stops & waits to be restarted */
  85         IDTVEC(cpususpend),     /* CPU suspends & waits to be resumed */
  86         IDTVEC(justreturn),     /* interrupt CPU with minimum overhead */
  87         IDTVEC(rendezvous);     /* handle CPU rendezvous */
  88
  89 struct pmap;
  90
  91 /* functions in mp_machdep.c */
  92 void    assign_cpu_ids(void);
  93 void    cpu_add(u_int apic_id, char boot_cpu);
  94 void    cpustop_handler(void);
  95 void    cpususpend_handler(void);
  96 void    init_secondary_tail(void);
  97 void    invltlb_handler(void);
  98 void    invltlb_pcid_handler(void);
  99 void    invltlb_invpcid_handler(void);
 100 void    invlpg_handler(void);
 101 void    invlrng_handler(void);
 102 void    invlcache_handler(void);
 103 void    init_secondary(void);
 104 void    ipi_startup(int apic_id, int vector);
 105 void    ipi_all_but_self(u_int ipi);
 106 void    ipi_bitmap_handler(struct trapframe frame);
 107 void    ipi_cpu(int cpu, u_int ipi);
 108 int     ipi_nmi_handler(void);
 109 void    ipi_selected(cpuset_t cpus, u_int ipi);
 110 u_int   mp_bootaddress(u_int);
 111 void    set_interrupt_apic_ids(void);
 112 void    smp_cache_flush(void);
 113 void    smp_masked_invlpg(cpuset_t mask, vm_offset_t addr);
 114 void    smp_masked_invlpg_range(cpuset_t mask, vm_offset_t startva,
 115             vm_offset_t endva);
 116 void    smp_masked_invltlb(cpuset_t mask, struct pmap *pmap);
 117 int     native_start_all_aps(void);
 118 void    mem_range_AP_init(void);
 119 void    topo_probe(void);
 120 void    ipi_send_cpu(int cpu, u_int ipi);
 121
 122 #endif /* !LOCORE */
 123 #endif /* SMP */
 124
 125 #endif /* _KERNEL */
 126 #endif /* _MACHINE_SMP_H_ */