]> CyberLeo.Net >> Repos - FreeBSD/FreeBSD.git/blob - usr.sbin/bhyve/bhyve.8
Add two missing eventhandler.h headers
[FreeBSD/FreeBSD.git] / usr.sbin / bhyve / bhyve.8
1 .\" Copyright (c) 2013 Peter Grehan
2 .\" All rights reserved.
3 .\"
4 .\" Redistribution and use in source and binary forms, with or without
5 .\" modification, are permitted provided that the following conditions
6 .\" are met:
7 .\" 1. Redistributions of source code must retain the above copyright
8 .\"    notice, this list of conditions and the following disclaimer.
9 .\" 2. Redistributions in binary form must reproduce the above copyright
10 .\"    notice, this list of conditions and the following disclaimer in the
11 .\"    documentation and/or other materials provided with the distribution.
12 .\"
13 .\" THIS SOFTWARE IS PROVIDED BY THE AUTHORS AND CONTRIBUTORS ``AS IS'' AND
14 .\" ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15 .\" IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
16 .\" ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHORS OR CONTRIBUTORS BE LIABLE
17 .\" FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
18 .\" DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
19 .\" OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
20 .\" HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
21 .\" LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
22 .\" OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
23 .\" SUCH DAMAGE.
24 .\"
25 .\" $FreeBSD$
26 .\"
27 .Dd December 11, 2018
28 .Dt BHYVE 8
29 .Os
30 .Sh NAME
31 .Nm bhyve
32 .Nd "run a guest operating system inside a virtual machine"
33 .Sh SYNOPSIS
34 .Nm
35 .Op Fl abehuwxACHPSWY
36 .Oo
37 .Fl c\~ Ns
38 .Oo
39 .Op Ar cpus= Ns
40 .Ar numcpus Ns
41 .Oc Ns
42 .Op Ar ,sockets=n Ns
43 .Op Ar ,cores=n Ns
44 .Op Ar ,threads=n
45 .Oc
46 .Op Fl g Ar gdbport
47 .Op Fl l Ar help|lpcdev Ns Op , Ns Ar conf
48 .Op Fl m Ar memsize Ns Op Ar K|k|M|m|G|g|T|t
49 .Op Fl p Ar vcpu:hostcpu
50 .Op Fl s Ar help|slot,emulation Ns Op , Ns Ar conf
51 .Op Fl G Ar port
52 .Op Fl U Ar uuid
53 .Ar vmname
54 .Sh DESCRIPTION
55 .Nm
56 is a hypervisor that runs guest operating systems inside a
57 virtual machine.
58 .Pp
59 Parameters such as the number of virtual CPUs, amount of guest memory, and
60 I/O connectivity can be specified with command-line parameters.
61 .Pp
62 If not using a boot ROM, the guest operating system must be loaded with
63 .Xr bhyveload 8
64 or a similar boot loader before running
65 .Nm ,
66 otherwise, it is enough to run
67 .Nm
68 with a boot ROM of choice.
69 .Pp
70 .Nm
71 runs until the guest operating system reboots or an unhandled hypervisor
72 exit is detected.
73 .Sh OPTIONS
74 .Bl -tag -width 10n
75 .It Fl a
76 The guest's local APIC is configured in xAPIC mode.
77 The xAPIC mode is the default setting so this option is redundant.
78 It will be deprecated in a future version.
79 .It Fl A
80 Generate ACPI tables.
81 Required for
82 .Fx Ns /amd64
83 guests.
84 .It Fl b
85 Enable a low-level console device supported by
86 .Fx
87 kernels compiled with
88 .Cd "device bvmconsole" .
89 This option will be deprecated in a future version.
90 .It Fl c Op Ar setting ...
91 Number of guest virtual CPUs
92 and/or the CPU topology.
93 The default value for each of
94 .Ar numcpus ,
95 .Ar sockets ,
96 .Ar cores ,
97 and
98 .Ar threads
99 is 1.
100 The current maximum number of guest virtual CPUs is 16.
101 If
102 .Ar numcpus
103 is not specified then it will be calculated from the other arguments.
104 The topology must be consistent in that the
105 .Ar numcpus
106 must equal the product of
107 .Ar sockets ,
108 .Ar cores ,
109 and
110 .Ar threads .
111 If a
112 .Ar setting
113 is specified more than once the last one has precedence.
114 .It Fl C
115 Include guest memory in core file.
116 .It Fl e
117 Force
118 .Nm
119 to exit when a guest issues an access to an I/O port that is not emulated.
120 This is intended for debug purposes.
121 .It Fl g Ar gdbport
122 For
123 .Fx
124 kernels compiled with
125 .Cd "device bvmdebug" ,
126 allow a remote kernel kgdb to be relayed to the guest kernel gdb stub
127 via a local IPv4 address and this port.
128 This option will be deprecated in a future version.
129 .It Fl G Ar port
130 Start a debug server that uses the GDB protocol to export guest state to a
131 debugger.
132 An IPv4 TCP socket will be bound to the supplied
133 .Ar port
134 to listen for debugger connections.
135 Only a single debugger may be attached to the debug server at a time.
136 If
137 .Ar port
138 begins with
139 .Sq w ,
140 .Nm
141 will pause execution at the first instruction waiting for a debugger to attach.
142 .It Fl h
143 Print help message and exit.
144 .It Fl H
145 Yield the virtual CPU thread when a HLT instruction is detected.
146 If this option is not specified, virtual CPUs will use 100% of a host CPU.
147 .It Fl l Op Ar help|lpcdev Ns Op , Ns Ar conf
148 Allow devices behind the LPC PCI-ISA bridge to be configured.
149 The only supported devices are the TTY-class devices
150 .Ar com1
151 and
152 .Ar com2
153 and the boot ROM device
154 .Ar bootrom .
155 .Pp
156 .Ar help
157 print a list of supported LPC devices.
158 .It Fl m Ar memsize Ns Op Ar K|k|M|m|G|g|T|t
159 Guest physical memory size in bytes.
160 This must be the same size that was given to
161 .Xr bhyveload 8 .
162 .Pp
163 The size argument may be suffixed with one of K, M, G or T (either upper
164 or lower case) to indicate a multiple of kilobytes, megabytes, gigabytes,
165 or terabytes.
166 If no suffix is given, the value is assumed to be in megabytes.
167 .Pp
168 .Ar memsize
169 defaults to 256M.
170 .It Fl p Ar vcpu:hostcpu
171 Pin guest's virtual CPU
172 .Em vcpu
173 to
174 .Em hostcpu .
175 .It Fl P
176 Force the guest virtual CPU to exit when a PAUSE instruction is detected.
177 .It Fl s Op Ar help|slot,emulation Ns Op , Ns Ar conf
178 Configure a virtual PCI slot and function.
179 .Pp
180 .Nm
181 provides PCI bus emulation and virtual devices that can be attached to
182 slots on the bus.
183 There are 32 available slots, with the option of providing up to 8 functions
184 per slot.
185 .Bl -tag -width 10n
186 .It Ar help
187 print a list of supported PCI devices.
188 .It Ar slot
189 .Ar pcislot[:function]
190 .Ar bus:pcislot:function
191 .Pp
192 The
193 .Ar pcislot
194 value is 0 to 31.
195 The optional
196 .Ar function
197 value is 0 to 7.
198 The optional
199 .Ar bus
200 value is 0 to 255.
201 If not specified, the
202 .Ar function
203 value defaults to 0.
204 If not specified, the
205 .Ar bus
206 value defaults to 0.
207 .It Ar emulation
208 .Bl -tag -width 10n
209 .It Li hostbridge | Li amd_hostbridge
210 .Pp
211 Provide a simple host bridge.
212 This is usually configured at slot 0, and is required by most guest
213 operating systems.
214 The
215 .Li amd_hostbridge
216 emulation is identical but uses a PCI vendor ID of
217 .Li AMD .
218 .It Li passthru
219 PCI pass-through device.
220 .It Li virtio-net
221 Virtio network interface.
222 .It Li virtio-blk
223 Virtio block storage interface.
224 .It Li virtio-scsi
225 Virtio SCSI interface.
226 .It Li virtio-rnd
227 Virtio RNG interface.
228 .It Li virtio-console
229 Virtio console interface, which exposes multiple ports
230 to the guest in the form of simple char devices for simple IO
231 between the guest and host userspaces.
232 .It Li ahci
233 AHCI controller attached to arbitrary devices.
234 .It Li ahci-cd
235 AHCI controller attached to an ATAPI CD/DVD.
236 .It Li ahci-hd
237 AHCI controller attached to a SATA hard-drive.
238 .It Li e1000
239 Intel e82545 network interface.
240 .It Li uart
241 PCI 16550 serial device.
242 .It Li lpc
243 LPC PCI-ISA bridge with COM1 and COM2 16550 serial ports and a boot ROM.
244 The LPC bridge emulation can only be configured on bus 0.
245 .It Li fbuf
246 Raw framebuffer device attached to VNC server.
247 .It Li xhci
248 eXtensible Host Controller Interface (xHCI) USB controller.
249 .It Li nvme
250 NVM Express (NVMe) controller.
251 .El
252 .It Op Ar conf
253 This optional parameter describes the backend for device emulations.
254 If
255 .Ar conf
256 is not specified, the device emulation has no backend and can be
257 considered unconnected.
258 .Pp
259 Network devices:
260 .Bl -tag -width 10n
261 .It Ar tapN Ns Op , Ns Ar mac=xx:xx:xx:xx:xx:xx
262 .It Ar vmnetN Ns Op , Ns Ar mac=xx:xx:xx:xx:xx:xx
263 .Pp
264 If
265 .Ar mac
266 is not specified, the MAC address is derived from a fixed OUI and the
267 remaining bytes from an MD5 hash of the slot and function numbers and
268 the device name.
269 .Pp
270 The MAC address is an ASCII string in
271 .Xr ethers 5
272 format.
273 .El
274 .Pp
275 Block storage devices:
276 .Bl -tag -width 10n
277 .It Pa /filename Ns Oo , Ns Ar block-device-options Oc
278 .It Pa /dev/xxx Ns Oo , Ns Ar block-device-options Oc
279 .El
280 .Pp
281 The
282 .Ar block-device-options
283 are:
284 .Bl -tag -width 8n
285 .It Li nocache
286 Open the file with
287 .Dv O_DIRECT .
288 .It Li direct
289 Open the file using
290 .Dv O_SYNC .
291 .It Li ro
292 Force the file to be opened read-only.
293 .It Li sectorsize= Ns Ar logical Ns Oo / Ns Ar physical Oc
294 Specify the logical and physical sector sizes of the emulated disk.
295 The physical sector size is optional and is equal to the logical sector size
296 if not explicitly specified.
297 .El
298 .Pp
299 SCSI devices:
300 .Bl -tag -width 10n
301 .It Pa /dev/cam/ctl Ns Oo Ar pp . Ns Ar vp Oc Ns Oo , Ns Ar scsi-device-options Oc
302 .El
303 .Pp
304 The
305 .Ar scsi-device-options
306 are:
307 .Bl -tag -width 10n
308 .It Li iid= Ns Ar IID
309 Initiator ID to use when sending requests to specified CTL port.
310 The default value is 0.
311 .El
312 .Pp
313 TTY devices:
314 .Bl -tag -width 10n
315 .It Li stdio
316 Connect the serial port to the standard input and output of
317 the
318 .Nm
319 process.
320 .It Pa /dev/xxx
321 Use the host TTY device for serial port I/O.
322 .El
323 .Pp
324 Boot ROM device:
325 .Bl -tag -width 10n
326 .It Pa romfile
327 Map
328 .Ar romfile
329 in the guest address space reserved for boot firmware.
330 .El
331 .Pp
332 Pass-through devices:
333 .Bl -tag -width 10n
334 .It Ns Ar slot Ns / Ns Ar bus Ns / Ns Ar function
335 Connect to a PCI device on the host at the selector described by
336 .Ar slot ,
337 .Ar bus ,
338 and
339 .Ar function
340 numbers.
341 .El
342 .Pp
343 Guest memory must be wired using the
344 .Fl S
345 option when a pass-through device is configured.
346 .Pp
347 The host device must have been reserved at boot-time using the
348 .Va pptdev
349 loader variable as described in
350 .Xr vmm 4 .
351 .Pp
352 Virtio console devices:
353 .Bl -tag -width 10n
354 .It Li port1= Ns Pa /path/to/port1.sock Ns ,anotherport= Ns Pa ...
355 A maximum of 16 ports per device can be created.
356 Every port is named and corresponds to a Unix domain socket created by
357 .Nm .
358 .Nm
359 accepts at most one connection per port at a time.
360 .Pp
361 Limitations:
362 .Bl -bullet -offset 2n
363 .It
364 Due to lack of destructors in
365 .Nm ,
366 sockets on the filesystem must be cleaned up manually after
367 .Nm
368 exits.
369 .It
370 There is no way to use the "console port" feature, nor the console port
371 resize at present.
372 .It
373 Emergency write is advertised, but no-op at present.
374 .El
375 .El
376 .Pp
377 Framebuffer devices:
378 .Bl -tag -width 10n
379 .It Xo
380 .Oo rfb= Ns Oo Ar IP\&: Oc Ns Ar port Oc Ns Oo ,w= Ns Ar width Oc Ns Oo ,h= Ns
381 .Ar height Oc Ns Oo ,vga= Ns Ar vgaconf Oc Ns Oo Ns ,wait Oc Ns Oo ,password= Ns
382 .Ar password Oc
383 .Xc
384 .Bl -tag -width 8n
385 .It Ar IPv4:port No or Ar [IPv6%zone]:port
386 An
387 .Ar IP
388 address and a
389 .Ar port
390 VNC should listen on.
391 The default is to listen on localhost IPv4 address and default VNC port 5900.
392 An IPv6 address must be enclosed in square brackets and may contain an
393 optional zone identifier.
394 .It Ar width No and Ar height
395 A display resolution, width and height, respectively.
396 If not specified, a default resolution of 1024x768 pixels will be used.
397 Minimal supported resolution is 640x480 pixels,
398 and maximum is 1920x1200 pixels.
399 .It Ar vgaconf
400 Possible values for this option are
401 .Dq io
402 (default),
403 .Dq on
404 , and
405 .Dq off .
406 PCI graphics cards have a dual personality in that they are
407 standard PCI devices with BAR addressing, but may also
408 implicitly decode legacy VGA I/O space
409 .Pq Ad 0x3c0-3df
410 and memory space
411 .Pq 64KB at Ad 0xA0000 .
412 The default
413 .Dq io
414 option should be used for guests that attempt to issue BIOS calls which result
415 in I/O port queries, and fail to boot if I/O decode is disabled.
416 .Pp
417 The
418 .Dq on
419 option should be used along with the CSM BIOS capability in UEFI
420 to boot traditional BIOS guests that require the legacy VGA I/O and
421 memory regions to be available.
422 .Pp
423 The
424 .Dq off
425 option should be used for the UEFI guests that assume that
426 VGA adapter is present if they detect the I/O ports.
427 An example of such a guest is
428 .Ox
429 in UEFI mode.
430 .Pp
431 Please refer to the
432 .Nm
433 .Fx
434 wiki page
435 .Pq Lk https://wiki.freebsd.org/bhyve
436 for configuration notes of particular guests.
437 .It wait
438 Instruct
439 .Nm
440 to only boot upon the initiation of a VNC connection, simplifying the
441 installation of operating systems that require immediate keyboard input.
442 This can be removed for post-installation use.
443 .It password
444 This type of authentication is known to be cryptographically weak and is not
445 intended for use on untrusted networks.
446 Many implementations will want to use stronger security, such as running
447 the session over an encrypted channel provided by IPsec or SSH.
448 .El
449 .El
450 .Pp
451 xHCI USB devices:
452 .Bl -tag -width 10n
453 .It Li tablet
454 A USB tablet device which provides precise cursor synchronization
455 when using VNC.
456 .El
457 .Pp
458 NVMe devices:
459 .Bl -tag -width 10n
460 .It Li devpath
461 Accepted device paths are:
462 .Ar /dev/blockdev
463 or
464 .Ar /path/to/image
465 or
466 .Ar ram=size_in_MiB .
467 .It Li maxq
468 Max number of queues.
469 .It Li qsz
470 Max elements in each queue.
471 .It Li ioslots
472 Max number of concurrent I/O requests.
473 .It Li sectsz
474 Sector size (defaults to blockif sector size).
475 .It Li ser
476 Serial number with maximum 20 characters.
477 .El
478 .El
479 .It Fl S
480 Wire guest memory.
481 .It Fl u
482 RTC keeps UTC time.
483 .It Fl U Ar uuid
484 Set the universally unique identifier
485 .Pq UUID
486 in the guest's System Management BIOS System Information structure.
487 By default a UUID is generated from the host's hostname and
488 .Ar vmname .
489 .It Fl w
490 Ignore accesses to unimplemented Model Specific Registers (MSRs).
491 This is intended for debug purposes.
492 .It Fl W
493 Force virtio PCI device emulations to use MSI interrupts instead of MSI-X
494 interrupts.
495 .It Fl x
496 The guest's local APIC is configured in x2APIC mode.
497 .It Fl Y
498 Disable MPtable generation.
499 .It Ar vmname
500 Alphanumeric name of the guest.
501 This should be the same as that created by
502 .Xr bhyveload 8 .
503 .El
504 .Sh DEBUG SERVER
505 The current debug server provides limited support for debuggers.
506 .Ss Registers
507 Each virtual CPU is exposed to the debugger as a thread.
508 .Pp
509 General purpose registers can be queried for each virtual CPU, but other
510 registers such as floating-point and system registers cannot be queried.
511 .Ss Memory
512 Memory (including memory mapped I/O regions) can be read by the debugger,
513 but not written.
514 Memory operations use virtual addresses that are resolved to physical addresses
515 via the current virtual CPU's active address translation.
516 .Ss Control
517 The running guest can be interrupted by the debugger at any time
518 .Pq for example, by pressing Ctrl-C in the debugger .
519 .Pp
520 Single stepping is only supported on Intel CPUs supporting the MTRAP VM exit.
521 .Pp
522 Breakpoints are not supported.
523 .Sh SIGNAL HANDLING
524 .Nm
525 deals with the following signals:
526 .Pp
527 .Bl -tag -width indent -compact
528 .It SIGTERM
529 Trigger ACPI poweroff for a VM
530 .El
531 .Sh EXIT STATUS
532 Exit status indicates how the VM was terminated:
533 .Pp
534 .Bl -tag -width indent -compact
535 .It 0
536 rebooted
537 .It 1
538 powered off
539 .It 2
540 halted
541 .It 3
542 triple fault
543 .It 4
544 exited due to an error
545 .El
546 .Sh EXAMPLES
547 If not using a boot ROM, the guest operating system must have been loaded with
548 .Xr bhyveload 8
549 or a similar boot loader before
550 .Xr bhyve 4
551 can be run.
552 Otherwise, the boot loader is not needed.
553 .Pp
554 To run a virtual machine with 1GB of memory, two virtual CPUs, a virtio
555 block device backed by the
556 .Pa /my/image
557 filesystem image, and a serial port for the console:
558 .Bd -literal -offset indent
559 bhyve -c 2 -s 0,hostbridge -s 1,lpc -s 2,virtio-blk,/my/image \\
560   -l com1,stdio -A -H -P -m 1G vm1
561 .Ed
562 .Pp
563 Run a 24GB single-CPU virtual machine with three network ports, one of which
564 has a MAC address specified:
565 .Bd -literal -offset indent
566 bhyve -s 0,hostbridge -s 1,lpc -s 2:0,virtio-net,tap0 \\
567   -s 2:1,virtio-net,tap1 \\
568   -s 2:2,virtio-net,tap2,mac=00:be:fa:76:45:00 \\
569   -s 3,virtio-blk,/my/image -l com1,stdio \\
570   -A -H -P -m 24G bigvm
571 .Ed
572 .Pp
573 Run an 8GB quad-CPU virtual machine with 8 AHCI SATA disks, an AHCI ATAPI
574 CD-ROM, a single virtio network port, an AMD hostbridge, and the console
575 port connected to an
576 .Xr nmdm 4
577 null-modem device.
578 .Bd -literal -offset indent
579 bhyve -c 4 \\
580   -s 0,amd_hostbridge -s 1,lpc \\
581   -s 1:0,ahci,hd:/images/disk.1,hd:/images/disk.2,\\
582 hd:/images/disk.3,hd:/images/disk.4,\\
583 hd:/images/disk.5,hd:/images/disk.6,\\
584 hd:/images/disk.7,hd:/images/disk.8,\\
585 cd:/images/install.iso \\
586   -s 3,virtio-net,tap0 \\
587   -l com1,/dev/nmdm0A \\
588   -A -H -P -m 8G
589 .Ed
590 .Pp
591 Run a UEFI virtual machine with a display resolution of 800 by 600 pixels
592 that can be accessed via VNC at: 0.0.0.0:5900.
593 .Bd -literal -offset indent
594 bhyve -c 2 -m 4G -w -H \\
595   -s 0,hostbridge \\
596   -s 3,ahci-cd,/path/to/uefi-OS-install.iso \\
597   -s 4,ahci-hd,disk.img \\
598   -s 5,virtio-net,tap0 \\
599   -s 29,fbuf,tcp=0.0.0.0:5900,w=800,h=600,wait \\
600   -s 30,xhci,tablet \\
601   -s 31,lpc -l com1,stdio \\
602   -l bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd \\
603    uefivm
604 .Ed
605 .Pp
606 Run a UEFI virtual machine with a VNC display that is bound to all IPv6
607 addresses on port 5900.
608 .Bd -literal -offset indent
609 bhyve -c 2 -m 4G -w -H \\
610   -s 0,hostbridge \\
611   -s 4,ahci-hd,disk.img \\
612   -s 5,virtio-net,tap0 \\
613   -s 29,fbuf,tcp=[::]:5900,w=800,h=600 \\
614   -s 30,xhci,tablet \\
615   -s 31,lpc -l com1,stdio \\
616   -l bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd \\
617    uefivm
618 .Ed
619 .Sh SEE ALSO
620 .Xr bhyve 4 ,
621 .Xr nmdm 4 ,
622 .Xr vmm 4 ,
623 .Xr ethers 5 ,
624 .Xr bhyvectl 8 ,
625 .Xr bhyveload 8
626 .Pp
627 .Rs
628 .%A Intel
629 .%B 64 and IA-32 Architectures Software Developer’s Manual
630 .%V Volume 3
631 .Re
632 .Sh HISTORY
633 .Nm
634 first appeared in
635 .Fx 10.0 .
636 .Sh AUTHORS
637 .An Neel Natu Aq Mt neel@freebsd.org
638 .An Peter Grehan Aq Mt grehan@freebsd.org