Fix apparent mis-paste in previous check-in by author.

Commit manpages for lockmgr_args_rw(9) and lockmgr_rw(9).

In in_pcbnotifyall() and in6_pcbnotify(), use LIST_FOREACH_SAFE() and
eliminate unnecessary local variable caching of the list head pointer,
making the code a bit easier to read.

MFC after: 3 weeks

Fix a stupid typo.

Reviewed by: bz

Bump __FreeBSD_version in order to reflect lockmgr_rw() and
lockmgr_args_rw() introduction.

Optimize lockmgr in order to get rid of the pool mutex interlock, of the
state transitioning flags and of msleep(9) callings.
Use, instead, an algorithm very similar to what sx(9) and rwlock(9)
alredy do and direct accesses to the sleepqueue(9) primitive.

In order to avoid writer starvation a mechanism very similar to what
rwlock(9) uses now is implemented, with the correspective per-thread
shared lockmgrs counter.

This patch also adds 2 new functions to lockmgr KPI: lockmgr_rw() and
lockmgr_args_rw().  These two are like the 2 "normal" versions, but they
both accept a rwlock as interlock.  In order to realize this, the general
lockmgr manager function "__lockmgr_args()" has been implemented through
the generic lock layer. It supports all the blocking primitives, but
currently only these 2 mappers live.

The patch drops the support for WITNESS atm, but it will be probabilly
added soon. Also, there is a little race in the draining code which is
also present in the current CVS stock implementation: if some sharers,
once they wakeup, are in the runqueue they can contend the lock with
the exclusive drainer.  This is hard to be fixed but the now committed
code mitigate this issue a lot better than the (past) CVS version.
In addition assertive KA_HELD and KA_UNHELD have been made mute
assertions because they are dangerous and they will be nomore supported
soon.

In order to avoid namespace pollution, stack.h is splitted into two
parts: one which includes only the "struct stack" definition (_stack.h)
and one defining the KPI.  In this way, newly added _lockmgr.h can
just include _stack.h.

Kernel ABI results heavilly changed by this commit (the now committed
version of "struct lock" is a lot smaller than the previous one) and
KPI results broken by lockmgr_rw() / lockmgr_args_rw() introduction,
so manpages and __FreeBSD_version will be updated accordingly.

Tested by:      kris, pho, jeff, danger
Reviewed by:    jeff
Sponsored by:   Google, Summer of Code program 2007

Introduce vm_reserv_reclaim_contig().  This function is used by
contigmalloc(9) as a last resort to steal pages from an inactive,
partially-used superpage reservation.

Rename vm_reserv_reclaim() to vm_reserv_reclaim_inactive() and
refactor it so that a separate subroutine is responsible for breaking
the selected reservation.  This subroutine is also used by
vm_reserv_reclaim_contig().

Rewrite node's r/w/q-lock semantics using only atomics instead of mutex
and atomics combination. Mutex is now used only for queue protection.
Also avoid unneded extra swi scheduling calls.

Call listen(2) on bound tcp sockets before passing them to svc_tli_create.

 - Correct a major error introduced in the per-cpu timeout commit.  Sleep
   and wakeup require the same wait channel to function properly.

Found by: kris
Pointy hat: me

Remove bus_space_generic.c from the per-plarform files. Having it in the
per-cpu files should be enough.

Add bus_space_generic.c for the i81342 as well.

Turn a tab into a space.  This fixes a misalignment for ls -l.

Tabs Noticed by: Antoine Brodin

Move INTR_FILTER from opt_global.h to its own header.

Add a MI intr_event_handle() routine for the non-INTR_FILTER case.  This
allows all the INTR_FILTER #ifdef's to be removed from the MD interrupt
code.
- Rename the intr_event 'eoi', 'disable', and 'enable' hooks to
  'post_filter', 'pre_ithread', and 'post_ithread' to be less x86-centric.
  Also, add a comment describe what the MI code expects them to do.
- On amd64, i386, and powerpc this is effectively a NOP.
- On arm, don't bother masking the interrupt unless the ithread is
  scheduled in the non-INTR_FILTER case to match what INTR_FILTER did.
  Also, don't bother unmasking the interrupt in the post_filter case if
  we never masked it.  The INTR_FILTER case had been doing this by having
  arm_unmask_irq for the post_filter (formerly 'eoi') hook.
- On ia64, stray interrupts are now masked for the non-INTR_FILTER case.
  They were already masked in the INTR_FILTER case.
- On sparc64, use the a NULL pre_ithread hook and use intr_enable_eoi() for
  both the 'post_filter' and 'post_ithread' hooks to match what the
  non-INTR_FILTER code did.
- On sun4v, retire the ithread wrapper hack by using an appropriate
  'post_ithread' hook instead (it's what 'post_ithread'/'enable' was
  designed to do even in 5.x).

Glanced at by: piso
Reviewed by: marius
Requested by: marius [1], [5]
Tested on: amd64, i386, arm, sparc64

New release notes: ULE default (+MFC), aac(4) >2TB volume support
(+MFC), kernel-mode NLM, adduser(8) -M (+MFC), ls(1) -D, nc(1) -O,
pkg_sign/pkg_check gone.

MFCs noted:  textdump(4), cmx(4), uslcom(4),

During attach on some de(4) adapters the driver sends out a test packet as
part of detecting the media.  Explicitly ensure that we don't send it to
bpf(4) as bpf(4) isn't setup yet.  This worked by accident before the bpf
interface stuff was reworked to avoid other races (bpf_peers_present, etc.)
but now it needs an explicit check to avoid a panic.

MFC after: 3 days
PR: kern/120915

Correct typo.

On i386, don't try to do network-type stuff if the device name is'nt pxeN.

GPE lock may recurse on resume path.

Allow for a zero length 'loader'.

Eliminate an unnecessary test from vm_phys_unfree_page().

Add support for IC Plus IP1001 PHY.

Tested by: Stuart Fraser < stuart AT stuartfraser DOT net >

MFp4(mips2-jnpr):

Add mips support.

Add mips support.

MFp4 (mips2-jnpr):
o Default to -O on mips as well as arm.  -O2 has been strongly implicated
  in many problems in the past, so we're taking a conservative approach
  until the problems are well understood.

MFp4: Add mips support for dynamic linking.

This code came from the merged mips2 and Juniper mips repositories.
Warner Losh, Randall Seager, Oleksandr Tymoshenko and Olivier Houchard
worked to merge, debug and integrate this code.  This code may also
contain code derived from NetBSD.

If you build a compiler with TARGET_BIG_ENDIAN, and then try to build
a little endian kernel, things break.  Be explicit about the endian
choice by setting it in the little endian case as well.

Update a comment to vm_map_pmap_enter().

Reintroduce UMA_SLAB_KMAP; however, change its spelling to
UMA_SLAB_KERNEL for consistency with its sibling UMA_SLAB_KMEM.
(UMA_SLAB_KMAP met its original demise in revision 1.30 of
vm/uma_core.c.)  UMA_SLAB_KERNEL is now required by the jumbo frame
allocators.  Without it, UMA cannot correctly return pages from the
jumbo frame zones to the VM system because it resets the pages' object
field to NULL instead of the kernel object.  In more detail, the jumbo
frame zones are created with the option UMA_ZONE_REFCNT.  This causes
UMA to overwrite the pages' object field with the address of the slab.
However, when UMA wants to release these pages, it doesn't know how to
restore the object field, so it sets it to NULL.  This change teaches
UMA how to reset the object field to the kernel object.

Crashes reported by: kris
Fix tested by: kris
Fix discussed with: jeff
MFC after: 6 weeks

Fix stupid typo

Eliminate an unnecessary test and its misleading comment from pmap_enter().

Make kernel.tramp build properly on ARM9E.

Reviewed by: imp
Approved by: cognet (mentor)

Add note about PZERO being obsolete, because so much code uses it.
Feel free to improve the verbage, since this was a compromise between
conflicting feedback I got on my original version.

 - Add sysctls at debug.rwlock to control the behavior of the speculative
   spinning when readers hold a lock.  This spinning is speculative because,
   unlike the write case, we can not test whether the owners are running.
 - Add speculative read spinning for readers who are blocked by pending
   writers while a read lock is still held.  This allows the thread to
   spin until the write lock succeeds after which it may spin until the
   writer has released the lock.  This prevents excessive context switches
   when readers and writers both hold the lock for brief periods.

Sponsored by: Nokia

Add some compatibility code so that software which is built to use the new
struct flock with l_sysid member can work properly on an an old kernel which
doesn't support l_sysid.

Sponsored by: Isilon Systems

The temporary workaround for the call to the vget() without lock type in
the fdesc_allocvp(). The caller of the fdesc_allocvp() expects that the
returned vnode is not reclaimed. Do lock the vnode exclusive and drop
the lock after.

Reported by: pho
Reviewed by: jeff

- Normalize usage(), add "ddb pathname" syntax.
- Revise the manpage.

- Add -D to usage().
- Bump document date for the addition of the -D option.
- Reformat a sentence to look like a real sentence.

Add -D option to specify exact format of date and time output with ls -l.

Add comment about specifying "ro" mount option when
doing an update mount on a read-only file system.

Requested by: yar

 - Add a Nokia copyright to cpuset to reflect their generous
   contribution to this work.

 - Allow static_boost to specify no boost with '0', traditional kernel
   fixed pri boost with '1' or any priority less than the current thread's
   priority with a value greater than two.  Default the boost to
   PRI_MIN_TIMESHARE to prevent regular user-space threads from starving
   threads in the kernel.  This prevents these user-threads from also
   being scheduled as if they are high fixed-priority kernel threads.
 - Restore the setting of lowpri in tdq_choose().  It has to be either here
   or in sched_switch().  I accidentally removed it from both places.

Tested by: kris

 - Don't check for the ITHD pri class in tdq_load_add and rem.  4BSD doesn't
   do this either.  Simply check P_NOLOAD.  It'd be nice if this was
   in a thread flag so we didn't have an extra cache miss every time we
   add and remove a thread from the run-queue.

 - Fix a mis-merge that crept in during the softclock changes.

Spotted by: jhb

Allow crashdumps on machines with >4GB of RAM as long as the adapter can
do 64-bit S/G.

Submitted by: Alex Bencz
Reviewed by: scottl

Fix the build breakage, need the | between dependencies, I didn't
realize that :(

Always build kernel.tramp.  This should be helpful for a lot of
people, as well making sure it doesn't break.

Use safer string handling.

Reviewed by: security-team

Minor style(9) nit: move to using ANSI definition of functions.

Now really add the bus_space_generic.c file...

Reviewed by: sam
Approved by: cognet (mentor)

Refactor certain ARM bus space methods: instead of having multiple copies of
the same code introduce sys/arm/arm/bus_space_generic.c for a shared set of
routines.

Reviewed by: sam
Approved by: cognet (mentor)

Fix AVILA build.

Reviewed by: sam
Approved by: cognet(mentor)

Align functions to 16-byte boundaries due to profiling granularity.

Set sc_psim so that the openpic core can correct the off-by-one
error in the number of IRQs that PSIM gives us.

Take the first baby step towards unifying and cleaning up arminit():
- Pull all the code to deal with the trampoline stuff into one
  centeralized place and use it from everywhere.
- Some minor style tidiness

Reviewed by: tinguely

Fix descriptions of "struct msqid_ds and "struct ipc_perm" to match
harsh reality.

Don't force a reset at driver attach time.  It doesn't work on some
adapters, apparently.

let umtxq_busy() only spin on mp machine. make function name
do_rwlock_unlock to be consistent with others.

Put back the quote from Chinggis Khan removed in rev. 1.259.
The quote predated rev. 1.232, which rev. 1.259 was to correct;
therefore it was protected by the "Don't remove fortunes" rule.

Noticed by: ceri
Pointy hat to: yar

Another build fix

Fix a lint issue in the build.

Add some tests for fma(), fmaf(), and fmal().

Fix some corner cases:
- fma(x, y, z) returns z, not NaN, if z is infinite, x and y are finite,
  x*y overflows, and x*y and z have opposite signs.
- fma(x, y, z) doesn't generate an overflow, underflow, or inexact exception
  if z is NaN or infinite, as per IEEE 754R.
- If the rounding mode is set to FE_DOWNWARD, fma(1.0, 0.0, -0.0) is -0.0,
  not +0.0.

KERNBASE + 0x00200000 is the same thing as KERNVIRTADDR on this
platform, so use the latter in preference to the former.  This makes
the fake_preload setup be the same between kb920x_machdep.c and
avila_machdep.c....

Remove unnecessary #define.

Add a manual page and a Makefile.

Add code to reflect packets back from the sink so that we can measure
round trip at the source.

put THR_CRITICAL_LEAVE into do .. while statement.

style(9) cleanup

add __hidden suffix to _umtx_op_err, this eliminates PLT.

Fix minor bug in last checkin, NO_STRICT_ALIGNMENT code.

This update primarily addresses the ability to have both the em
and the igb driver static in the kernel. But it also reflects
some other bug fixes in my development stream at Intel.
PR 122373 is also fixed in this code.

Back out revision 1.6, the addition of "BEFORE: mountcritremote".

mountcritremote REQUIREs FILESYSTEMS, and that script REQUIREs zfs,
so this change is a noop. By removing it we make life a little easier
both for rcorder(8) and for debugging down the road.

Approved by: 2 weeks of silence from pjd

PR ports/121363 (& ports/73797) has been committed, so we can now go back
to JB's revision 1.96 change to remove -fno-strict-aliasing from CFLAGS.

This makes the default CFLAGS to match the simple defaults that the
tinderboxes use.  By using -fno-strict-aliasing by default we are
choosing to ignore problems in code which had the potential to
shoot ourselves in the foot.

Add zyd, ural, and rum.  They were missing.

Initialize if_baudrate using IF_Gbps() macro.

Note that if_baudrate is a long, and 32-bits isn't enough to properly
represent 10Gb/s.

Pointed out by: dwhite

Non-portable functions are in pthread_np.h, fix compiling problem.

 - Convert two timeout users to the new callout_reset_curcpu() api.

Sponsored by: Nokia

Implement per-cpu callout threads, wheels, and locks.

 - Move callout thread creation from kern_intr.c to kern_timeout.c
 - Call callout_tick() on every processor via hardclock_cpu() rather than
   inspecting callout internal details in kern_clock.c.
 - Remove callout implementation details from callout.h
 - Package up all of the global variables into a per-cpu callout structure.
 - Start one thread per-cpu.  Threads are not strictly bound.  They prefer
   to execute on the native cpu but may migrate temporarily if interrupts
   are starving callout processing.
 - Run all callouts by default in the thread for cpu0 to maintain current
   ordering and concurrency guarantees.  Many consumers may not properly
   handle concurrent execution.
 - The new callout_reset_on() api allows specifying a particular cpu to
   execute the callout on.  This may migrate a callout to a new cpu.
   callout_reset() schedules on the last assigned cpu while
   callout_reset_curcpu() schedules on the current cpu.

Reviewed by: phk
Sponsored by: Nokia

Add two missed chunks from the rev. 1.210, for the giant_read() and
giant_ioctl().

PR: kern/122287
MFC after: 3 days

 - Destroy the bo mtx when the vnode is destroyed.

Spell -t option's argument by name.

Add pthread_setaffinity_np and pthread_getaffinity_np to libc namespace.

Remove unused functions.

Replace function _umtx_op with _umtx_op_err, the later function directly
returns errno, because errno can be mucked by user's signal handler and
most of pthread api heavily depends on errno to be correct, this change
should improve stability of the thread library.

Fix compiling problem for amd64.

Optimize pmap_pml4e() and pmap_pdpe() based upon two observations: The
given pmap is never NULL, and therefore pmap_pml4e() can never return
NULL.  The pervasive use of these inline functions throughout the pmap
makes these simple changes worthwhile.

Replace userland rwlock with a pure kernel based rwlock, the new
implementation does not switch pointers when it resumes waiters.

Asked by: jeff

Er, don't restart a timeout version.

Introduce kernel based userland rwlock. Each umtx chain now has two lists,
one for readers and one for writers, other types of synchronization
object just use first list.

Asked by: jeff

Add manpages for rw_try_rlock() and rw_try_wlock() functions.

Calling RequestSupplementAdapterInfo before RequestAdapterInfo appears
to trip a bug causing the latter to return a zeroed struct
aac_adapter_info.  This causes two issues.  One is cosmetic only --
a verbose boot prints information about the controller, and shows all
zero:

aac0: Unknown processor 0MHz, 0MB memory (0MB cache, 0MB execution),
  unknown battery platform

The second problem is that the firmware version information is stored
away for aac_rev_check, for userland tools (like aaccli) to query via
the FSACTL_MINIPORT_REV_CHECK and FSACTL_LNX_MINIPORT_REV_CHECK ioctls.
When aaccli encounters this issue it prints

Command Error: <The current AFAAPI.DLL is too old to work with the
  current controller software.>

Move the RequestSupplementAdapterInfo call after RequestAdapterInfo,
which seems to fix both problems.

Bump __FreeBSD_version in order to reflect rw_try_rlock() and
rw_try_wlock() functions introduction.

Add rw_try_rlock() and rw_try_wlock() to rwlocks.
These functions try the specified operation (rlocking and wlocking) and
true is returned if the operation completes, false otherwise.

The KPI is enriched by this commit, so __FreeBSD_version bumping and
manpage updating will happen soon.

Requested by: jeff, kris

Don't try to use an SX lock while holding the vnode interlock.

Sponsored by: Isilon Systems

Add an -O option to disable TCP options, for protocol testing purposes.
Do this for active and passive (-l switch) TCP sessions.

MFC after: 1 week

Add pkg_check and pkg_sign to ObsoleteFiles.inc

Reminded by: Pawel Worach
MFC after: 1 week

Correct the prototype for the faccessat().

Reported by: ru

Connect malo.4 to the build.

Approved by: thompsa (mentor)

Normally, we are often reading local time rather than setting time zone,
replace mutex with rwlock, this should eliminate lock contention in
most cases.