sys/compat/linuxkpi/common/include/linux/list.h

   1 /*-
   2  * Copyright (c) 2010 Isilon Systems, Inc.
   3  * Copyright (c) 2010 iX Systems, Inc.
   4  * Copyright (c) 2010 Panasas, Inc.
   5  * Copyright (c) 2013-2016 Mellanox Technologies, Ltd.
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice unmodified, this list of conditions, and the following
  13  *    disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in the
  16  *    documentation and/or other materials provided with the distribution.
  17  *
  18  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  19  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  20  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  21  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  22  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  23  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  24  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  25  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  26  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  27  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  28  *
  29  * $FreeBSD$
  30  */
  31 #ifndef _LINUX_LIST_H_
  32 #define _LINUX_LIST_H_
  33
  34 /*
  35  * Since LIST_HEAD conflicts with the linux definition we must include any
  36  * FreeBSD header which requires it here so it is resolved with the correct
  37  * definition prior to the undef.
  38  */
  39 #include <linux/types.h>
  40
  41 #include <sys/param.h>
  42 #include <sys/kernel.h>
  43 #include <sys/queue.h>
  44 #include <sys/cpuset.h>
  45 #include <sys/jail.h>
  46 #include <sys/lock.h>
  47 #include <sys/mutex.h>
  48 #include <sys/proc.h>
  49 #include <sys/vnode.h>
  50 #include <sys/conf.h>
  51 #include <sys/socket.h>
  52 #include <sys/mbuf.h>
  53
  54 #include <net/bpf.h>
  55 #include <net/if.h>
  56 #include <net/if_var.h>
  57 #include <net/if_types.h>
  58 #include <net/if_media.h>
  59 #include <net/vnet.h>
  60
  61 #include <netinet/in.h>
  62 #include <netinet/in_pcb.h>
  63 #include <netinet/in_var.h>
  64 #include <netinet/tcp_lro.h>
  65
  66 #include <netinet6/in6_var.h>
  67 #include <netinet6/nd6.h>
  68
  69 #include <vm/vm.h>
  70 #include <vm/vm_object.h>
  71 #include <vm/pmap.h>
  72
  73 #ifndef prefetch
  74 #define prefetch(x)
  75 #endif
  76
  77 #define LINUX_LIST_HEAD_INIT(name) { &(name), &(name) }
  78
  79 #define LINUX_LIST_HEAD(name) \
  80         struct list_head name = LINUX_LIST_HEAD_INIT(name)
  81
  82 #ifndef LIST_HEAD_DEF
  83 #define LIST_HEAD_DEF
  84 struct list_head {
  85         struct list_head *next;
  86         struct list_head *prev;
  87 };
  88 #endif
  89
  90 static inline void
  91 INIT_LIST_HEAD(struct list_head *list)
  92 {
  93
  94         list->next = list->prev = list;
  95 }
  96
  97 static inline int
  98 list_empty(const struct list_head *head)
  99 {
 100
 101         return (head->next == head);
 102 }
 103
 104 static inline int
 105 list_empty_careful(const struct list_head *head)
 106 {
 107         struct list_head *next = head->next;
 108
 109         return ((next == head) && (next == head->prev));
 110 }
 111
 112 static inline void
 113 __list_del(struct list_head *prev, struct list_head *next)
 114 {
 115         next->prev = prev;
 116         WRITE_ONCE(prev->next, next);
 117 }
 118
 119 static inline void
 120 __list_del_entry(struct list_head *entry)
 121 {
 122
 123         __list_del(entry->prev, entry->next);
 124 }
 125
 126 static inline void
 127 list_del(struct list_head *entry)
 128 {
 129
 130         __list_del(entry->prev, entry->next);
 131 }
 132
 133 static inline void
 134 list_replace(struct list_head *old, struct list_head *new)
 135 {
 136         new->next = old->next;
 137         new->next->prev = new;
 138         new->prev = old->prev;
 139         new->prev->next = new;
 140 }
 141
 142 static inline void
 143 list_replace_init(struct list_head *old, struct list_head *new)
 144 {
 145         list_replace(old, new);
 146         INIT_LIST_HEAD(old);
 147 }
 148
 149 static inline void
 150 linux_list_add(struct list_head *new, struct list_head *prev,
 151     struct list_head *next)
 152 {
 153
 154         next->prev = new;
 155         new->next = next;
 156         new->prev = prev;
 157         prev->next = new;
 158 }
 159
 160 static inline void
 161 list_del_init(struct list_head *entry)
 162 {
 163
 164         list_del(entry);
 165         INIT_LIST_HEAD(entry);
 166 }
 167
 168 #define list_entry(ptr, type, field)    container_of(ptr, type, field)
 169
 170 #define list_first_entry(ptr, type, member) \
 171         list_entry((ptr)->next, type, member)
 172
 173 #define list_last_entry(ptr, type, member)      \
 174         list_entry((ptr)->prev, type, member)
 175
 176 #define list_first_entry_or_null(ptr, type, member) \
 177         (!list_empty(ptr) ? list_first_entry(ptr, type, member) : NULL)
 178
 179 #define list_next_entry(ptr, member)                                    \
 180         list_entry(((ptr)->member.next), typeof(*(ptr)), member)
 181
 182 #define list_safe_reset_next(ptr, n, member) \
 183         (n) = list_next_entry(ptr, member)
 184
 185 #define list_prev_entry(ptr, member)                                    \
 186         list_entry(((ptr)->member.prev), typeof(*(ptr)), member)
 187
 188 #define list_for_each(p, head)                                          \
 189         for (p = (head)->next; p != (head); p = (p)->next)
 190
 191 #define list_for_each_safe(p, n, head)                                  \
 192         for (p = (head)->next, n = (p)->next; p != (head); p = n, n = (p)->next)
 193
 194 #define list_for_each_entry(p, h, field)                                \
 195         for (p = list_entry((h)->next, typeof(*p), field); &(p)->field != (h); \
 196             p = list_entry((p)->field.next, typeof(*p), field))
 197
 198 #define list_for_each_entry_safe(p, n, h, field)                        \
 199         for (p = list_entry((h)->next, typeof(*p), field),              \
 200             n = list_entry((p)->field.next, typeof(*p), field); &(p)->field != (h);\
 201             p = n, n = list_entry(n->field.next, typeof(*n), field))
 202
 203 #define list_for_each_entry_from(p, h, field) \
 204         for ( ; &(p)->field != (h); \
 205             p = list_entry((p)->field.next, typeof(*p), field))
 206
 207 #define list_for_each_entry_continue(p, h, field)                       \
 208         for (p = list_next_entry((p), field); &(p)->field != (h);       \
 209             p = list_next_entry((p), field))
 210
 211 #define list_for_each_entry_safe_from(pos, n, head, member)                     \
 212         for (n = list_entry((pos)->member.next, typeof(*pos), member);          \
 213              &(pos)->member != (head);                                          \
 214              pos = n, n = list_entry(n->member.next, typeof(*n), member))
 215
 216 #define list_for_each_entry_reverse(p, h, field)                        \
 217         for (p = list_entry((h)->prev, typeof(*p), field); &(p)->field != (h); \
 218             p = list_entry((p)->field.prev, typeof(*p), field))
 219
 220 #define list_for_each_entry_safe_reverse(p, n, h, field)                \
 221         for (p = list_entry((h)->prev, typeof(*p), field),              \
 222             n = list_entry((p)->field.prev, typeof(*p), field); &(p)->field != (h); \
 223             p = n, n = list_entry(n->field.prev, typeof(*n), field))
 224
 225 #define list_for_each_entry_continue_reverse(p, h, field) \
 226         for (p = list_entry((p)->field.prev, typeof(*p), field); &(p)->field != (h); \
 227             p = list_entry((p)->field.prev, typeof(*p), field))
 228
 229 #define list_for_each_prev(p, h) for (p = (h)->prev; p != (h); p = (p)->prev)
 230
 231 static inline void
 232 list_add(struct list_head *new, struct list_head *head)
 233 {
 234
 235         linux_list_add(new, head, head->next);
 236 }
 237
 238 static inline void
 239 list_add_tail(struct list_head *new, struct list_head *head)
 240 {
 241
 242         linux_list_add(new, head->prev, head);
 243 }
 244
 245 static inline void
 246 list_move(struct list_head *list, struct list_head *head)
 247 {
 248
 249         list_del(list);
 250         list_add(list, head);
 251 }
 252
 253 static inline void
 254 list_move_tail(struct list_head *entry, struct list_head *head)
 255 {
 256
 257         list_del(entry);
 258         list_add_tail(entry, head);
 259 }
 260
 261 static inline void
 262 linux_list_splice(const struct list_head *list, struct list_head *prev,
 263     struct list_head *next)
 264 {
 265         struct list_head *first;
 266         struct list_head *last;
 267
 268         if (list_empty(list))
 269                 return;
 270         first = list->next;
 271         last = list->prev;
 272         first->prev = prev;
 273         prev->next = first;
 274         last->next = next;
 275         next->prev = last;
 276 }
 277
 278 static inline void
 279 list_splice(const struct list_head *list, struct list_head *head)
 280 {
 281
 282         linux_list_splice(list, head, head->next);
 283 }
 284
 285 static inline void
 286 list_splice_tail(struct list_head *list, struct list_head *head)
 287 {
 288
 289         linux_list_splice(list, head->prev, head);
 290 }
 291
 292 static inline void
 293 list_splice_init(struct list_head *list, struct list_head *head)
 294 {
 295
 296         linux_list_splice(list, head, head->next);
 297         INIT_LIST_HEAD(list);
 298 }
 299
 300 static inline void
 301 list_splice_tail_init(struct list_head *list, struct list_head *head)
 302 {
 303
 304         linux_list_splice(list, head->prev, head);
 305         INIT_LIST_HEAD(list);
 306 }
 307
 308 #undef LIST_HEAD
 309 #define LIST_HEAD(name) struct list_head name = { &(name), &(name) }
 310
 311
 312 struct hlist_head {
 313         struct hlist_node *first;
 314 };
 315
 316 struct hlist_node {
 317         struct hlist_node *next, **pprev;
 318 };
 319
 320 #define HLIST_HEAD_INIT { }
 321 #define HLIST_HEAD(name) struct hlist_head name = HLIST_HEAD_INIT
 322 #define INIT_HLIST_HEAD(head) (head)->first = NULL
 323 #define INIT_HLIST_NODE(node)                                           \
 324 do {                                                                    \
 325         (node)->next = NULL;                                            \
 326         (node)->pprev = NULL;                                           \
 327 } while (0)
 328
 329 static inline int
 330 hlist_unhashed(const struct hlist_node *h)
 331 {
 332
 333         return !h->pprev;
 334 }
 335
 336 static inline int
 337 hlist_empty(const struct hlist_head *h)
 338 {
 339
 340         return !READ_ONCE(h->first);
 341 }
 342
 343 static inline void
 344 hlist_del(struct hlist_node *n)
 345 {
 346
 347         WRITE_ONCE(*(n->pprev), n->next);
 348         if (n->next != NULL)
 349                 n->next->pprev = n->pprev;
 350 }
 351
 352 static inline void
 353 hlist_del_init(struct hlist_node *n)
 354 {
 355
 356         if (hlist_unhashed(n))
 357                 return;
 358         hlist_del(n);
 359         INIT_HLIST_NODE(n);
 360 }
 361
 362 static inline void
 363 hlist_add_head(struct hlist_node *n, struct hlist_head *h)
 364 {
 365
 366         n->next = h->first;
 367         if (h->first != NULL)
 368                 h->first->pprev = &n->next;
 369         WRITE_ONCE(h->first, n);
 370         n->pprev = &h->first;
 371 }
 372
 373 static inline void
 374 hlist_add_before(struct hlist_node *n, struct hlist_node *next)
 375 {
 376
 377         n->pprev = next->pprev;
 378         n->next = next;
 379         next->pprev = &n->next;
 380         WRITE_ONCE(*(n->pprev), n);
 381 }
 382
 383 static inline void
 384 hlist_add_behind(struct hlist_node *n, struct hlist_node *prev)
 385 {
 386
 387         n->next = prev->next;
 388         WRITE_ONCE(prev->next, n);
 389         n->pprev = &prev->next;
 390
 391         if (n->next != NULL)
 392                 n->next->pprev = &n->next;
 393 }
 394
 395 static inline void
 396 hlist_move_list(struct hlist_head *old, struct hlist_head *new)
 397 {
 398
 399         new->first = old->first;
 400         if (new->first)
 401                 new->first->pprev = &new->first;
 402         old->first = NULL;
 403 }
 404
 405 static inline int list_is_singular(const struct list_head *head)
 406 {
 407         return !list_empty(head) && (head->next == head->prev);
 408 }
 409
 410 static inline void __list_cut_position(struct list_head *list,
 411                 struct list_head *head, struct list_head *entry)
 412 {
 413         struct list_head *new_first = entry->next;
 414         list->next = head->next;
 415         list->next->prev = list;
 416         list->prev = entry;
 417         entry->next = list;
 418         head->next = new_first;
 419         new_first->prev = head;
 420 }
 421
 422 static inline void list_cut_position(struct list_head *list,
 423                 struct list_head *head, struct list_head *entry)
 424 {
 425         if (list_empty(head))
 426                 return;
 427         if (list_is_singular(head) &&
 428                 (head->next != entry && head != entry))
 429                 return;
 430         if (entry == head)
 431                 INIT_LIST_HEAD(list);
 432         else
 433                 __list_cut_position(list, head, entry);
 434 }
 435
 436 static inline int list_is_last(const struct list_head *list,
 437                                 const struct list_head *head)
 438 {
 439         return list->next == head;
 440 }
 441
 442 #define hlist_entry(ptr, type, field)   container_of(ptr, type, field)
 443
 444 #define hlist_for_each(p, head)                                         \
 445         for (p = (head)->first; p; p = (p)->next)
 446
 447 #define hlist_for_each_safe(p, n, head)                                 \
 448         for (p = (head)->first; p && ({ n = (p)->next; 1; }); p = n)
 449
 450 #define hlist_entry_safe(ptr, type, member) \
 451         ((ptr) ? hlist_entry(ptr, type, member) : NULL)
 452
 453 #define hlist_for_each_entry(pos, head, member)                         \
 454         for (pos = hlist_entry_safe((head)->first, typeof(*(pos)), member);\
 455              pos;                                                       \
 456              pos = hlist_entry_safe((pos)->member.next, typeof(*(pos)), member))
 457
 458 #define hlist_for_each_entry_continue(pos, member)                      \
 459         for (pos = hlist_entry_safe((pos)->member.next, typeof(*(pos)), member); \
 460              (pos);                                                     \
 461              pos = hlist_entry_safe((pos)->member.next, typeof(*(pos)), member))
 462
 463 #define hlist_for_each_entry_from(pos, member)                          \
 464         for (; (pos);                                                           \
 465              pos = hlist_entry_safe((pos)->member.next, typeof(*(pos)), member))
 466
 467 #define hlist_for_each_entry_safe(pos, n, head, member)                 \
 468         for (pos = hlist_entry_safe((head)->first, typeof(*(pos)), member); \
 469              (pos) && ({ n = (pos)->member.next; 1; });                 \
 470              pos = hlist_entry_safe(n, typeof(*(pos)), member))
 471
 472 extern void list_sort(void *priv, struct list_head *head, int (*cmp)(void *priv,
 473     struct list_head *a, struct list_head *b));
 474
 475 #endif /* _LINUX_LIST_H_ */