]> CyberLeo.Net >> Repos - FreeBSD/stable/10.git/blob - sys/dev/qlnx/qlnxe/bcm_osal.h
MFC r316485
[FreeBSD/stable/10.git] / sys / dev / qlnx / qlnxe / bcm_osal.h
1 /*
2  * Copyright (c) 2017-2018 Cavium, Inc. 
3  * All rights reserved.
4  *
5  *  Redistribution and use in source and binary forms, with or without
6  *  modification, are permitted provided that the following conditions
7  *  are met:
8  *
9  *  1. Redistributions of source code must retain the above copyright
10  *     notice, this list of conditions and the following disclaimer.
11  *  2. Redistributions in binary form must reproduce the above copyright
12  *     notice, this list of conditions and the following disclaimer in the
13  *     documentation and/or other materials provided with the distribution.
14  *
15  *  THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
16  *  AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
17  *  IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
18  *  ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
19  *  LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
20  *  CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
21  *  SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
22  *  INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
23  *  CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
24  *  ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
25  *  POSSIBILITY OF SUCH DAMAGE.
26  *
27  * $FreeBSD$
28  */
29
30 #ifndef __BCM_OSAL_ECORE_PACKAGE
31 #define __BCM_OSAL_ECORE_PACKAGE
32
33 #include "qlnx_os.h"
34 #include "ecore_status.h"
35 #include <sys/bitstring.h>
36
37 #if __FreeBSD_version >= 1100090
38 #include <compat/linuxkpi/common/include/linux/bitops.h>
39 #else
40 #include <ofed/include/linux/bitops.h>
41 #endif
42
43 /*
44  * prototypes of freebsd specific functions required by ecore
45  */
46 extern uint32_t qlnx_pci_bus_get_bar_size(void *ecore_dev, uint8_t bar_id);
47 extern uint32_t qlnx_pci_read_config_byte(void *ecore_dev, uint32_t pci_reg,
48                         uint8_t *reg_value);
49 extern uint32_t qlnx_pci_read_config_word(void *ecore_dev, uint32_t pci_reg,
50                         uint16_t *reg_value);
51 extern uint32_t qlnx_pci_read_config_dword(void *ecore_dev, uint32_t pci_reg,
52                         uint32_t *reg_value);
53 extern void qlnx_pci_write_config_byte(void *ecore_dev, uint32_t pci_reg,
54                         uint8_t reg_value);
55 extern void qlnx_pci_write_config_word(void *ecore_dev, uint32_t pci_reg,
56                         uint16_t reg_value);
57 extern void qlnx_pci_write_config_dword(void *ecore_dev, uint32_t pci_reg,
58                         uint32_t reg_value);
59 extern int qlnx_pci_find_capability(void *ecore_dev, int cap);
60
61 extern uint32_t qlnx_direct_reg_rd32(void *p_hwfn, uint32_t *reg_addr);
62 extern void qlnx_direct_reg_wr32(void *p_hwfn, void *reg_addr, uint32_t value);
63
64 extern uint32_t qlnx_reg_rd32(void *p_hwfn, uint32_t reg_addr);
65 extern void qlnx_reg_wr32(void *p_hwfn, uint32_t reg_addr, uint32_t value);
66 extern void qlnx_reg_wr16(void *p_hwfn, uint32_t reg_addr, uint16_t value);
67
68 extern void qlnx_dbell_wr32(void *p_hwfn, uint32_t reg_addr, uint32_t value);
69
70 extern void *qlnx_dma_alloc_coherent(void *ecore_dev, bus_addr_t *phys,
71                         uint32_t size);
72 extern void qlnx_dma_free_coherent(void *ecore_dev, void *v_addr,
73                         bus_addr_t phys, uint32_t size);
74
75 extern void qlnx_link_update(void *p_hwfn);
76 extern void qlnx_barrier(void *p_hwfn);
77
78 extern void *qlnx_zalloc(uint32_t size);
79
80 extern void qlnx_get_protocol_stats(void *cdev, int proto_type,
81                 void *proto_stats);
82
83 extern void qlnx_sp_isr(void *arg);
84
85
86 #ifdef ECORE_PACKAGE
87
88 /* Memory Types */
89 #define u8 uint8_t 
90 #define u16 uint16_t
91 #define u32 uint32_t
92 #define u64 uint64_t
93 #define s16 uint16_t
94 #define s32 uint32_t
95
96 #ifndef QLNX_RDMA
97
98 typedef uint16_t __le16;
99 typedef uint32_t __le32;
100 typedef uint16_t __be16;
101 typedef uint32_t __be32;
102
103 static __inline unsigned long
104 roundup_pow_of_two(unsigned long x)
105 {
106         return (1UL << flsl(x - 1));
107 }
108
109 static __inline int
110 is_power_of_2(unsigned long n)
111 {
112         return (n == roundup_pow_of_two(n));
113 }
114  
115 static __inline unsigned long
116 rounddown_pow_of_two(unsigned long x)
117 {
118         return (1UL << (flsl(x) - 1));
119 }
120
121 #define max_t(type, val1, val2) \
122         ((type)(val1) > (type)(val2) ? (type)(val1) : (val2))
123 #define min_t(type, val1, val2) \
124         ((type)(val1) < (type)(val2) ? (type)(val1) : (val2))
125
126 #define ARRAY_SIZE(arr)         (sizeof(arr) / sizeof(arr[0]))
127 #define nothing                 do {} while(0)
128 #define BUILD_BUG_ON(cond)      nothing
129
130 #endif /* #ifndef QLNX_RDMA */
131
132 #define OSAL_CPU_TO_BE64(val) htobe64(val)
133 #define OSAL_BE64_TO_CPU(val) be64toh(val)
134
135 #define OSAL_CPU_TO_BE32(val) htobe32(val)
136 #define OSAL_BE32_TO_CPU(val) be32toh(val)
137
138 #define OSAL_CPU_TO_LE32(val) htole32(val)
139 #define OSAL_LE32_TO_CPU(val) le32toh(val)
140
141 #define OSAL_CPU_TO_BE16(val) htobe16(val)
142 #define OSAL_BE16_TO_CPU(val) be16toh(val)
143
144 #define OSAL_CPU_TO_LE16(val) htole16(val)
145 #define OSAL_LE16_TO_CPU(val) le16toh(val)
146
147 #define OSAL_CACHE_LINE_SIZE CACHE_LINE_SIZE
148 #define OSAL_BE32 uint32_t
149 #define dma_addr_t bus_addr_t
150 #define osal_size_t size_t
151
152 typedef struct mtx  osal_spinlock_t;
153 typedef struct mtx  osal_mutex_t;
154
155 typedef void * osal_dpc_t;
156
157 typedef struct _osal_list_entry_t
158 {
159     struct _osal_list_entry_t *next, *prev;
160 } osal_list_entry_t;
161
162 typedef struct osal_list_t
163 {
164     osal_list_entry_t *head, *tail;
165     unsigned long cnt;
166 } osal_list_t;
167
168 /* OSAL functions */
169
170 #define OSAL_UDELAY(time)  DELAY(time)
171 #define OSAL_MSLEEP(time)  qlnx_mdelay(__func__, time)
172
173 #define OSAL_ALLOC(dev, GFP, size) qlnx_zalloc(size)
174 #define OSAL_ZALLOC(dev, GFP, size) qlnx_zalloc(size)
175 #define OSAL_VALLOC(dev, size) qlnx_zalloc(size)
176 #define OSAL_VZALLOC(dev, size) qlnx_zalloc(size)
177
178 #define OSAL_FREE(dev, memory) free(memory, M_QLNXBUF)
179 #define OSAL_VFREE(dev, memory) free(memory, M_QLNXBUF)
180
181 #define OSAL_MEM_ZERO(mem, size) bzero(mem, size)
182
183 #define OSAL_MEMCPY(dst, src, size) memcpy(dst, src, size)
184
185 #define OSAL_DMA_ALLOC_COHERENT(dev, phys, size) \
186                 qlnx_dma_alloc_coherent(dev, phys, size)
187
188 #define OSAL_DMA_FREE_COHERENT(dev, virt, phys, size) \
189                 qlnx_dma_free_coherent(dev, virt, phys, size)
190 #define OSAL_VF_CQE_COMPLETION(_dev_p, _cqe, _protocol) (0)
191
192 #define REG_WR(hwfn, addr, val)  qlnx_reg_wr32(hwfn, addr, val)
193 #define REG_WR16(hwfn, addr, val) qlnx_reg_wr16(hwfn, addr, val)
194 #define DIRECT_REG_WR(p_hwfn, addr, value) qlnx_direct_reg_wr32(p_hwfn, addr, value)
195 #define DIRECT_REG_RD(p_hwfn, addr) qlnx_direct_reg_rd32(p_hwfn, addr)
196 #define REG_RD(hwfn, addr) qlnx_reg_rd32(hwfn, addr)
197 #define DOORBELL(hwfn, addr, value) \
198                 qlnx_dbell_wr32(hwfn, addr, value)
199
200 #define OSAL_SPIN_LOCK_ALLOC(p_hwfn, mutex)
201 #define OSAL_SPIN_LOCK_DEALLOC(mutex) mtx_destroy(mutex)
202 #define OSAL_SPIN_LOCK_INIT(lock) {\
203                 mtx_init(lock, __func__, MTX_NETWORK_LOCK, MTX_SPIN); \
204         }
205
206 #define OSAL_SPIN_UNLOCK(lock) {\
207                 mtx_unlock(lock); \
208         }
209 #define OSAL_SPIN_LOCK(lock) {\
210                 mtx_lock(lock); \
211         }
212
213 #define OSAL_MUTEX_ALLOC(p_hwfn, mutex)
214 #define OSAL_MUTEX_DEALLOC(mutex) mtx_destroy(mutex)
215 #define OSAL_MUTEX_INIT(lock) {\
216                 mtx_init(lock, __func__, MTX_NETWORK_LOCK, MTX_DEF);\
217         }
218
219 #define OSAL_MUTEX_ACQUIRE(lock) mtx_lock(lock)
220 #define OSAL_MUTEX_RELEASE(lock) mtx_unlock(lock)
221
222 #define OSAL_DPC_ALLOC(hwfn) malloc(PAGE_SIZE, M_QLNXBUF, M_NOWAIT)
223 #define OSAL_DPC_INIT(dpc, hwfn) nothing
224 #define OSAL_SCHEDULE_RECOVERY_HANDLER(x) nothing
225 #define OSAL_HW_ERROR_OCCURRED(hwfn, err_type) nothing
226 #define OSAL_DPC_SYNC(hwfn) nothing
227
228 static inline void OSAL_DCBX_AEN(void *p_hwfn, u32 mib_type)
229 {
230         return;
231 }
232
233 static inline bool OSAL_NVM_IS_ACCESS_ENABLED(void *p_hwfn)
234 {
235         return 1;
236 }
237
238 #define OSAL_LIST_INIT(list) \
239     do {                       \
240         (list)->head = NULL;  \
241         (list)->tail = NULL;  \
242         (list)->cnt  = 0;     \
243     } while (0)
244
245 #define OSAL_LIST_INSERT_ENTRY_AFTER(entry, entry_prev, list) \
246 do {                                            \
247         (entry)->prev = (entry_prev);           \
248         (entry)->next = (entry_prev)->next;     \
249         (entry)->next->prev = (entry);          \
250         (entry_prev)->next = (entry);           \
251         (list)->cnt++;                          \
252 } while (0);
253
254 #define OSAL_LIST_SPLICE_TAIL_INIT(new_list, list)      \
255 do {                                                    \
256         ((new_list)->tail)->next = ((list)->head);      \
257         ((list)->head)->prev = ((new_list)->tail);      \
258         (list)->head = (new_list)->head;                \
259         (list)->cnt = (list)->cnt + (new_list)->cnt;    \
260         OSAL_LIST_INIT(new_list);                       \
261 } while (0);
262
263 #define OSAL_LIST_PUSH_HEAD(entry, list) \
264     do {                                                \
265         (entry)->prev = (osal_list_entry_t *)0;        \
266         (entry)->next = (list)->head;                  \
267         if ((list)->tail == (osal_list_entry_t *)0) { \
268             (list)->tail = (entry);                    \
269         } else {                                        \
270             (list)->head->prev = (entry);              \
271         }                                               \
272         (list)->head = (entry);                        \
273         (list)->cnt++;                                 \
274     } while (0)
275
276 #define OSAL_LIST_PUSH_TAIL(entry, list) \
277     do {                                         \
278         (entry)->next = (osal_list_entry_t *)0; \
279         (entry)->prev = (list)->tail;           \
280         if ((list)->tail) {                     \
281             (list)->tail->next = (entry);       \
282         } else {                                 \
283             (list)->head = (entry);             \
284         }                                        \
285         (list)->tail = (entry);                 \
286         (list)->cnt++;                          \
287     } while (0)
288
289 #define OSAL_LIST_FIRST_ENTRY(list, type, field) \
290         (type *)((list)->head)
291
292 #define OSAL_LIST_REMOVE_ENTRY(entry, list) \
293     do {                                                           \
294         if ((list)->head == (entry)) {                            \
295             if ((list)->head) {                                   \
296                 (list)->head = (list)->head->next;               \
297                 if ((list)->head) {                               \
298                     (list)->head->prev = (osal_list_entry_t *)0; \
299                 } else {                                           \
300                     (list)->tail = (osal_list_entry_t *)0;       \
301                 }                                                  \
302                 (list)->cnt--;                                    \
303             }                                                      \
304         } else if ((list)->tail == (entry)) {                     \
305             if ((list)->tail) {                                   \
306                 (list)->tail = (list)->tail->prev;               \
307                 if ((list)->tail) {                               \
308                     (list)->tail->next = (osal_list_entry_t *)0; \
309                 } else {                                           \
310                     (list)->head = (osal_list_entry_t *)0;       \
311                 }                                                  \
312                 (list)->cnt--;                                    \
313             }                                                      \
314         } else {                                                   \
315             (entry)->prev->next = (entry)->next;                   \
316             (entry)->next->prev = (entry)->prev;                   \
317             (list)->cnt--;                                        \
318         }                                                          \
319     } while (0)
320
321
322 #define OSAL_LIST_IS_EMPTY(list) \
323         ((list)->cnt == 0)
324
325 #define OSAL_LIST_NEXT(entry, field, type) \
326     (type *)((&((entry)->field))->next)
327
328 #define OSAL_LIST_FOR_EACH_ENTRY(entry, list, field, type) \
329         for (entry = OSAL_LIST_FIRST_ENTRY(list, type, field); \
330                 entry;                                              \
331                 entry = OSAL_LIST_NEXT(entry, field, type))
332
333 #define OSAL_LIST_FOR_EACH_ENTRY_SAFE(entry, tmp_entry, list, field, type) \
334      for (entry = OSAL_LIST_FIRST_ENTRY(list, type, field),        \
335           tmp_entry = (entry) ? OSAL_LIST_NEXT(entry, field, type) : NULL;    \
336           entry != NULL;                                             \
337           entry = (type *)tmp_entry,                                         \
338           tmp_entry = (entry) ? OSAL_LIST_NEXT(entry, field, type) : NULL)
339
340
341 #define OSAL_BAR_SIZE(dev, bar_id) qlnx_pci_bus_get_bar_size(dev, bar_id)
342
343 #define OSAL_PCI_READ_CONFIG_BYTE(dev, reg, value) \
344                 qlnx_pci_read_config_byte(dev, reg, value);
345 #define OSAL_PCI_READ_CONFIG_WORD(dev, reg, value) \
346                 qlnx_pci_read_config_word(dev, reg, value);
347 #define OSAL_PCI_READ_CONFIG_DWORD(dev, reg, value) \
348                 qlnx_pci_read_config_dword(dev, reg, value);
349
350 #define OSAL_PCI_WRITE_CONFIG_BYTE(dev, reg, value) \
351                 qlnx_pci_write_config_byte(dev, reg, value);
352 #define OSAL_PCI_WRITE_CONFIG_WORD(dev, reg, value) \
353                 qlnx_pci_write_config_word(dev, reg, value);
354 #define OSAL_PCI_WRITE_CONFIG_DWORD(dev, reg, value) \
355                 qlnx_pci_write_config_dword(dev, reg, value);
356
357 #define OSAL_PCI_FIND_CAPABILITY(dev, cap) qlnx_pci_find_capability(dev, cap);
358
359 #define OSAL_MMIOWB(dev) qlnx_barrier(dev)
360 #define OSAL_BARRIER(dev) qlnx_barrier(dev)
361
362 #define OSAL_SMP_MB(dev) mb()
363 #define OSAL_SMP_RMB(dev) rmb()
364 #define OSAL_SMP_WMB(dev) wmb()
365 #define OSAL_RMB(dev) rmb()
366 #define OSAL_WMB(dev) wmb()
367 #define OSAL_DMA_SYNC(dev, addr, length, is_post)
368
369 #define OSAL_FIND_FIRST_BIT find_first_bit
370 #define OSAL_SET_BIT(bit, bitmap) bit_set((bitstr_t *)bitmap, bit)
371 #define OSAL_CLEAR_BIT(bit, bitmap) bit_clear((bitstr_t *)bitmap, bit)
372 #define OSAL_TEST_BIT(bit, bitmap) bit_test((bitstr_t *)bitmap, bit)
373 #define OSAL_FIND_FIRST_ZERO_BIT(bitmap, length) \
374                 find_first_zero_bit(bitmap, length)
375
376 #define OSAL_LINK_UPDATE(hwfn) qlnx_link_update(hwfn)
377 #define OSAL_VF_FLR_UPDATE(hwfn)
378
379 #define QLNX_DIV_ROUND_UP(n, d) (((n) + (d) - 1) / (d))
380 #define QLNX_ROUNDUP(x, y) ((((x) + ((y) - 1)) / (y)) * (y))
381
382 #define OSAL_NUM_ACTIVE_CPU() mp_ncpus
383
384 #ifndef DIV_ROUND_UP
385 #define DIV_ROUND_UP(size, to_what) QLNX_DIV_ROUND_UP((size), (to_what))
386 #endif
387
388 #define ROUNDUP(value, to_what) QLNX_ROUNDUP((value), (to_what))
389
390 #define OSAL_ROUNDUP_POW_OF_TWO(val) roundup_pow_of_two((val))
391
392 static __inline uint32_t
393 qlnx_log2(uint32_t x)
394 {
395         uint32_t log = 0;
396
397         while (x >>= 1) log++;
398
399         return (log);
400 }
401
402 #define OSAL_LOG2(val) qlnx_log2(val)
403 #define OFFSETOF(str, field) offsetof(str, field)
404 #define PRINT device_printf
405 #define PRINT_ERR device_printf
406 #define OSAL_ASSERT(is_assert) nothing
407 #define OSAL_BEFORE_PF_START(cdev, my_id) {};
408 #define OSAL_AFTER_PF_STOP(cdev, my_id) {};
409
410 #define INLINE __inline
411 #define OSAL_INLINE __inline
412 #define OSAL_UNLIKELY 
413 #define OSAL_NULL NULL
414
415
416 #define OSAL_MAX_T(type, __max1, __max2) max_t(type, __max1, __max2)
417 #define OSAL_MIN_T(type, __max1, __max2) min_t(type, __max1, __max2)
418
419 #define __iomem
420 #define OSAL_IOMEM
421
422 #define int_ptr_t void *
423 #define osal_int_ptr_t void *
424 #define OSAL_BUILD_BUG_ON(cond) nothing
425 #define REG_ADDR(hwfn, offset) (void *)((u8 *)(hwfn->regview) + (offset))
426 #define OSAL_REG_ADDR(hwfn, offset) (void *)((u8 *)(hwfn->regview) + (offset))
427
428 #define OSAL_PAGE_SIZE PAGE_SIZE
429
430 #define OSAL_STRCPY(dst, src) strcpy(dst, src)
431 #define OSAL_STRNCPY(dst, src, bytes) strncpy(dst, src, bytes)
432 #define OSAL_STRLEN(src) strlen(src)
433 #define OSAL_SPRINTF    sprintf
434 #define OSAL_SNPRINTF   snprintf
435 #define OSAL_MEMSET     memset
436 #define OSAL_ARRAY_SIZE(arr) (sizeof(arr) / sizeof(arr[0]))
437 #define osal_uintptr_t u64
438
439 #define OSAL_SLOWPATH_IRQ_REQ(p_hwfn) (0)
440 #define OSAL_GET_PROTOCOL_STATS(p_hwfn, type, stats) \
441                 qlnx_get_protocol_stats(p_hwfn, type, stats);
442 #define OSAL_POLL_MODE_DPC(hwfn) {if (cold) qlnx_sp_isr(hwfn);}
443 #define OSAL_WARN(cond, fmt, args...) \
444         if (cond) printf("%s: WARNING: " fmt, __func__, ## args);
445
446 #define OSAL_BITMAP_WEIGHT(bitmap, nbits) bitmap_weight(bitmap, nbits)
447 #define OSAL_GET_RDMA_SB_ID(p_hwfn, cnq_id) ecore_rdma_get_sb_id(p_hwfn, cnq_id)
448
449 static inline int
450 qlnx_test_and_change_bit(long bit, volatile unsigned long *var)
451 {
452         long val;
453
454         var += BIT_WORD(bit);
455         bit %= BITS_PER_LONG;
456         bit = (1UL << bit);
457
458         val = *var;
459
460 #if __FreeBSD_version >= 1100000
461         if (val & bit) 
462                 return (test_and_clear_bit(bit, var));
463
464         return (test_and_set_bit(bit, var));
465 #else
466         if (val & bit) 
467                 return (test_and_clear_bit(bit, (long *)var));
468
469         return (test_and_set_bit(bit, (long *)var));
470
471 #endif
472 }
473
474 #if __FreeBSD_version < 1100000
475 static inline unsigned
476 bitmap_weight(unsigned long *bitmap, unsigned nbits)
477 {
478         unsigned bit;
479         unsigned retval = 0;
480
481         for_each_set_bit(bit, bitmap, nbits)
482                 retval++;
483         return (retval);
484 }
485
486 #endif
487
488
489 #define OSAL_TEST_AND_FLIP_BIT qlnx_test_and_change_bit
490 #define OSAL_TEST_AND_CLEAR_BIT test_and_clear_bit
491 #define OSAL_MEMCMP memcmp
492 #define OSAL_SPIN_LOCK_IRQSAVE(x,y) {y=0; mtx_lock(x);}
493 #define OSAL_SPIN_UNLOCK_IRQSAVE(x,y) {y= 0; mtx_unlock(x);}
494
495 static inline u32
496 OSAL_CRC32(u32 crc, u8 *ptr, u32 length)
497 {
498         int i;
499
500         while (length--) {
501                 crc ^= *ptr++;
502                 for (i = 0; i < 8; i++)
503                         crc = (crc >> 1) ^ ((crc & 1) ? 0xedb88320 : 0);
504         }
505         return crc;
506 }
507
508 static inline void
509 OSAL_CRC8_POPULATE(u8 * cdu_crc8_table, u8 polynomial)
510 {
511         return;
512 }
513
514 static inline u8
515 OSAL_CRC8(u8 * cdu_crc8_table, u8 * data_to_crc, int data_to_crc_len, u8 init_value)
516 {
517     return ECORE_NOTIMPL;
518 }
519
520 #define OSAL_HW_INFO_CHANGE(p_hwfn, offset)
521 #define OSAL_MFW_TLV_REQ(p_hwfn)
522 #define OSAL_VF_FILL_ACQUIRE_RESC_REQ(p_hwfn, req, vf_sw_info) {};
523 #define OSAL_VF_UPDATE_ACQUIRE_RESC_RESP(p_hwfn, res) (0)
524
525 #endif /* #ifdef ECORE_PACKAGE */
526
527 #endif /* #ifdef __BCM_OSAL_ECORE_PACKAGE */