| .. | .. |
|---|
| 6 | 6 | #include <linux/bug.h> |
|---|
| 7 | 7 | #include <linux/mm_types.h> |
|---|
| 8 | 8 | |
|---|
| 9 | +#ifdef CONFIG_MMU |
|---|
| 10 | + |
|---|
| 9 | 11 | /* |
|---|
| 10 | 12 | * swapcache pages are stored in the swapper_space radix tree. We want to |
|---|
| 11 | 13 | * get good packing density in that tree, so the index should be dense in |
|---|
| .. | .. |
|---|
| 18 | 20 | * |
|---|
| 19 | 21 | * swp_entry_t's are *never* stored anywhere in their arch-dependent format. |
|---|
| 20 | 22 | */ |
|---|
| 21 | | -#define SWP_TYPE_SHIFT(e) ((sizeof(e.val) * 8) - \ |
|---|
| 22 | | - (MAX_SWAPFILES_SHIFT + RADIX_TREE_EXCEPTIONAL_SHIFT)) |
|---|
| 23 | | -#define SWP_OFFSET_MASK(e) ((1UL << SWP_TYPE_SHIFT(e)) - 1) |
|---|
| 23 | +#define SWP_TYPE_SHIFT (BITS_PER_XA_VALUE - MAX_SWAPFILES_SHIFT) |
|---|
| 24 | +#define SWP_OFFSET_MASK ((1UL << SWP_TYPE_SHIFT) - 1) |
|---|
| 25 | + |
|---|
| 26 | +/* Clear all flags but only keep swp_entry_t related information */ |
|---|
| 27 | +static inline pte_t pte_swp_clear_flags(pte_t pte) |
|---|
| 28 | +{ |
|---|
| 29 | + if (pte_swp_soft_dirty(pte)) |
|---|
| 30 | + pte = pte_swp_clear_soft_dirty(pte); |
|---|
| 31 | + if (pte_swp_uffd_wp(pte)) |
|---|
| 32 | + pte = pte_swp_clear_uffd_wp(pte); |
|---|
| 33 | + return pte; |
|---|
| 34 | +} |
|---|
| 24 | 35 | |
|---|
| 25 | 36 | /* |
|---|
| 26 | 37 | * Store a type+offset into a swp_entry_t in an arch-independent format |
|---|
| .. | .. |
|---|
| 29 | 40 | { |
|---|
| 30 | 41 | swp_entry_t ret; |
|---|
| 31 | 42 | |
|---|
| 32 | | - ret.val = (type << SWP_TYPE_SHIFT(ret)) | |
|---|
| 33 | | - (offset & SWP_OFFSET_MASK(ret)); |
|---|
| 43 | + ret.val = (type << SWP_TYPE_SHIFT) | (offset & SWP_OFFSET_MASK); |
|---|
| 34 | 44 | return ret; |
|---|
| 35 | 45 | } |
|---|
| 36 | 46 | |
|---|
| .. | .. |
|---|
| 40 | 50 | */ |
|---|
| 41 | 51 | static inline unsigned swp_type(swp_entry_t entry) |
|---|
| 42 | 52 | { |
|---|
| 43 | | - return (entry.val >> SWP_TYPE_SHIFT(entry)); |
|---|
| 53 | + return (entry.val >> SWP_TYPE_SHIFT); |
|---|
| 44 | 54 | } |
|---|
| 45 | 55 | |
|---|
| 46 | 56 | /* |
|---|
| .. | .. |
|---|
| 49 | 59 | */ |
|---|
| 50 | 60 | static inline pgoff_t swp_offset(swp_entry_t entry) |
|---|
| 51 | 61 | { |
|---|
| 52 | | - return entry.val & SWP_OFFSET_MASK(entry); |
|---|
| 62 | + return entry.val & SWP_OFFSET_MASK; |
|---|
| 53 | 63 | } |
|---|
| 54 | 64 | |
|---|
| 55 | | -#ifdef CONFIG_MMU |
|---|
| 56 | 65 | /* check whether a pte points to a swap entry */ |
|---|
| 57 | 66 | static inline int is_swap_pte(pte_t pte) |
|---|
| 58 | 67 | { |
|---|
| 59 | 68 | return !pte_none(pte) && !pte_present(pte); |
|---|
| 60 | 69 | } |
|---|
| 61 | | -#endif |
|---|
| 62 | 70 | |
|---|
| 63 | 71 | /* |
|---|
| 64 | 72 | * Convert the arch-dependent pte representation of a swp_entry_t into an |
|---|
| .. | .. |
|---|
| 68 | 76 | { |
|---|
| 69 | 77 | swp_entry_t arch_entry; |
|---|
| 70 | 78 | |
|---|
| 71 | | - if (pte_swp_soft_dirty(pte)) |
|---|
| 72 | | - pte = pte_swp_clear_soft_dirty(pte); |
|---|
| 79 | + pte = pte_swp_clear_flags(pte); |
|---|
| 73 | 80 | arch_entry = __pte_to_swp_entry(pte); |
|---|
| 74 | 81 | return swp_entry(__swp_type(arch_entry), __swp_offset(arch_entry)); |
|---|
| 75 | 82 | } |
|---|
| .. | .. |
|---|
| 90 | 97 | { |
|---|
| 91 | 98 | swp_entry_t entry; |
|---|
| 92 | 99 | |
|---|
| 93 | | - entry.val = (unsigned long)arg >> RADIX_TREE_EXCEPTIONAL_SHIFT; |
|---|
| 100 | + entry.val = xa_to_value(arg); |
|---|
| 94 | 101 | return entry; |
|---|
| 95 | 102 | } |
|---|
| 96 | 103 | |
|---|
| 97 | 104 | static inline void *swp_to_radix_entry(swp_entry_t entry) |
|---|
| 98 | 105 | { |
|---|
| 99 | | - unsigned long value; |
|---|
| 100 | | - |
|---|
| 101 | | - value = entry.val << RADIX_TREE_EXCEPTIONAL_SHIFT; |
|---|
| 102 | | - return (void *)(value | RADIX_TREE_EXCEPTIONAL_ENTRY); |
|---|
| 106 | + return xa_mk_value(entry.val); |
|---|
| 103 | 107 | } |
|---|
| 104 | 108 | |
|---|
| 105 | 109 | #if IS_ENABLED(CONFIG_DEVICE_PRIVATE) |
|---|
| .. | .. |
|---|
| 134 | 138 | { |
|---|
| 135 | 139 | return pfn_to_page(swp_offset(entry)); |
|---|
| 136 | 140 | } |
|---|
| 137 | | - |
|---|
| 138 | | -vm_fault_t device_private_entry_fault(struct vm_area_struct *vma, |
|---|
| 139 | | - unsigned long addr, |
|---|
| 140 | | - swp_entry_t entry, |
|---|
| 141 | | - unsigned int flags, |
|---|
| 142 | | - pmd_t *pmdp); |
|---|
| 143 | 141 | #else /* CONFIG_DEVICE_PRIVATE */ |
|---|
| 144 | 142 | static inline swp_entry_t make_device_private_entry(struct page *page, bool write) |
|---|
| 145 | 143 | { |
|---|
| .. | .. |
|---|
| 168 | 166 | static inline struct page *device_private_entry_to_page(swp_entry_t entry) |
|---|
| 169 | 167 | { |
|---|
| 170 | 168 | return NULL; |
|---|
| 171 | | -} |
|---|
| 172 | | - |
|---|
| 173 | | -static inline vm_fault_t device_private_entry_fault(struct vm_area_struct *vma, |
|---|
| 174 | | - unsigned long addr, |
|---|
| 175 | | - swp_entry_t entry, |
|---|
| 176 | | - unsigned int flags, |
|---|
| 177 | | - pmd_t *pmdp) |
|---|
| 178 | | -{ |
|---|
| 179 | | - return VM_FAULT_SIGBUS; |
|---|
| 180 | 169 | } |
|---|
| 181 | 170 | #endif /* CONFIG_DEVICE_PRIVATE */ |
|---|
| 182 | 171 | |
|---|
| .. | .. |
|---|
| 276 | 265 | |
|---|
| 277 | 266 | if (pmd_swp_soft_dirty(pmd)) |
|---|
| 278 | 267 | pmd = pmd_swp_clear_soft_dirty(pmd); |
|---|
| 268 | + if (pmd_swp_uffd_wp(pmd)) |
|---|
| 269 | + pmd = pmd_swp_clear_uffd_wp(pmd); |
|---|
| 279 | 270 | arch_entry = __pmd_to_swp_entry(pmd); |
|---|
| 280 | 271 | return swp_entry(__swp_type(arch_entry), __swp_offset(arch_entry)); |
|---|
| 281 | 272 | } |
|---|
| .. | .. |
|---|
| 381 | 372 | } |
|---|
| 382 | 373 | #endif |
|---|
| 383 | 374 | |
|---|
| 375 | +#endif /* CONFIG_MMU */ |
|---|
| 384 | 376 | #endif /* _LINUX_SWAPOPS_H */ |
|---|