| .. | .. |
|---|
| 1 | +// SPDX-License-Identifier: GPL-2.0-only |
|---|
| 1 | 2 | /* |
|---|
| 2 | 3 | * linux/arch/arm/mm/pgd.c |
|---|
| 3 | 4 | * |
|---|
| 4 | 5 | * Copyright (C) 1998-2005 Russell King |
|---|
| 5 | | - * |
|---|
| 6 | | - * This program is free software; you can redistribute it and/or modify |
|---|
| 7 | | - * it under the terms of the GNU General Public License version 2 as |
|---|
| 8 | | - * published by the Free Software Foundation. |
|---|
| 9 | 6 | */ |
|---|
| 10 | 7 | #include <linux/mm.h> |
|---|
| 11 | 8 | #include <linux/gfp.h> |
|---|
| .. | .. |
|---|
| 33 | 30 | pgd_t *pgd_alloc(struct mm_struct *mm) |
|---|
| 34 | 31 | { |
|---|
| 35 | 32 | pgd_t *new_pgd, *init_pgd; |
|---|
| 33 | + p4d_t *new_p4d, *init_p4d; |
|---|
| 36 | 34 | pud_t *new_pud, *init_pud; |
|---|
| 37 | 35 | pmd_t *new_pmd, *init_pmd; |
|---|
| 38 | 36 | pte_t *new_pte, *init_pte; |
|---|
| .. | .. |
|---|
| 56 | 54 | /* |
|---|
| 57 | 55 | * Allocate PMD table for modules and pkmap mappings. |
|---|
| 58 | 56 | */ |
|---|
| 59 | | - new_pud = pud_alloc(mm, new_pgd + pgd_index(MODULES_VADDR), |
|---|
| 57 | + new_p4d = p4d_alloc(mm, new_pgd + pgd_index(MODULES_VADDR), |
|---|
| 60 | 58 | MODULES_VADDR); |
|---|
| 59 | + if (!new_p4d) |
|---|
| 60 | + goto no_p4d; |
|---|
| 61 | + |
|---|
| 62 | + new_pud = pud_alloc(mm, new_p4d, MODULES_VADDR); |
|---|
| 61 | 63 | if (!new_pud) |
|---|
| 62 | 64 | goto no_pud; |
|---|
| 63 | 65 | |
|---|
| .. | .. |
|---|
| 72 | 74 | * contains the machine vectors. The vectors are always high |
|---|
| 73 | 75 | * with LPAE. |
|---|
| 74 | 76 | */ |
|---|
| 75 | | - new_pud = pud_alloc(mm, new_pgd, 0); |
|---|
| 77 | + new_p4d = p4d_alloc(mm, new_pgd, 0); |
|---|
| 78 | + if (!new_p4d) |
|---|
| 79 | + goto no_p4d; |
|---|
| 80 | + |
|---|
| 81 | + new_pud = pud_alloc(mm, new_p4d, 0); |
|---|
| 76 | 82 | if (!new_pud) |
|---|
| 77 | 83 | goto no_pud; |
|---|
| 78 | 84 | |
|---|
| .. | .. |
|---|
| 94 | 100 | pmd_val(*new_pmd) |= PMD_DOMAIN(DOMAIN_VECTORS); |
|---|
| 95 | 101 | #endif |
|---|
| 96 | 102 | |
|---|
| 97 | | - init_pud = pud_offset(init_pgd, 0); |
|---|
| 103 | + init_p4d = p4d_offset(init_pgd, 0); |
|---|
| 104 | + init_pud = pud_offset(init_p4d, 0); |
|---|
| 98 | 105 | init_pmd = pmd_offset(init_pud, 0); |
|---|
| 99 | 106 | init_pte = pte_offset_map(init_pmd, 0); |
|---|
| 100 | 107 | set_pte_ext(new_pte + 0, init_pte[0], 0); |
|---|
| .. | .. |
|---|
| 111 | 118 | no_pmd: |
|---|
| 112 | 119 | pud_free(mm, new_pud); |
|---|
| 113 | 120 | no_pud: |
|---|
| 121 | + p4d_free(mm, new_p4d); |
|---|
| 122 | +no_p4d: |
|---|
| 114 | 123 | __pgd_free(new_pgd); |
|---|
| 115 | 124 | no_pgd: |
|---|
| 116 | 125 | return NULL; |
|---|
| .. | .. |
|---|
| 119 | 128 | void pgd_free(struct mm_struct *mm, pgd_t *pgd_base) |
|---|
| 120 | 129 | { |
|---|
| 121 | 130 | pgd_t *pgd; |
|---|
| 131 | + p4d_t *p4d; |
|---|
| 122 | 132 | pud_t *pud; |
|---|
| 123 | 133 | pmd_t *pmd; |
|---|
| 124 | 134 | pgtable_t pte; |
|---|
| .. | .. |
|---|
| 130 | 140 | if (pgd_none_or_clear_bad(pgd)) |
|---|
| 131 | 141 | goto no_pgd; |
|---|
| 132 | 142 | |
|---|
| 133 | | - pud = pud_offset(pgd, 0); |
|---|
| 143 | + p4d = p4d_offset(pgd, 0); |
|---|
| 144 | + if (p4d_none_or_clear_bad(p4d)) |
|---|
| 145 | + goto no_p4d; |
|---|
| 146 | + |
|---|
| 147 | + pud = pud_offset(p4d, 0); |
|---|
| 134 | 148 | if (pud_none_or_clear_bad(pud)) |
|---|
| 135 | 149 | goto no_pud; |
|---|
| 136 | 150 | |
|---|
| .. | .. |
|---|
| 147 | 161 | pmd_free(mm, pmd); |
|---|
| 148 | 162 | mm_dec_nr_pmds(mm); |
|---|
| 149 | 163 | no_pud: |
|---|
| 150 | | - pgd_clear(pgd); |
|---|
| 164 | + p4d_clear(p4d); |
|---|
| 151 | 165 | pud_free(mm, pud); |
|---|
| 166 | +no_p4d: |
|---|
| 167 | + pgd_clear(pgd); |
|---|
| 168 | + p4d_free(mm, p4d); |
|---|
| 152 | 169 | no_pgd: |
|---|
| 153 | 170 | #ifdef CONFIG_ARM_LPAE |
|---|
| 154 | 171 | /* |
|---|
| .. | .. |
|---|
| 159 | 176 | continue; |
|---|
| 160 | 177 | if (pgd_val(*pgd) & L_PGD_SWAPPER) |
|---|
| 161 | 178 | continue; |
|---|
| 162 | | - pud = pud_offset(pgd, 0); |
|---|
| 179 | + p4d = p4d_offset(pgd, 0); |
|---|
| 180 | + if (p4d_none_or_clear_bad(p4d)) |
|---|
| 181 | + continue; |
|---|
| 182 | + pud = pud_offset(p4d, 0); |
|---|
| 163 | 183 | if (pud_none_or_clear_bad(pud)) |
|---|
| 164 | 184 | continue; |
|---|
| 165 | 185 | pmd = pmd_offset(pud, 0); |
|---|
| 166 | 186 | pud_clear(pud); |
|---|
| 167 | 187 | pmd_free(mm, pmd); |
|---|
| 168 | 188 | mm_dec_nr_pmds(mm); |
|---|
| 169 | | - pgd_clear(pgd); |
|---|
| 189 | + p4d_clear(p4d); |
|---|
| 170 | 190 | pud_free(mm, pud); |
|---|
| 191 | + mm_dec_nr_puds(mm); |
|---|
| 192 | + pgd_clear(pgd); |
|---|
| 193 | + p4d_free(mm, p4d); |
|---|
| 171 | 194 | } |
|---|
| 172 | 195 | #endif |
|---|
| 173 | 196 | __pgd_free(pgd_base); |
|---|