| .. | .. |
|---|
| 35 | 35 | #include <asm/smap.h> |
|---|
| 36 | 36 | #include <asm/export.h> |
|---|
| 37 | 37 | |
|---|
| 38 | +#define ASM_BARRIER_NOSPEC ALTERNATIVE "", "lfence", X86_FEATURE_LFENCE_RDTSC |
|---|
| 39 | + |
|---|
| 40 | +#ifdef CONFIG_X86_5LEVEL |
|---|
| 41 | +#define LOAD_TASK_SIZE_MINUS_N(n) \ |
|---|
| 42 | + ALTERNATIVE __stringify(mov $((1 << 47) - 4096 - (n)),%rdx), \ |
|---|
| 43 | + __stringify(mov $((1 << 56) - 4096 - (n)),%rdx), X86_FEATURE_LA57 |
|---|
| 44 | +#else |
|---|
| 45 | +#define LOAD_TASK_SIZE_MINUS_N(n) \ |
|---|
| 46 | + mov $(TASK_SIZE_MAX - (n)),%_ASM_DX |
|---|
| 47 | +#endif |
|---|
| 48 | + |
|---|
| 38 | 49 | .text |
|---|
| 39 | | -ENTRY(__get_user_1) |
|---|
| 40 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
|---|
| 41 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
|---|
| 50 | +SYM_FUNC_START(__get_user_1) |
|---|
| 51 | + LOAD_TASK_SIZE_MINUS_N(0) |
|---|
| 52 | + cmp %_ASM_DX,%_ASM_AX |
|---|
| 42 | 53 | jae bad_get_user |
|---|
| 43 | 54 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
|---|
| 44 | 55 | and %_ASM_DX, %_ASM_AX |
|---|
| .. | .. |
|---|
| 46 | 57 | 1: movzbl (%_ASM_AX),%edx |
|---|
| 47 | 58 | xor %eax,%eax |
|---|
| 48 | 59 | ASM_CLAC |
|---|
| 49 | | - ret |
|---|
| 50 | | -ENDPROC(__get_user_1) |
|---|
| 60 | + RET |
|---|
| 61 | +SYM_FUNC_END(__get_user_1) |
|---|
| 51 | 62 | EXPORT_SYMBOL(__get_user_1) |
|---|
| 52 | 63 | |
|---|
| 53 | | -ENTRY(__get_user_2) |
|---|
| 54 | | - add $1,%_ASM_AX |
|---|
| 55 | | - jc bad_get_user |
|---|
| 56 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
|---|
| 57 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
|---|
| 64 | +SYM_FUNC_START(__get_user_2) |
|---|
| 65 | + LOAD_TASK_SIZE_MINUS_N(1) |
|---|
| 66 | + cmp %_ASM_DX,%_ASM_AX |
|---|
| 58 | 67 | jae bad_get_user |
|---|
| 59 | 68 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
|---|
| 60 | 69 | and %_ASM_DX, %_ASM_AX |
|---|
| 61 | 70 | ASM_STAC |
|---|
| 62 | | -2: movzwl -1(%_ASM_AX),%edx |
|---|
| 71 | +2: movzwl (%_ASM_AX),%edx |
|---|
| 63 | 72 | xor %eax,%eax |
|---|
| 64 | 73 | ASM_CLAC |
|---|
| 65 | | - ret |
|---|
| 66 | | -ENDPROC(__get_user_2) |
|---|
| 74 | + RET |
|---|
| 75 | +SYM_FUNC_END(__get_user_2) |
|---|
| 67 | 76 | EXPORT_SYMBOL(__get_user_2) |
|---|
| 68 | 77 | |
|---|
| 69 | | -ENTRY(__get_user_4) |
|---|
| 70 | | - add $3,%_ASM_AX |
|---|
| 71 | | - jc bad_get_user |
|---|
| 72 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
|---|
| 73 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
|---|
| 78 | +SYM_FUNC_START(__get_user_4) |
|---|
| 79 | + LOAD_TASK_SIZE_MINUS_N(3) |
|---|
| 80 | + cmp %_ASM_DX,%_ASM_AX |
|---|
| 74 | 81 | jae bad_get_user |
|---|
| 75 | 82 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
|---|
| 76 | 83 | and %_ASM_DX, %_ASM_AX |
|---|
| 77 | 84 | ASM_STAC |
|---|
| 78 | | -3: movl -3(%_ASM_AX),%edx |
|---|
| 85 | +3: movl (%_ASM_AX),%edx |
|---|
| 79 | 86 | xor %eax,%eax |
|---|
| 80 | 87 | ASM_CLAC |
|---|
| 81 | | - ret |
|---|
| 82 | | -ENDPROC(__get_user_4) |
|---|
| 88 | + RET |
|---|
| 89 | +SYM_FUNC_END(__get_user_4) |
|---|
| 83 | 90 | EXPORT_SYMBOL(__get_user_4) |
|---|
| 84 | 91 | |
|---|
| 85 | | -ENTRY(__get_user_8) |
|---|
| 92 | +SYM_FUNC_START(__get_user_8) |
|---|
| 86 | 93 | #ifdef CONFIG_X86_64 |
|---|
| 87 | | - add $7,%_ASM_AX |
|---|
| 88 | | - jc bad_get_user |
|---|
| 89 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
|---|
| 90 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
|---|
| 94 | + LOAD_TASK_SIZE_MINUS_N(7) |
|---|
| 95 | + cmp %_ASM_DX,%_ASM_AX |
|---|
| 91 | 96 | jae bad_get_user |
|---|
| 92 | 97 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
|---|
| 93 | 98 | and %_ASM_DX, %_ASM_AX |
|---|
| 94 | 99 | ASM_STAC |
|---|
| 95 | | -4: movq -7(%_ASM_AX),%rdx |
|---|
| 100 | +4: movq (%_ASM_AX),%rdx |
|---|
| 96 | 101 | xor %eax,%eax |
|---|
| 97 | 102 | ASM_CLAC |
|---|
| 98 | | - ret |
|---|
| 103 | + RET |
|---|
| 99 | 104 | #else |
|---|
| 100 | | - add $7,%_ASM_AX |
|---|
| 101 | | - jc bad_get_user_8 |
|---|
| 102 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
|---|
| 103 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
|---|
| 105 | + LOAD_TASK_SIZE_MINUS_N(7) |
|---|
| 106 | + cmp %_ASM_DX,%_ASM_AX |
|---|
| 104 | 107 | jae bad_get_user_8 |
|---|
| 105 | 108 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
|---|
| 106 | 109 | and %_ASM_DX, %_ASM_AX |
|---|
| 107 | 110 | ASM_STAC |
|---|
| 108 | | -4: movl -7(%_ASM_AX),%edx |
|---|
| 109 | | -5: movl -3(%_ASM_AX),%ecx |
|---|
| 111 | +4: movl (%_ASM_AX),%edx |
|---|
| 112 | +5: movl 4(%_ASM_AX),%ecx |
|---|
| 110 | 113 | xor %eax,%eax |
|---|
| 111 | 114 | ASM_CLAC |
|---|
| 112 | | - ret |
|---|
| 115 | + RET |
|---|
| 113 | 116 | #endif |
|---|
| 114 | | -ENDPROC(__get_user_8) |
|---|
| 117 | +SYM_FUNC_END(__get_user_8) |
|---|
| 115 | 118 | EXPORT_SYMBOL(__get_user_8) |
|---|
| 116 | 119 | |
|---|
| 120 | +/* .. and the same for __get_user, just without the range checks */ |
|---|
| 121 | +SYM_FUNC_START(__get_user_nocheck_1) |
|---|
| 122 | + ASM_STAC |
|---|
| 123 | + ASM_BARRIER_NOSPEC |
|---|
| 124 | +6: movzbl (%_ASM_AX),%edx |
|---|
| 125 | + xor %eax,%eax |
|---|
| 126 | + ASM_CLAC |
|---|
| 127 | + RET |
|---|
| 128 | +SYM_FUNC_END(__get_user_nocheck_1) |
|---|
| 129 | +EXPORT_SYMBOL(__get_user_nocheck_1) |
|---|
| 117 | 130 | |
|---|
| 131 | +SYM_FUNC_START(__get_user_nocheck_2) |
|---|
| 132 | + ASM_STAC |
|---|
| 133 | + ASM_BARRIER_NOSPEC |
|---|
| 134 | +7: movzwl (%_ASM_AX),%edx |
|---|
| 135 | + xor %eax,%eax |
|---|
| 136 | + ASM_CLAC |
|---|
| 137 | + RET |
|---|
| 138 | +SYM_FUNC_END(__get_user_nocheck_2) |
|---|
| 139 | +EXPORT_SYMBOL(__get_user_nocheck_2) |
|---|
| 140 | + |
|---|
| 141 | +SYM_FUNC_START(__get_user_nocheck_4) |
|---|
| 142 | + ASM_STAC |
|---|
| 143 | + ASM_BARRIER_NOSPEC |
|---|
| 144 | +8: movl (%_ASM_AX),%edx |
|---|
| 145 | + xor %eax,%eax |
|---|
| 146 | + ASM_CLAC |
|---|
| 147 | + RET |
|---|
| 148 | +SYM_FUNC_END(__get_user_nocheck_4) |
|---|
| 149 | +EXPORT_SYMBOL(__get_user_nocheck_4) |
|---|
| 150 | + |
|---|
| 151 | +SYM_FUNC_START(__get_user_nocheck_8) |
|---|
| 152 | + ASM_STAC |
|---|
| 153 | + ASM_BARRIER_NOSPEC |
|---|
| 154 | +#ifdef CONFIG_X86_64 |
|---|
| 155 | +9: movq (%_ASM_AX),%rdx |
|---|
| 156 | +#else |
|---|
| 157 | +9: movl (%_ASM_AX),%edx |
|---|
| 158 | +10: movl 4(%_ASM_AX),%ecx |
|---|
| 159 | +#endif |
|---|
| 160 | + xor %eax,%eax |
|---|
| 161 | + ASM_CLAC |
|---|
| 162 | + RET |
|---|
| 163 | +SYM_FUNC_END(__get_user_nocheck_8) |
|---|
| 164 | +EXPORT_SYMBOL(__get_user_nocheck_8) |
|---|
| 165 | + |
|---|
| 166 | + |
|---|
| 167 | +SYM_CODE_START_LOCAL(.Lbad_get_user_clac) |
|---|
| 168 | + ASM_CLAC |
|---|
| 118 | 169 | bad_get_user: |
|---|
| 119 | 170 | xor %edx,%edx |
|---|
| 120 | 171 | mov $(-EFAULT),%_ASM_AX |
|---|
| 121 | | - ASM_CLAC |
|---|
| 122 | | - ret |
|---|
| 123 | | -END(bad_get_user) |
|---|
| 172 | + RET |
|---|
| 173 | +SYM_CODE_END(.Lbad_get_user_clac) |
|---|
| 124 | 174 | |
|---|
| 125 | 175 | #ifdef CONFIG_X86_32 |
|---|
| 176 | +SYM_CODE_START_LOCAL(.Lbad_get_user_8_clac) |
|---|
| 177 | + ASM_CLAC |
|---|
| 126 | 178 | bad_get_user_8: |
|---|
| 127 | 179 | xor %edx,%edx |
|---|
| 128 | 180 | xor %ecx,%ecx |
|---|
| 129 | 181 | mov $(-EFAULT),%_ASM_AX |
|---|
| 130 | | - ASM_CLAC |
|---|
| 131 | | - ret |
|---|
| 132 | | -END(bad_get_user_8) |
|---|
| 182 | + RET |
|---|
| 183 | +SYM_CODE_END(.Lbad_get_user_8_clac) |
|---|
| 133 | 184 | #endif |
|---|
| 134 | 185 | |
|---|
| 135 | | - _ASM_EXTABLE(1b,bad_get_user) |
|---|
| 136 | | - _ASM_EXTABLE(2b,bad_get_user) |
|---|
| 137 | | - _ASM_EXTABLE(3b,bad_get_user) |
|---|
| 186 | +/* get_user */ |
|---|
| 187 | + _ASM_EXTABLE_UA(1b, .Lbad_get_user_clac) |
|---|
| 188 | + _ASM_EXTABLE_UA(2b, .Lbad_get_user_clac) |
|---|
| 189 | + _ASM_EXTABLE_UA(3b, .Lbad_get_user_clac) |
|---|
| 138 | 190 | #ifdef CONFIG_X86_64 |
|---|
| 139 | | - _ASM_EXTABLE(4b,bad_get_user) |
|---|
| 191 | + _ASM_EXTABLE_UA(4b, .Lbad_get_user_clac) |
|---|
| 140 | 192 | #else |
|---|
| 141 | | - _ASM_EXTABLE(4b,bad_get_user_8) |
|---|
| 142 | | - _ASM_EXTABLE(5b,bad_get_user_8) |
|---|
| 193 | + _ASM_EXTABLE_UA(4b, .Lbad_get_user_8_clac) |
|---|
| 194 | + _ASM_EXTABLE_UA(5b, .Lbad_get_user_8_clac) |
|---|
| 195 | +#endif |
|---|
| 196 | + |
|---|
| 197 | +/* __get_user */ |
|---|
| 198 | + _ASM_EXTABLE_UA(6b, .Lbad_get_user_clac) |
|---|
| 199 | + _ASM_EXTABLE_UA(7b, .Lbad_get_user_clac) |
|---|
| 200 | + _ASM_EXTABLE_UA(8b, .Lbad_get_user_clac) |
|---|
| 201 | +#ifdef CONFIG_X86_64 |
|---|
| 202 | + _ASM_EXTABLE_UA(9b, .Lbad_get_user_clac) |
|---|
| 203 | +#else |
|---|
| 204 | + _ASM_EXTABLE_UA(9b, .Lbad_get_user_8_clac) |
|---|
| 205 | + _ASM_EXTABLE_UA(10b, .Lbad_get_user_8_clac) |
|---|
| 143 | 206 | #endif |
|---|