.. | .. |
---|
35 | 35 | #include <asm/smap.h> |
---|
36 | 36 | #include <asm/export.h> |
---|
37 | 37 | |
---|
| 38 | +#define ASM_BARRIER_NOSPEC ALTERNATIVE "", "lfence", X86_FEATURE_LFENCE_RDTSC |
---|
| 39 | + |
---|
| 40 | +#ifdef CONFIG_X86_5LEVEL |
---|
| 41 | +#define LOAD_TASK_SIZE_MINUS_N(n) \ |
---|
| 42 | + ALTERNATIVE __stringify(mov $((1 << 47) - 4096 - (n)),%rdx), \ |
---|
| 43 | + __stringify(mov $((1 << 56) - 4096 - (n)),%rdx), X86_FEATURE_LA57 |
---|
| 44 | +#else |
---|
| 45 | +#define LOAD_TASK_SIZE_MINUS_N(n) \ |
---|
| 46 | + mov $(TASK_SIZE_MAX - (n)),%_ASM_DX |
---|
| 47 | +#endif |
---|
| 48 | + |
---|
38 | 49 | .text |
---|
39 | | -ENTRY(__get_user_1) |
---|
40 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
---|
41 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
---|
| 50 | +SYM_FUNC_START(__get_user_1) |
---|
| 51 | + LOAD_TASK_SIZE_MINUS_N(0) |
---|
| 52 | + cmp %_ASM_DX,%_ASM_AX |
---|
42 | 53 | jae bad_get_user |
---|
43 | 54 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
---|
44 | 55 | and %_ASM_DX, %_ASM_AX |
---|
.. | .. |
---|
46 | 57 | 1: movzbl (%_ASM_AX),%edx |
---|
47 | 58 | xor %eax,%eax |
---|
48 | 59 | ASM_CLAC |
---|
49 | | - ret |
---|
50 | | -ENDPROC(__get_user_1) |
---|
| 60 | + RET |
---|
| 61 | +SYM_FUNC_END(__get_user_1) |
---|
51 | 62 | EXPORT_SYMBOL(__get_user_1) |
---|
52 | 63 | |
---|
53 | | -ENTRY(__get_user_2) |
---|
54 | | - add $1,%_ASM_AX |
---|
55 | | - jc bad_get_user |
---|
56 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
---|
57 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
---|
| 64 | +SYM_FUNC_START(__get_user_2) |
---|
| 65 | + LOAD_TASK_SIZE_MINUS_N(1) |
---|
| 66 | + cmp %_ASM_DX,%_ASM_AX |
---|
58 | 67 | jae bad_get_user |
---|
59 | 68 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
---|
60 | 69 | and %_ASM_DX, %_ASM_AX |
---|
61 | 70 | ASM_STAC |
---|
62 | | -2: movzwl -1(%_ASM_AX),%edx |
---|
| 71 | +2: movzwl (%_ASM_AX),%edx |
---|
63 | 72 | xor %eax,%eax |
---|
64 | 73 | ASM_CLAC |
---|
65 | | - ret |
---|
66 | | -ENDPROC(__get_user_2) |
---|
| 74 | + RET |
---|
| 75 | +SYM_FUNC_END(__get_user_2) |
---|
67 | 76 | EXPORT_SYMBOL(__get_user_2) |
---|
68 | 77 | |
---|
69 | | -ENTRY(__get_user_4) |
---|
70 | | - add $3,%_ASM_AX |
---|
71 | | - jc bad_get_user |
---|
72 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
---|
73 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
---|
| 78 | +SYM_FUNC_START(__get_user_4) |
---|
| 79 | + LOAD_TASK_SIZE_MINUS_N(3) |
---|
| 80 | + cmp %_ASM_DX,%_ASM_AX |
---|
74 | 81 | jae bad_get_user |
---|
75 | 82 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
---|
76 | 83 | and %_ASM_DX, %_ASM_AX |
---|
77 | 84 | ASM_STAC |
---|
78 | | -3: movl -3(%_ASM_AX),%edx |
---|
| 85 | +3: movl (%_ASM_AX),%edx |
---|
79 | 86 | xor %eax,%eax |
---|
80 | 87 | ASM_CLAC |
---|
81 | | - ret |
---|
82 | | -ENDPROC(__get_user_4) |
---|
| 88 | + RET |
---|
| 89 | +SYM_FUNC_END(__get_user_4) |
---|
83 | 90 | EXPORT_SYMBOL(__get_user_4) |
---|
84 | 91 | |
---|
85 | | -ENTRY(__get_user_8) |
---|
| 92 | +SYM_FUNC_START(__get_user_8) |
---|
86 | 93 | #ifdef CONFIG_X86_64 |
---|
87 | | - add $7,%_ASM_AX |
---|
88 | | - jc bad_get_user |
---|
89 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
---|
90 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
---|
| 94 | + LOAD_TASK_SIZE_MINUS_N(7) |
---|
| 95 | + cmp %_ASM_DX,%_ASM_AX |
---|
91 | 96 | jae bad_get_user |
---|
92 | 97 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
---|
93 | 98 | and %_ASM_DX, %_ASM_AX |
---|
94 | 99 | ASM_STAC |
---|
95 | | -4: movq -7(%_ASM_AX),%rdx |
---|
| 100 | +4: movq (%_ASM_AX),%rdx |
---|
96 | 101 | xor %eax,%eax |
---|
97 | 102 | ASM_CLAC |
---|
98 | | - ret |
---|
| 103 | + RET |
---|
99 | 104 | #else |
---|
100 | | - add $7,%_ASM_AX |
---|
101 | | - jc bad_get_user_8 |
---|
102 | | - mov PER_CPU_VAR(current_task), %_ASM_DX |
---|
103 | | - cmp TASK_addr_limit(%_ASM_DX),%_ASM_AX |
---|
| 105 | + LOAD_TASK_SIZE_MINUS_N(7) |
---|
| 106 | + cmp %_ASM_DX,%_ASM_AX |
---|
104 | 107 | jae bad_get_user_8 |
---|
105 | 108 | sbb %_ASM_DX, %_ASM_DX /* array_index_mask_nospec() */ |
---|
106 | 109 | and %_ASM_DX, %_ASM_AX |
---|
107 | 110 | ASM_STAC |
---|
108 | | -4: movl -7(%_ASM_AX),%edx |
---|
109 | | -5: movl -3(%_ASM_AX),%ecx |
---|
| 111 | +4: movl (%_ASM_AX),%edx |
---|
| 112 | +5: movl 4(%_ASM_AX),%ecx |
---|
110 | 113 | xor %eax,%eax |
---|
111 | 114 | ASM_CLAC |
---|
112 | | - ret |
---|
| 115 | + RET |
---|
113 | 116 | #endif |
---|
114 | | -ENDPROC(__get_user_8) |
---|
| 117 | +SYM_FUNC_END(__get_user_8) |
---|
115 | 118 | EXPORT_SYMBOL(__get_user_8) |
---|
116 | 119 | |
---|
| 120 | +/* .. and the same for __get_user, just without the range checks */ |
---|
| 121 | +SYM_FUNC_START(__get_user_nocheck_1) |
---|
| 122 | + ASM_STAC |
---|
| 123 | + ASM_BARRIER_NOSPEC |
---|
| 124 | +6: movzbl (%_ASM_AX),%edx |
---|
| 125 | + xor %eax,%eax |
---|
| 126 | + ASM_CLAC |
---|
| 127 | + RET |
---|
| 128 | +SYM_FUNC_END(__get_user_nocheck_1) |
---|
| 129 | +EXPORT_SYMBOL(__get_user_nocheck_1) |
---|
117 | 130 | |
---|
| 131 | +SYM_FUNC_START(__get_user_nocheck_2) |
---|
| 132 | + ASM_STAC |
---|
| 133 | + ASM_BARRIER_NOSPEC |
---|
| 134 | +7: movzwl (%_ASM_AX),%edx |
---|
| 135 | + xor %eax,%eax |
---|
| 136 | + ASM_CLAC |
---|
| 137 | + RET |
---|
| 138 | +SYM_FUNC_END(__get_user_nocheck_2) |
---|
| 139 | +EXPORT_SYMBOL(__get_user_nocheck_2) |
---|
| 140 | + |
---|
| 141 | +SYM_FUNC_START(__get_user_nocheck_4) |
---|
| 142 | + ASM_STAC |
---|
| 143 | + ASM_BARRIER_NOSPEC |
---|
| 144 | +8: movl (%_ASM_AX),%edx |
---|
| 145 | + xor %eax,%eax |
---|
| 146 | + ASM_CLAC |
---|
| 147 | + RET |
---|
| 148 | +SYM_FUNC_END(__get_user_nocheck_4) |
---|
| 149 | +EXPORT_SYMBOL(__get_user_nocheck_4) |
---|
| 150 | + |
---|
| 151 | +SYM_FUNC_START(__get_user_nocheck_8) |
---|
| 152 | + ASM_STAC |
---|
| 153 | + ASM_BARRIER_NOSPEC |
---|
| 154 | +#ifdef CONFIG_X86_64 |
---|
| 155 | +9: movq (%_ASM_AX),%rdx |
---|
| 156 | +#else |
---|
| 157 | +9: movl (%_ASM_AX),%edx |
---|
| 158 | +10: movl 4(%_ASM_AX),%ecx |
---|
| 159 | +#endif |
---|
| 160 | + xor %eax,%eax |
---|
| 161 | + ASM_CLAC |
---|
| 162 | + RET |
---|
| 163 | +SYM_FUNC_END(__get_user_nocheck_8) |
---|
| 164 | +EXPORT_SYMBOL(__get_user_nocheck_8) |
---|
| 165 | + |
---|
| 166 | + |
---|
| 167 | +SYM_CODE_START_LOCAL(.Lbad_get_user_clac) |
---|
| 168 | + ASM_CLAC |
---|
118 | 169 | bad_get_user: |
---|
119 | 170 | xor %edx,%edx |
---|
120 | 171 | mov $(-EFAULT),%_ASM_AX |
---|
121 | | - ASM_CLAC |
---|
122 | | - ret |
---|
123 | | -END(bad_get_user) |
---|
| 172 | + RET |
---|
| 173 | +SYM_CODE_END(.Lbad_get_user_clac) |
---|
124 | 174 | |
---|
125 | 175 | #ifdef CONFIG_X86_32 |
---|
| 176 | +SYM_CODE_START_LOCAL(.Lbad_get_user_8_clac) |
---|
| 177 | + ASM_CLAC |
---|
126 | 178 | bad_get_user_8: |
---|
127 | 179 | xor %edx,%edx |
---|
128 | 180 | xor %ecx,%ecx |
---|
129 | 181 | mov $(-EFAULT),%_ASM_AX |
---|
130 | | - ASM_CLAC |
---|
131 | | - ret |
---|
132 | | -END(bad_get_user_8) |
---|
| 182 | + RET |
---|
| 183 | +SYM_CODE_END(.Lbad_get_user_8_clac) |
---|
133 | 184 | #endif |
---|
134 | 185 | |
---|
135 | | - _ASM_EXTABLE(1b,bad_get_user) |
---|
136 | | - _ASM_EXTABLE(2b,bad_get_user) |
---|
137 | | - _ASM_EXTABLE(3b,bad_get_user) |
---|
| 186 | +/* get_user */ |
---|
| 187 | + _ASM_EXTABLE_UA(1b, .Lbad_get_user_clac) |
---|
| 188 | + _ASM_EXTABLE_UA(2b, .Lbad_get_user_clac) |
---|
| 189 | + _ASM_EXTABLE_UA(3b, .Lbad_get_user_clac) |
---|
138 | 190 | #ifdef CONFIG_X86_64 |
---|
139 | | - _ASM_EXTABLE(4b,bad_get_user) |
---|
| 191 | + _ASM_EXTABLE_UA(4b, .Lbad_get_user_clac) |
---|
140 | 192 | #else |
---|
141 | | - _ASM_EXTABLE(4b,bad_get_user_8) |
---|
142 | | - _ASM_EXTABLE(5b,bad_get_user_8) |
---|
| 193 | + _ASM_EXTABLE_UA(4b, .Lbad_get_user_8_clac) |
---|
| 194 | + _ASM_EXTABLE_UA(5b, .Lbad_get_user_8_clac) |
---|
| 195 | +#endif |
---|
| 196 | + |
---|
| 197 | +/* __get_user */ |
---|
| 198 | + _ASM_EXTABLE_UA(6b, .Lbad_get_user_clac) |
---|
| 199 | + _ASM_EXTABLE_UA(7b, .Lbad_get_user_clac) |
---|
| 200 | + _ASM_EXTABLE_UA(8b, .Lbad_get_user_clac) |
---|
| 201 | +#ifdef CONFIG_X86_64 |
---|
| 202 | + _ASM_EXTABLE_UA(9b, .Lbad_get_user_clac) |
---|
| 203 | +#else |
---|
| 204 | + _ASM_EXTABLE_UA(9b, .Lbad_get_user_8_clac) |
---|
| 205 | + _ASM_EXTABLE_UA(10b, .Lbad_get_user_8_clac) |
---|
143 | 206 | #endif |
---|