.. | .. |
---|
66 | 66 | m->compute_static_thread_mgmt_se3); |
---|
67 | 67 | } |
---|
68 | 68 | |
---|
69 | | -static int init_mqd(struct mqd_manager *mm, void **mqd, |
---|
70 | | - struct kfd_mem_obj **mqd_mem_obj, uint64_t *gart_addr, |
---|
| 69 | +static void set_priority(struct cik_mqd *m, struct queue_properties *q) |
---|
| 70 | +{ |
---|
| 71 | + m->cp_hqd_pipe_priority = pipe_priority_map[q->priority]; |
---|
| 72 | + m->cp_hqd_queue_priority = q->priority; |
---|
| 73 | +} |
---|
| 74 | + |
---|
| 75 | +static struct kfd_mem_obj *allocate_mqd(struct kfd_dev *kfd, |
---|
| 76 | + struct queue_properties *q) |
---|
| 77 | +{ |
---|
| 78 | + struct kfd_mem_obj *mqd_mem_obj; |
---|
| 79 | + |
---|
| 80 | + if (kfd_gtt_sa_allocate(kfd, sizeof(struct cik_mqd), |
---|
| 81 | + &mqd_mem_obj)) |
---|
| 82 | + return NULL; |
---|
| 83 | + |
---|
| 84 | + return mqd_mem_obj; |
---|
| 85 | +} |
---|
| 86 | + |
---|
| 87 | +static void init_mqd(struct mqd_manager *mm, void **mqd, |
---|
| 88 | + struct kfd_mem_obj *mqd_mem_obj, uint64_t *gart_addr, |
---|
71 | 89 | struct queue_properties *q) |
---|
72 | 90 | { |
---|
73 | 91 | uint64_t addr; |
---|
74 | 92 | struct cik_mqd *m; |
---|
75 | | - int retval; |
---|
76 | 93 | |
---|
77 | | - retval = kfd_gtt_sa_allocate(mm->dev, sizeof(struct cik_mqd), |
---|
78 | | - mqd_mem_obj); |
---|
79 | | - |
---|
80 | | - if (retval != 0) |
---|
81 | | - return -ENOMEM; |
---|
82 | | - |
---|
83 | | - m = (struct cik_mqd *) (*mqd_mem_obj)->cpu_ptr; |
---|
84 | | - addr = (*mqd_mem_obj)->gpu_addr; |
---|
| 94 | + m = (struct cik_mqd *) mqd_mem_obj->cpu_ptr; |
---|
| 95 | + addr = mqd_mem_obj->gpu_addr; |
---|
85 | 96 | |
---|
86 | 97 | memset(m, 0, ALIGN(sizeof(struct cik_mqd), 256)); |
---|
87 | 98 | |
---|
.. | .. |
---|
116 | 127 | * 1 = CS_MEDIUM (typically between HP3D and GFX |
---|
117 | 128 | * 2 = CS_HIGH (typically above HP3D) |
---|
118 | 129 | */ |
---|
119 | | - m->cp_hqd_pipe_priority = 1; |
---|
120 | | - m->cp_hqd_queue_priority = 15; |
---|
| 130 | + set_priority(m, q); |
---|
121 | 131 | |
---|
122 | 132 | if (q->format == KFD_QUEUE_FORMAT_AQL) |
---|
123 | 133 | m->cp_hqd_iq_rptr = AQL_ENABLE; |
---|
.. | .. |
---|
125 | 135 | *mqd = m; |
---|
126 | 136 | if (gart_addr) |
---|
127 | 137 | *gart_addr = addr; |
---|
128 | | - retval = mm->update_mqd(mm, m, q); |
---|
129 | | - |
---|
130 | | - return retval; |
---|
| 138 | + mm->update_mqd(mm, m, q); |
---|
131 | 139 | } |
---|
132 | 140 | |
---|
133 | | -static int init_mqd_sdma(struct mqd_manager *mm, void **mqd, |
---|
134 | | - struct kfd_mem_obj **mqd_mem_obj, uint64_t *gart_addr, |
---|
| 141 | +static void init_mqd_sdma(struct mqd_manager *mm, void **mqd, |
---|
| 142 | + struct kfd_mem_obj *mqd_mem_obj, uint64_t *gart_addr, |
---|
135 | 143 | struct queue_properties *q) |
---|
136 | 144 | { |
---|
137 | | - int retval; |
---|
138 | 145 | struct cik_sdma_rlc_registers *m; |
---|
139 | 146 | |
---|
140 | | - retval = kfd_gtt_sa_allocate(mm->dev, |
---|
141 | | - sizeof(struct cik_sdma_rlc_registers), |
---|
142 | | - mqd_mem_obj); |
---|
143 | | - |
---|
144 | | - if (retval != 0) |
---|
145 | | - return -ENOMEM; |
---|
146 | | - |
---|
147 | | - m = (struct cik_sdma_rlc_registers *) (*mqd_mem_obj)->cpu_ptr; |
---|
| 147 | + m = (struct cik_sdma_rlc_registers *) mqd_mem_obj->cpu_ptr; |
---|
148 | 148 | |
---|
149 | 149 | memset(m, 0, sizeof(struct cik_sdma_rlc_registers)); |
---|
150 | 150 | |
---|
151 | 151 | *mqd = m; |
---|
152 | 152 | if (gart_addr) |
---|
153 | | - *gart_addr = (*mqd_mem_obj)->gpu_addr; |
---|
| 153 | + *gart_addr = mqd_mem_obj->gpu_addr; |
---|
154 | 154 | |
---|
155 | | - retval = mm->update_mqd(mm, m, q); |
---|
156 | | - |
---|
157 | | - return retval; |
---|
| 155 | + mm->update_mqd(mm, m, q); |
---|
158 | 156 | } |
---|
159 | 157 | |
---|
160 | | -static void uninit_mqd(struct mqd_manager *mm, void *mqd, |
---|
| 158 | +static void free_mqd(struct mqd_manager *mm, void *mqd, |
---|
161 | 159 | struct kfd_mem_obj *mqd_mem_obj) |
---|
162 | 160 | { |
---|
163 | 161 | kfd_gtt_sa_free(mm->dev, mqd_mem_obj); |
---|
164 | 162 | } |
---|
165 | 163 | |
---|
166 | | -static void uninit_mqd_sdma(struct mqd_manager *mm, void *mqd, |
---|
167 | | - struct kfd_mem_obj *mqd_mem_obj) |
---|
168 | | -{ |
---|
169 | | - kfd_gtt_sa_free(mm->dev, mqd_mem_obj); |
---|
170 | | -} |
---|
171 | 164 | |
---|
172 | 165 | static int load_mqd(struct mqd_manager *mm, void *mqd, uint32_t pipe_id, |
---|
173 | 166 | uint32_t queue_id, struct queue_properties *p, |
---|
.. | .. |
---|
191 | 184 | mms); |
---|
192 | 185 | } |
---|
193 | 186 | |
---|
194 | | -static int __update_mqd(struct mqd_manager *mm, void *mqd, |
---|
| 187 | +static void __update_mqd(struct mqd_manager *mm, void *mqd, |
---|
195 | 188 | struct queue_properties *q, unsigned int atc_bit) |
---|
196 | 189 | { |
---|
197 | 190 | struct cik_mqd *m; |
---|
.. | .. |
---|
222 | 215 | m->cp_hqd_pq_control |= NO_UPDATE_RPTR; |
---|
223 | 216 | |
---|
224 | 217 | update_cu_mask(mm, mqd, q); |
---|
| 218 | + set_priority(m, q); |
---|
225 | 219 | |
---|
226 | | - q->is_active = (q->queue_size > 0 && |
---|
227 | | - q->queue_address != 0 && |
---|
228 | | - q->queue_percent > 0 && |
---|
229 | | - !q->is_evicted); |
---|
230 | | - |
---|
231 | | - return 0; |
---|
| 220 | + q->is_active = QUEUE_IS_ACTIVE(*q); |
---|
232 | 221 | } |
---|
233 | 222 | |
---|
234 | | -static int update_mqd(struct mqd_manager *mm, void *mqd, |
---|
| 223 | +static void update_mqd(struct mqd_manager *mm, void *mqd, |
---|
235 | 224 | struct queue_properties *q) |
---|
236 | 225 | { |
---|
237 | | - return __update_mqd(mm, mqd, q, 1); |
---|
| 226 | + __update_mqd(mm, mqd, q, 1); |
---|
238 | 227 | } |
---|
239 | 228 | |
---|
240 | | -static int update_mqd_hawaii(struct mqd_manager *mm, void *mqd, |
---|
| 229 | +static void update_mqd_hawaii(struct mqd_manager *mm, void *mqd, |
---|
241 | 230 | struct queue_properties *q) |
---|
242 | 231 | { |
---|
243 | | - return __update_mqd(mm, mqd, q, 0); |
---|
| 232 | + __update_mqd(mm, mqd, q, 0); |
---|
244 | 233 | } |
---|
245 | 234 | |
---|
246 | | -static int update_mqd_sdma(struct mqd_manager *mm, void *mqd, |
---|
| 235 | +static void update_mqd_sdma(struct mqd_manager *mm, void *mqd, |
---|
247 | 236 | struct queue_properties *q) |
---|
248 | 237 | { |
---|
249 | 238 | struct cik_sdma_rlc_registers *m; |
---|
.. | .. |
---|
267 | 256 | m->sdma_engine_id = q->sdma_engine_id; |
---|
268 | 257 | m->sdma_queue_id = q->sdma_queue_id; |
---|
269 | 258 | |
---|
270 | | - q->is_active = (q->queue_size > 0 && |
---|
271 | | - q->queue_address != 0 && |
---|
272 | | - q->queue_percent > 0 && |
---|
273 | | - !q->is_evicted); |
---|
274 | | - |
---|
275 | | - return 0; |
---|
| 259 | + q->is_active = QUEUE_IS_ACTIVE(*q); |
---|
276 | 260 | } |
---|
277 | 261 | |
---|
278 | 262 | static int destroy_mqd(struct mqd_manager *mm, void *mqd, |
---|
.. | .. |
---|
319 | 303 | * queues but with different initial values. |
---|
320 | 304 | */ |
---|
321 | 305 | |
---|
322 | | -static int init_mqd_hiq(struct mqd_manager *mm, void **mqd, |
---|
323 | | - struct kfd_mem_obj **mqd_mem_obj, uint64_t *gart_addr, |
---|
| 306 | +static void init_mqd_hiq(struct mqd_manager *mm, void **mqd, |
---|
| 307 | + struct kfd_mem_obj *mqd_mem_obj, uint64_t *gart_addr, |
---|
324 | 308 | struct queue_properties *q) |
---|
325 | 309 | { |
---|
326 | | - return init_mqd(mm, mqd, mqd_mem_obj, gart_addr, q); |
---|
| 310 | + init_mqd(mm, mqd, mqd_mem_obj, gart_addr, q); |
---|
327 | 311 | } |
---|
328 | 312 | |
---|
329 | | -static int update_mqd_hiq(struct mqd_manager *mm, void *mqd, |
---|
| 313 | +static void update_mqd_hiq(struct mqd_manager *mm, void *mqd, |
---|
330 | 314 | struct queue_properties *q) |
---|
331 | 315 | { |
---|
332 | 316 | struct cik_mqd *m; |
---|
.. | .. |
---|
350 | 334 | |
---|
351 | 335 | m->cp_hqd_vmid = q->vmid; |
---|
352 | 336 | |
---|
353 | | - q->is_active = (q->queue_size > 0 && |
---|
354 | | - q->queue_address != 0 && |
---|
355 | | - q->queue_percent > 0 && |
---|
356 | | - !q->is_evicted); |
---|
| 337 | + q->is_active = QUEUE_IS_ACTIVE(*q); |
---|
357 | 338 | |
---|
358 | | - return 0; |
---|
| 339 | + set_priority(m, q); |
---|
359 | 340 | } |
---|
360 | 341 | |
---|
361 | 342 | #if defined(CONFIG_DEBUG_FS) |
---|
.. | .. |
---|
393 | 374 | |
---|
394 | 375 | switch (type) { |
---|
395 | 376 | case KFD_MQD_TYPE_CP: |
---|
396 | | - case KFD_MQD_TYPE_COMPUTE: |
---|
| 377 | + mqd->allocate_mqd = allocate_mqd; |
---|
397 | 378 | mqd->init_mqd = init_mqd; |
---|
398 | | - mqd->uninit_mqd = uninit_mqd; |
---|
| 379 | + mqd->free_mqd = free_mqd; |
---|
399 | 380 | mqd->load_mqd = load_mqd; |
---|
400 | 381 | mqd->update_mqd = update_mqd; |
---|
401 | 382 | mqd->destroy_mqd = destroy_mqd; |
---|
402 | 383 | mqd->is_occupied = is_occupied; |
---|
| 384 | + mqd->mqd_size = sizeof(struct cik_mqd); |
---|
403 | 385 | #if defined(CONFIG_DEBUG_FS) |
---|
404 | 386 | mqd->debugfs_show_mqd = debugfs_show_mqd; |
---|
405 | 387 | #endif |
---|
406 | 388 | break; |
---|
407 | 389 | case KFD_MQD_TYPE_HIQ: |
---|
| 390 | + mqd->allocate_mqd = allocate_hiq_mqd; |
---|
408 | 391 | mqd->init_mqd = init_mqd_hiq; |
---|
409 | | - mqd->uninit_mqd = uninit_mqd; |
---|
| 392 | + mqd->free_mqd = free_mqd_hiq_sdma; |
---|
410 | 393 | mqd->load_mqd = load_mqd; |
---|
411 | 394 | mqd->update_mqd = update_mqd_hiq; |
---|
412 | 395 | mqd->destroy_mqd = destroy_mqd; |
---|
413 | 396 | mqd->is_occupied = is_occupied; |
---|
| 397 | + mqd->mqd_size = sizeof(struct cik_mqd); |
---|
| 398 | +#if defined(CONFIG_DEBUG_FS) |
---|
| 399 | + mqd->debugfs_show_mqd = debugfs_show_mqd; |
---|
| 400 | +#endif |
---|
| 401 | + break; |
---|
| 402 | + case KFD_MQD_TYPE_DIQ: |
---|
| 403 | + mqd->allocate_mqd = allocate_mqd; |
---|
| 404 | + mqd->init_mqd = init_mqd_hiq; |
---|
| 405 | + mqd->free_mqd = free_mqd; |
---|
| 406 | + mqd->load_mqd = load_mqd; |
---|
| 407 | + mqd->update_mqd = update_mqd_hiq; |
---|
| 408 | + mqd->destroy_mqd = destroy_mqd; |
---|
| 409 | + mqd->is_occupied = is_occupied; |
---|
| 410 | + mqd->mqd_size = sizeof(struct cik_mqd); |
---|
414 | 411 | #if defined(CONFIG_DEBUG_FS) |
---|
415 | 412 | mqd->debugfs_show_mqd = debugfs_show_mqd; |
---|
416 | 413 | #endif |
---|
417 | 414 | break; |
---|
418 | 415 | case KFD_MQD_TYPE_SDMA: |
---|
| 416 | + mqd->allocate_mqd = allocate_sdma_mqd; |
---|
419 | 417 | mqd->init_mqd = init_mqd_sdma; |
---|
420 | | - mqd->uninit_mqd = uninit_mqd_sdma; |
---|
| 418 | + mqd->free_mqd = free_mqd_hiq_sdma; |
---|
421 | 419 | mqd->load_mqd = load_mqd_sdma; |
---|
422 | 420 | mqd->update_mqd = update_mqd_sdma; |
---|
423 | 421 | mqd->destroy_mqd = destroy_mqd_sdma; |
---|
424 | 422 | mqd->is_occupied = is_occupied_sdma; |
---|
| 423 | + mqd->mqd_size = sizeof(struct cik_sdma_rlc_registers); |
---|
425 | 424 | #if defined(CONFIG_DEBUG_FS) |
---|
426 | 425 | mqd->debugfs_show_mqd = debugfs_show_mqd_sdma; |
---|
427 | 426 | #endif |
---|
.. | .. |
---|
442 | 441 | mqd = mqd_manager_init_cik(type, dev); |
---|
443 | 442 | if (!mqd) |
---|
444 | 443 | return NULL; |
---|
445 | | - if ((type == KFD_MQD_TYPE_CP) || (type == KFD_MQD_TYPE_COMPUTE)) |
---|
| 444 | + if (type == KFD_MQD_TYPE_CP) |
---|
446 | 445 | mqd->update_mqd = update_mqd_hawaii; |
---|
447 | 446 | return mqd; |
---|
448 | 447 | } |
---|