1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
| /* SPDX-License-Identifier: GPL-2.0 */
| /* NG4copy_page.S: Niagara-4 optimized copy page.
| *
| * Copyright (C) 2012 (davem@davemloft.net)
| */
|
| #include <asm/asi.h>
| #include <asm/page.h>
|
| .text
| .align 32
|
| .register %g2, #scratch
| .register %g3, #scratch
|
| .globl NG4copy_user_page
| NG4copy_user_page: /* %o0=dest, %o1=src, %o2=vaddr */
| prefetch [%o1 + 0x000], #n_reads_strong
| prefetch [%o1 + 0x040], #n_reads_strong
| prefetch [%o1 + 0x080], #n_reads_strong
| prefetch [%o1 + 0x0c0], #n_reads_strong
| set PAGE_SIZE, %g7
| prefetch [%o1 + 0x100], #n_reads_strong
| prefetch [%o1 + 0x140], #n_reads_strong
| prefetch [%o1 + 0x180], #n_reads_strong
| prefetch [%o1 + 0x1c0], #n_reads_strong
| 1:
| ldx [%o1 + 0x00], %o2
| subcc %g7, 0x40, %g7
| ldx [%o1 + 0x08], %o3
| ldx [%o1 + 0x10], %o4
| ldx [%o1 + 0x18], %o5
| ldx [%o1 + 0x20], %g1
| stxa %o2, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| ldx [%o1 + 0x28], %g2
| stxa %o3, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| ldx [%o1 + 0x30], %g3
| stxa %o4, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| ldx [%o1 + 0x38], %o2
| add %o1, 0x40, %o1
| stxa %o5, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| stxa %g1, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| stxa %g2, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| stxa %g3, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| stxa %o2, [%o0] ASI_ST_BLKINIT_MRU_P
| add %o0, 0x08, %o0
| bne,pt %icc, 1b
| prefetch [%o1 + 0x200], #n_reads_strong
| retl
| membar #StoreLoad | #StoreStore
| .size NG4copy_user_page,.-NG4copy_user_page
|
|
