KVM: PPC: Implement MMU notifiers for Book3S HV guests
[linux-2.6.git] / arch / powerpc / include / asm / kvm_book3s.h
1 /*
2  * This program is free software; you can redistribute it and/or modify
3  * it under the terms of the GNU General Public License, version 2, as
4  * published by the Free Software Foundation.
5  *
6  * This program is distributed in the hope that it will be useful,
7  * but WITHOUT ANY WARRANTY; without even the implied warranty of
8  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
9  * GNU General Public License for more details.
10  *
11  * You should have received a copy of the GNU General Public License
12  * along with this program; if not, write to the Free Software
13  * Foundation, 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
14  *
15  * Copyright SUSE Linux Products GmbH 2009
16  *
17  * Authors: Alexander Graf <agraf@suse.de>
18  */
19
20 #ifndef __ASM_KVM_BOOK3S_H__
21 #define __ASM_KVM_BOOK3S_H__
22
23 #include <linux/types.h>
24 #include <linux/kvm_host.h>
25 #include <asm/kvm_book3s_asm.h>
26
27 struct kvmppc_bat {
28         u64 raw;
29         u32 bepi;
30         u32 bepi_mask;
31         u32 brpn;
32         u8 wimg;
33         u8 pp;
34         bool vs         : 1;
35         bool vp         : 1;
36 };
37
38 struct kvmppc_sid_map {
39         u64 guest_vsid;
40         u64 guest_esid;
41         u64 host_vsid;
42         bool valid      : 1;
43 };
44
45 #define SID_MAP_BITS    9
46 #define SID_MAP_NUM     (1 << SID_MAP_BITS)
47 #define SID_MAP_MASK    (SID_MAP_NUM - 1)
48
49 #ifdef CONFIG_PPC_BOOK3S_64
50 #define SID_CONTEXTS    1
51 #else
52 #define SID_CONTEXTS    128
53 #define VSID_POOL_SIZE  (SID_CONTEXTS * 16)
54 #endif
55
56 struct hpte_cache {
57         struct hlist_node list_pte;
58         struct hlist_node list_pte_long;
59         struct hlist_node list_vpte;
60         struct hlist_node list_vpte_long;
61         struct rcu_head rcu_head;
62         u64 host_va;
63         u64 pfn;
64         ulong slot;
65         struct kvmppc_pte pte;
66 };
67
68 struct kvmppc_vcpu_book3s {
69         struct kvm_vcpu vcpu;
70         struct kvmppc_book3s_shadow_vcpu *shadow_vcpu;
71         struct kvmppc_sid_map sid_map[SID_MAP_NUM];
72         struct {
73                 u64 esid;
74                 u64 vsid;
75         } slb_shadow[64];
76         u8 slb_shadow_max;
77         struct kvmppc_bat ibat[8];
78         struct kvmppc_bat dbat[8];
79         u64 hid[6];
80         u64 gqr[8];
81         u64 sdr1;
82         u64 hior;
83         u64 msr_mask;
84         u64 vsid_next;
85 #ifdef CONFIG_PPC_BOOK3S_32
86         u32 vsid_pool[VSID_POOL_SIZE];
87 #else
88         u64 vsid_first;
89         u64 vsid_max;
90 #endif
91         int context_id[SID_CONTEXTS];
92
93         struct hlist_head hpte_hash_pte[HPTEG_HASH_NUM_PTE];
94         struct hlist_head hpte_hash_pte_long[HPTEG_HASH_NUM_PTE_LONG];
95         struct hlist_head hpte_hash_vpte[HPTEG_HASH_NUM_VPTE];
96         struct hlist_head hpte_hash_vpte_long[HPTEG_HASH_NUM_VPTE_LONG];
97         int hpte_cache_count;
98         spinlock_t mmu_lock;
99 };
100
101 #define CONTEXT_HOST            0
102 #define CONTEXT_GUEST           1
103 #define CONTEXT_GUEST_END       2
104
105 #define VSID_REAL       0x1fffffffffc00000ULL
106 #define VSID_BAT        0x1fffffffffb00000ULL
107 #define VSID_REAL_DR    0x2000000000000000ULL
108 #define VSID_REAL_IR    0x4000000000000000ULL
109 #define VSID_PR         0x8000000000000000ULL
110
111 extern void kvmppc_mmu_pte_flush(struct kvm_vcpu *vcpu, ulong ea, ulong ea_mask);
112 extern void kvmppc_mmu_pte_vflush(struct kvm_vcpu *vcpu, u64 vp, u64 vp_mask);
113 extern void kvmppc_mmu_pte_pflush(struct kvm_vcpu *vcpu, ulong pa_start, ulong pa_end);
114 extern void kvmppc_set_msr(struct kvm_vcpu *vcpu, u64 new_msr);
115 extern void kvmppc_set_pvr(struct kvm_vcpu *vcpu, u32 pvr);
116 extern void kvmppc_mmu_book3s_64_init(struct kvm_vcpu *vcpu);
117 extern void kvmppc_mmu_book3s_32_init(struct kvm_vcpu *vcpu);
118 extern void kvmppc_mmu_book3s_hv_init(struct kvm_vcpu *vcpu);
119 extern int kvmppc_mmu_map_page(struct kvm_vcpu *vcpu, struct kvmppc_pte *pte);
120 extern int kvmppc_mmu_map_segment(struct kvm_vcpu *vcpu, ulong eaddr);
121 extern void kvmppc_mmu_flush_segments(struct kvm_vcpu *vcpu);
122 extern int kvmppc_book3s_hv_page_fault(struct kvm_run *run,
123                         struct kvm_vcpu *vcpu, unsigned long addr,
124                         unsigned long status);
125 extern long kvmppc_hv_find_lock_hpte(struct kvm *kvm, gva_t eaddr,
126                         unsigned long slb_v, unsigned long valid);
127
128 extern void kvmppc_mmu_hpte_cache_map(struct kvm_vcpu *vcpu, struct hpte_cache *pte);
129 extern struct hpte_cache *kvmppc_mmu_hpte_cache_next(struct kvm_vcpu *vcpu);
130 extern void kvmppc_mmu_hpte_destroy(struct kvm_vcpu *vcpu);
131 extern int kvmppc_mmu_hpte_init(struct kvm_vcpu *vcpu);
132 extern void kvmppc_mmu_invalidate_pte(struct kvm_vcpu *vcpu, struct hpte_cache *pte);
133 extern int kvmppc_mmu_hpte_sysinit(void);
134 extern void kvmppc_mmu_hpte_sysexit(void);
135 extern int kvmppc_mmu_hv_init(void);
136
137 extern int kvmppc_ld(struct kvm_vcpu *vcpu, ulong *eaddr, int size, void *ptr, bool data);
138 extern int kvmppc_st(struct kvm_vcpu *vcpu, ulong *eaddr, int size, void *ptr, bool data);
139 extern void kvmppc_book3s_queue_irqprio(struct kvm_vcpu *vcpu, unsigned int vec);
140 extern void kvmppc_inject_interrupt(struct kvm_vcpu *vcpu, int vec, u64 flags);
141 extern void kvmppc_set_bat(struct kvm_vcpu *vcpu, struct kvmppc_bat *bat,
142                            bool upper, u32 val);
143 extern void kvmppc_giveup_ext(struct kvm_vcpu *vcpu, ulong msr);
144 extern int kvmppc_emulate_paired_single(struct kvm_run *run, struct kvm_vcpu *vcpu);
145 extern pfn_t kvmppc_gfn_to_pfn(struct kvm_vcpu *vcpu, gfn_t gfn);
146 extern void kvmppc_add_revmap_chain(struct kvm *kvm, struct revmap_entry *rev,
147                         unsigned long *rmap, long pte_index, int realmode);
148 extern void kvmppc_invalidate_hpte(struct kvm *kvm, unsigned long *hptep,
149                         unsigned long pte_index);
150 extern void *kvmppc_pin_guest_page(struct kvm *kvm, unsigned long addr,
151                         unsigned long *nb_ret);
152 extern void kvmppc_unpin_guest_page(struct kvm *kvm, void *addr);
153 extern long kvmppc_virtmode_h_enter(struct kvm_vcpu *vcpu, unsigned long flags,
154                         long pte_index, unsigned long pteh, unsigned long ptel);
155 extern long kvmppc_h_enter(struct kvm_vcpu *vcpu, unsigned long flags,
156                         long pte_index, unsigned long pteh, unsigned long ptel);
157
158 extern void kvmppc_entry_trampoline(void);
159 extern void kvmppc_hv_entry_trampoline(void);
160 extern void kvmppc_load_up_fpu(void);
161 extern void kvmppc_load_up_altivec(void);
162 extern void kvmppc_load_up_vsx(void);
163 extern u32 kvmppc_alignment_dsisr(struct kvm_vcpu *vcpu, unsigned int inst);
164 extern ulong kvmppc_alignment_dar(struct kvm_vcpu *vcpu, unsigned int inst);
165 extern int kvmppc_h_pr(struct kvm_vcpu *vcpu, unsigned long cmd);
166
167 static inline struct kvmppc_vcpu_book3s *to_book3s(struct kvm_vcpu *vcpu)
168 {
169         return container_of(vcpu, struct kvmppc_vcpu_book3s, vcpu);
170 }
171
172 extern void kvm_return_point(void);
173
174 /* Also add subarch specific defines */
175
176 #ifdef CONFIG_KVM_BOOK3S_32_HANDLER
177 #include <asm/kvm_book3s_32.h>
178 #endif
179 #ifdef CONFIG_KVM_BOOK3S_64_HANDLER
180 #include <asm/kvm_book3s_64.h>
181 #endif
182
183 #ifdef CONFIG_KVM_BOOK3S_PR
184
185 static inline unsigned long kvmppc_interrupt_offset(struct kvm_vcpu *vcpu)
186 {
187         return to_book3s(vcpu)->hior;
188 }
189
190 static inline void kvmppc_update_int_pending(struct kvm_vcpu *vcpu,
191                         unsigned long pending_now, unsigned long old_pending)
192 {
193         if (pending_now)
194                 vcpu->arch.shared->int_pending = 1;
195         else if (old_pending)
196                 vcpu->arch.shared->int_pending = 0;
197 }
198
199 static inline void kvmppc_set_gpr(struct kvm_vcpu *vcpu, int num, ulong val)
200 {
201         if ( num < 14 ) {
202                 struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
203                 svcpu->gpr[num] = val;
204                 svcpu_put(svcpu);
205                 to_book3s(vcpu)->shadow_vcpu->gpr[num] = val;
206         } else
207                 vcpu->arch.gpr[num] = val;
208 }
209
210 static inline ulong kvmppc_get_gpr(struct kvm_vcpu *vcpu, int num)
211 {
212         if ( num < 14 ) {
213                 struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
214                 ulong r = svcpu->gpr[num];
215                 svcpu_put(svcpu);
216                 return r;
217         } else
218                 return vcpu->arch.gpr[num];
219 }
220
221 static inline void kvmppc_set_cr(struct kvm_vcpu *vcpu, u32 val)
222 {
223         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
224         svcpu->cr = val;
225         svcpu_put(svcpu);
226         to_book3s(vcpu)->shadow_vcpu->cr = val;
227 }
228
229 static inline u32 kvmppc_get_cr(struct kvm_vcpu *vcpu)
230 {
231         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
232         u32 r;
233         r = svcpu->cr;
234         svcpu_put(svcpu);
235         return r;
236 }
237
238 static inline void kvmppc_set_xer(struct kvm_vcpu *vcpu, u32 val)
239 {
240         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
241         svcpu->xer = val;
242         to_book3s(vcpu)->shadow_vcpu->xer = val;
243         svcpu_put(svcpu);
244 }
245
246 static inline u32 kvmppc_get_xer(struct kvm_vcpu *vcpu)
247 {
248         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
249         u32 r;
250         r = svcpu->xer;
251         svcpu_put(svcpu);
252         return r;
253 }
254
255 static inline void kvmppc_set_ctr(struct kvm_vcpu *vcpu, ulong val)
256 {
257         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
258         svcpu->ctr = val;
259         svcpu_put(svcpu);
260 }
261
262 static inline ulong kvmppc_get_ctr(struct kvm_vcpu *vcpu)
263 {
264         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
265         ulong r;
266         r = svcpu->ctr;
267         svcpu_put(svcpu);
268         return r;
269 }
270
271 static inline void kvmppc_set_lr(struct kvm_vcpu *vcpu, ulong val)
272 {
273         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
274         svcpu->lr = val;
275         svcpu_put(svcpu);
276 }
277
278 static inline ulong kvmppc_get_lr(struct kvm_vcpu *vcpu)
279 {
280         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
281         ulong r;
282         r = svcpu->lr;
283         svcpu_put(svcpu);
284         return r;
285 }
286
287 static inline void kvmppc_set_pc(struct kvm_vcpu *vcpu, ulong val)
288 {
289         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
290         svcpu->pc = val;
291         svcpu_put(svcpu);
292 }
293
294 static inline ulong kvmppc_get_pc(struct kvm_vcpu *vcpu)
295 {
296         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
297         ulong r;
298         r = svcpu->pc;
299         svcpu_put(svcpu);
300         return r;
301 }
302
303 static inline u32 kvmppc_get_last_inst(struct kvm_vcpu *vcpu)
304 {
305         ulong pc = kvmppc_get_pc(vcpu);
306         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
307         u32 r;
308
309         /* Load the instruction manually if it failed to do so in the
310          * exit path */
311         if (svcpu->last_inst == KVM_INST_FETCH_FAILED)
312                 kvmppc_ld(vcpu, &pc, sizeof(u32), &svcpu->last_inst, false);
313
314         r = svcpu->last_inst;
315         svcpu_put(svcpu);
316         return r;
317 }
318
319 static inline ulong kvmppc_get_fault_dar(struct kvm_vcpu *vcpu)
320 {
321         struct kvmppc_book3s_shadow_vcpu *svcpu = svcpu_get(vcpu);
322         ulong r;
323         r = svcpu->fault_dar;
324         svcpu_put(svcpu);
325         return r;
326 }
327
328 static inline bool kvmppc_critical_section(struct kvm_vcpu *vcpu)
329 {
330         ulong crit_raw = vcpu->arch.shared->critical;
331         ulong crit_r1 = kvmppc_get_gpr(vcpu, 1);
332         bool crit;
333
334         /* Truncate crit indicators in 32 bit mode */
335         if (!(vcpu->arch.shared->msr & MSR_SF)) {
336                 crit_raw &= 0xffffffff;
337                 crit_r1 &= 0xffffffff;
338         }
339
340         /* Critical section when crit == r1 */
341         crit = (crit_raw == crit_r1);
342         /* ... and we're in supervisor mode */
343         crit = crit && !(vcpu->arch.shared->msr & MSR_PR);
344
345         return crit;
346 }
347 #else /* CONFIG_KVM_BOOK3S_PR */
348
349 static inline unsigned long kvmppc_interrupt_offset(struct kvm_vcpu *vcpu)
350 {
351         return 0;
352 }
353
354 static inline void kvmppc_update_int_pending(struct kvm_vcpu *vcpu,
355                         unsigned long pending_now, unsigned long old_pending)
356 {
357 }
358
359 static inline void kvmppc_set_gpr(struct kvm_vcpu *vcpu, int num, ulong val)
360 {
361         vcpu->arch.gpr[num] = val;
362 }
363
364 static inline ulong kvmppc_get_gpr(struct kvm_vcpu *vcpu, int num)
365 {
366         return vcpu->arch.gpr[num];
367 }
368
369 static inline void kvmppc_set_cr(struct kvm_vcpu *vcpu, u32 val)
370 {
371         vcpu->arch.cr = val;
372 }
373
374 static inline u32 kvmppc_get_cr(struct kvm_vcpu *vcpu)
375 {
376         return vcpu->arch.cr;
377 }
378
379 static inline void kvmppc_set_xer(struct kvm_vcpu *vcpu, u32 val)
380 {
381         vcpu->arch.xer = val;
382 }
383
384 static inline u32 kvmppc_get_xer(struct kvm_vcpu *vcpu)
385 {
386         return vcpu->arch.xer;
387 }
388
389 static inline void kvmppc_set_ctr(struct kvm_vcpu *vcpu, ulong val)
390 {
391         vcpu->arch.ctr = val;
392 }
393
394 static inline ulong kvmppc_get_ctr(struct kvm_vcpu *vcpu)
395 {
396         return vcpu->arch.ctr;
397 }
398
399 static inline void kvmppc_set_lr(struct kvm_vcpu *vcpu, ulong val)
400 {
401         vcpu->arch.lr = val;
402 }
403
404 static inline ulong kvmppc_get_lr(struct kvm_vcpu *vcpu)
405 {
406         return vcpu->arch.lr;
407 }
408
409 static inline void kvmppc_set_pc(struct kvm_vcpu *vcpu, ulong val)
410 {
411         vcpu->arch.pc = val;
412 }
413
414 static inline ulong kvmppc_get_pc(struct kvm_vcpu *vcpu)
415 {
416         return vcpu->arch.pc;
417 }
418
419 static inline u32 kvmppc_get_last_inst(struct kvm_vcpu *vcpu)
420 {
421         ulong pc = kvmppc_get_pc(vcpu);
422
423         /* Load the instruction manually if it failed to do so in the
424          * exit path */
425         if (vcpu->arch.last_inst == KVM_INST_FETCH_FAILED)
426                 kvmppc_ld(vcpu, &pc, sizeof(u32), &vcpu->arch.last_inst, false);
427
428         return vcpu->arch.last_inst;
429 }
430
431 static inline ulong kvmppc_get_fault_dar(struct kvm_vcpu *vcpu)
432 {
433         return vcpu->arch.fault_dar;
434 }
435
436 static inline bool kvmppc_critical_section(struct kvm_vcpu *vcpu)
437 {
438         return false;
439 }
440 #endif
441
442 /* Magic register values loaded into r3 and r4 before the 'sc' assembly
443  * instruction for the OSI hypercalls */
444 #define OSI_SC_MAGIC_R3                 0x113724FA
445 #define OSI_SC_MAGIC_R4                 0x77810F9B
446
447 #define INS_DCBZ                        0x7c0007ec
448
449 #endif /* __ASM_KVM_BOOK3S_H__ */