mm: migration: add migrate_entry_wait_huge()
[linux-3.10.git] / mm / frontswap.c
index e44c9cb..538367e 100644 (file)
 static struct frontswap_ops *frontswap_ops __read_mostly;
 
 /*
- * This global enablement flag reduces overhead on systems where frontswap_ops
- * has not been registered, so is preferred to the slower alternative: a
- * function call that checks a non-global.
- */
-bool frontswap_enabled __read_mostly;
-EXPORT_SYMBOL(frontswap_enabled);
-
-/*
  * If enabled, frontswap_store will return failure even on success.  As
  * a result, the swap subsystem will always write the page to swap, in
  * effect converting frontswap into a writethrough cache.  In this mode,
@@ -128,11 +120,14 @@ struct frontswap_ops *frontswap_register_ops(struct frontswap_ops *ops)
        struct frontswap_ops *old = frontswap_ops;
        int i;
 
-       frontswap_enabled = true;
-
        for (i = 0; i < MAX_SWAPFILES; i++) {
-               if (test_and_clear_bit(i, need_init))
+               if (test_and_clear_bit(i, need_init)) {
+                       struct swap_info_struct *sis = swap_info[i];
+                       /* __frontswap_init _should_ have set it! */
+                       if (!sis->frontswap_map)
+                               return ERR_PTR(-EINVAL);
                        ops->init(i);
+               }
        }
        /*
         * We MUST have frontswap_ops set _after_ the frontswap_init's
@@ -166,26 +161,48 @@ EXPORT_SYMBOL(frontswap_tmem_exclusive_gets);
 /*
  * Called when a swap device is swapon'd.
  */
-void __frontswap_init(unsigned type)
+void __frontswap_init(unsigned type, unsigned long *map)
 {
        struct swap_info_struct *sis = swap_info[type];
 
-       if (frontswap_ops) {
-               BUG_ON(sis == NULL);
-               if (sis->frontswap_map == NULL)
-                       return;
+       BUG_ON(sis == NULL);
+
+       /*
+        * p->frontswap is a bitmap that we MUST have to figure out which page
+        * has gone in frontswap. Without it there is no point of continuing.
+        */
+       if (WARN_ON(!map))
+               return;
+       /*
+        * Irregardless of whether the frontswap backend has been loaded
+        * before this function or it will be later, we _MUST_ have the
+        * p->frontswap set to something valid to work properly.
+        */
+       frontswap_map_set(sis, map);
+       if (frontswap_ops)
                frontswap_ops->init(type);
-       } else {
+       else {
                BUG_ON(type > MAX_SWAPFILES);
                set_bit(type, need_init);
        }
-
 }
 EXPORT_SYMBOL(__frontswap_init);
 
-static inline void __frontswap_clear(struct swap_info_struct *sis, pgoff_t offset)
+bool __frontswap_test(struct swap_info_struct *sis,
+                               pgoff_t offset)
 {
-       frontswap_clear(sis, offset);
+       bool ret = false;
+
+       if (frontswap_ops && sis->frontswap_map)
+               ret = test_bit(offset, sis->frontswap_map);
+       return ret;
+}
+EXPORT_SYMBOL(__frontswap_test);
+
+static inline void __frontswap_clear(struct swap_info_struct *sis,
+                               pgoff_t offset)
+{
+       clear_bit(offset, sis->frontswap_map);
        atomic_dec(&sis->frontswap_pages);
 }
 
@@ -204,18 +221,20 @@ int __frontswap_store(struct page *page)
        struct swap_info_struct *sis = swap_info[type];
        pgoff_t offset = swp_offset(entry);
 
-       if (!frontswap_ops) {
-               inc_frontswap_failed_stores();
+       /*
+        * Return if no backend registed.
+        * Don't need to inc frontswap_failed_stores here.
+        */
+       if (!frontswap_ops)
                return ret;
-       }
 
        BUG_ON(!PageLocked(page));
        BUG_ON(sis == NULL);
-       if (frontswap_test(sis, offset))
+       if (__frontswap_test(sis, offset))
                dup = 1;
        ret = frontswap_ops->store(type, offset, page);
        if (ret == 0) {
-               frontswap_set(sis, offset);
+               set_bit(offset, sis->frontswap_map);
                inc_frontswap_succ_stores();
                if (!dup)
                        atomic_inc(&sis->frontswap_pages);
@@ -248,18 +267,18 @@ int __frontswap_load(struct page *page)
        struct swap_info_struct *sis = swap_info[type];
        pgoff_t offset = swp_offset(entry);
 
-       if (!frontswap_ops)
-               return ret;
-
        BUG_ON(!PageLocked(page));
        BUG_ON(sis == NULL);
-       if (frontswap_test(sis, offset))
+       /*
+        * __frontswap_test() will check whether there is backend registered
+        */
+       if (__frontswap_test(sis, offset))
                ret = frontswap_ops->load(type, offset, page);
        if (ret == 0) {
                inc_frontswap_loads();
                if (frontswap_tmem_exclusive_gets_enabled) {
                        SetPageDirty(page);
-                       frontswap_clear(sis, offset);
+                       __frontswap_clear(sis, offset);
                }
        }
        return ret;
@@ -274,11 +293,11 @@ void __frontswap_invalidate_page(unsigned type, pgoff_t offset)
 {
        struct swap_info_struct *sis = swap_info[type];
 
-       if (!frontswap_ops)
-               return;
-
        BUG_ON(sis == NULL);
-       if (frontswap_test(sis, offset)) {
+       /*
+        * __frontswap_test() will check whether there is backend registered
+        */
+       if (__frontswap_test(sis, offset)) {
                frontswap_ops->invalidate_page(type, offset);
                __frontswap_clear(sis, offset);
                inc_frontswap_invalidates();
@@ -435,7 +454,6 @@ static int __init init_frontswap(void)
        debugfs_create_u64("invalidates", S_IRUGO,
                                root, &frontswap_invalidates);
 #endif
-       frontswap_enabled = 1;
        return 0;
 }