[LIB]: Textsearch infrastructure.
Thomas Graf [Fri, 24 Jun 2005 03:49:30 +0000 (20:49 -0700)]
The textsearch infrastructure provides text searching
facitilies for both linear and non-linear data.
Individual search algorithms are implemented in modules
and chosen by the user.

Signed-off-by: Thomas Graf <tgraf@suug.ch>
Signed-off-by: David S. Miller <davem@davemloft.net>

include/linux/textsearch.h [new file with mode: 0644]
lib/Kconfig
lib/Makefile
lib/textsearch.c [new file with mode: 0644]

diff --git a/include/linux/textsearch.h b/include/linux/textsearch.h
new file mode 100644 (file)
index 0000000..941f45a
--- /dev/null
@@ -0,0 +1,180 @@
+#ifndef __LINUX_TEXTSEARCH_H
+#define __LINUX_TEXTSEARCH_H
+
+#ifdef __KERNEL__
+
+#include <linux/types.h>
+#include <linux/list.h>
+#include <linux/kernel.h>
+#include <linux/module.h>
+#include <linux/err.h>
+
+struct ts_config;
+
+/**
+ * TS_AUTOLOAD - Automatically load textsearch modules when needed
+ */
+#define TS_AUTOLOAD    1
+
+/**
+ * struct ts_state - search state
+ * @offset: offset for next match
+ * @cb: control buffer, for persistant variables of get_next_block()
+ */
+struct ts_state
+{
+       unsigned int            offset;
+       char                    cb[40];
+};
+
+/**
+ * struct ts_ops - search module operations
+ * @name: name of search algorithm
+ * @init: initialization function to prepare a search
+ * @find: find the next occurrence of the pattern
+ * @destroy: destroy algorithm specific parts of a search configuration
+ * @get_pattern: return head of pattern
+ * @get_pattern_len: return length of pattern
+ * @owner: module reference to algorithm
+ */
+struct ts_ops
+{
+       const char              *name;
+       struct ts_config *      (*init)(const void *, unsigned int, int);
+       unsigned int            (*find)(struct ts_config *,
+                                       struct ts_state *);
+       void                    (*destroy)(struct ts_config *);
+       void *                  (*get_pattern)(struct ts_config *);
+       unsigned int            (*get_pattern_len)(struct ts_config *);
+       struct module           *owner;
+       struct list_head        list;
+};
+
+/**
+ * struct ts_config - search configuration
+ * @ops: operations of chosen algorithm
+ * @get_next_block: callback to fetch the next block to search in
+ * @finish: callback to finalize a search
+ */
+struct ts_config
+{
+       struct ts_ops           *ops;
+
+       /**
+        * get_next_block - fetch next block of data
+        * @consumed: number of bytes consumed by the caller
+        * @dst: destination buffer
+        * @conf: search configuration
+        * @state: search state
+        *
+        * Called repeatedly until 0 is returned. Must assign the
+        * head of the next block of data to &*dst and return the length
+        * of the block or 0 if at the end. consumed == 0 indicates
+        * a new search. May store/read persistant values in state->cb.
+        */
+       unsigned int            (*get_next_block)(unsigned int consumed,
+                                                 const u8 **dst,
+                                                 struct ts_config *conf,
+                                                 struct ts_state *state);
+
+       /**
+        * finish - finalize/clean a series of get_next_block() calls
+        * @conf: search configuration
+        * @state: search state
+        *
+        * Called after the last use of get_next_block(), may be used
+        * to cleanup any leftovers.
+        */
+       void                    (*finish)(struct ts_config *conf,
+                                         struct ts_state *state);
+};
+
+/**
+ * textsearch_next - continue searching for a pattern
+ * @conf: search configuration
+ * @state: search state
+ *
+ * Continues a search looking for more occurrences of the pattern.
+ * textsearch_find() must be called to find the first occurrence
+ * in order to reset the state.
+ *
+ * Returns the position of the next occurrence of the pattern or
+ * UINT_MAX if not match was found.
+ */ 
+static inline unsigned int textsearch_next(struct ts_config *conf,
+                                          struct ts_state *state)
+{
+       unsigned int ret = conf->ops->find(conf, state);
+
+       if (conf->finish)
+               conf->finish(conf, state);
+
+       return ret;
+}
+
+/**
+ * textsearch_find - start searching for a pattern
+ * @conf: search configuration
+ * @state: search state
+ *
+ * Returns the position of first occurrence of the pattern or
+ * UINT_MAX if no match was found.
+ */ 
+static inline unsigned int textsearch_find(struct ts_config *conf,
+                                          struct ts_state *state)
+{
+       state->offset = 0;
+       return textsearch_next(conf, state);
+}
+
+/**
+ * textsearch_get_pattern - return head of the pattern
+ * @conf: search configuration
+ */
+static inline void *textsearch_get_pattern(struct ts_config *conf)
+{
+       return conf->ops->get_pattern(conf);
+}
+
+/**
+ * textsearch_get_pattern_len - return length of the pattern
+ * @conf: search configuration
+ */
+static inline unsigned int textsearch_get_pattern_len(struct ts_config *conf)
+{
+       return conf->ops->get_pattern_len(conf);
+}
+
+extern int textsearch_register(struct ts_ops *);
+extern int textsearch_unregister(struct ts_ops *);
+extern struct ts_config *textsearch_prepare(const char *, const void *,
+                                           unsigned int, int, int);
+extern void textsearch_destroy(struct ts_config *conf);
+extern unsigned int textsearch_find_continuous(struct ts_config *,
+                                              struct ts_state *,
+                                              const void *, unsigned int);
+
+
+#define TS_PRIV_ALIGNTO        8
+#define TS_PRIV_ALIGN(len) (((len) + TS_PRIV_ALIGNTO-1) & ~(TS_PRIV_ALIGNTO-1))
+
+static inline struct ts_config *alloc_ts_config(size_t payload, int gfp_mask)
+{
+       struct ts_config *conf;
+
+       conf = kmalloc(TS_PRIV_ALIGN(sizeof(*conf)) + payload, gfp_mask);
+       if (conf == NULL)
+               return ERR_PTR(-ENOMEM);
+
+       memset(conf, 0, TS_PRIV_ALIGN(sizeof(*conf)) + payload);
+       return conf;
+}
+
+static inline void *ts_config_priv(struct ts_config *conf)
+{
+       return ((u8 *) conf + TS_PRIV_ALIGN(sizeof(struct ts_config)));
+}
+
+#endif /* __KERNEL__ */
+
+#endif
index 2d4d4e3..5bc2d52 100644 (file)
@@ -63,5 +63,11 @@ config REED_SOLOMON_ENC16
 config REED_SOLOMON_DEC16
        boolean
 
-endmenu
+config TEXTSEARCH
+       boolean "Textsearch infrastructure"
+       default y
+       help
+         Say Y here if you want to provide a textsearch infrastructure
+         to other subsystems.
 
+endmenu
index dcb4231..3e91743 100644 (file)
@@ -36,6 +36,8 @@ obj-$(CONFIG_ZLIB_INFLATE) += zlib_inflate/
 obj-$(CONFIG_ZLIB_DEFLATE) += zlib_deflate/
 obj-$(CONFIG_REED_SOLOMON) += reed_solomon/
 
+lib-$(CONFIG_TEXTSEARCH) += textsearch.o
+
 hostprogs-y    := gen_crc32table
 clean-files    := crc32table.h
 
diff --git a/lib/textsearch.c b/lib/textsearch.c
new file mode 100644 (file)
index 0000000..1e934c1
--- /dev/null
@@ -0,0 +1,317 @@
+/*
+ * lib/textsearch.c    Generic text search interface
+ *
+ *             This program is free software; you can redistribute it and/or
+ *             modify it under the terms of the GNU General Public License
+ *             as published by the Free Software Foundation; either version
+ *             2 of the License, or (at your option) any later version.
+ *
+ * Authors:    Thomas Graf <tgraf@suug.ch>
+ *             Pablo Neira Ayuso <pablo@eurodev.net>
+ *
+ * ==========================================================================
+ *
+ * INTRODUCTION
+ *
+ *   The textsearch infrastructure provides text searching facitilies for
+ *   both linear and non-linear data. Individual search algorithms are
+ *   implemented in modules and chosen by the user.
+ *
+ * ARCHITECTURE
+ *
+ *      User
+ *     +----------------+
+ *     |        finish()|<--------------(6)-----------------+
+ *     |get_next_block()|<--------------(5)---------------+ |
+ *     |                |                     Algorithm   | |
+ *     |                |                    +------------------------------+
+ *     |                |                    |  init()   find()   destroy() |
+ *     |                |                    +------------------------------+
+ *     |                |       Core API           ^       ^          ^
+ *     |                |      +---------------+  (2)     (4)        (8)
+ *     |             (1)|----->| prepare()     |---+       |          |
+ *     |             (3)|----->| find()/next() |-----------+          |
+ *     |             (7)|----->| destroy()     |----------------------+
+ *     +----------------+      +---------------+
+ *  
+ *   (1) User configures a search by calling _prepare() specifying the
+ *       search parameters such as the pattern and algorithm name.
+ *   (2) Core requests the algorithm to allocate and initialize a search
+ *       configuration according to the specified parameters.
+ *   (3) User starts the search(es) by calling _find() or _next() to
+ *       fetch subsequent occurrences. A state variable is provided
+ *       to the algorihtm to store persistant variables.
+ *   (4) Core eventually resets the search offset and forwards the find()
+ *       request to the algorithm.
+ *   (5) Algorithm calls get_next_block() provided by the user continously
+ *       to fetch the data to be searched in block by block.
+ *   (6) Algorithm invokes finish() after the last call to get_next_block
+ *       to clean up any leftovers from get_next_block. (Optional)
+ *   (7) User destroys the configuration by calling _destroy().
+ *   (8) Core notifies the algorithm to destroy algorithm specific
+ *       allocations. (Optional)
+ *
+ * USAGE
+ *
+ *   Before a search can be performed, a configuration must be created
+ *   by calling textsearch_prepare() specyfing the searching algorithm and
+ *   the pattern to look for. The returned configuration may then be used
+ *   for an arbitary amount of times and even in parallel as long as a
+ *   separate struct ts_state variable is provided to every instance.
+ *
+ *   The actual search is performed by either calling textsearch_find_-
+ *   continuous() for linear data or by providing an own get_next_block()
+ *   implementation and calling textsearch_find(). Both functions return
+ *   the position of the first occurrence of the patern or UINT_MAX if
+ *   no match was found. Subsequent occurences can be found by calling
+ *   textsearch_next() regardless of the linearity of the data.
+ *
+ *   Once you're done using a configuration it must be given back via
+ *   textsearch_destroy.
+ *
+ * EXAMPLE
+ *
+ *   int pos;
+ *   struct ts_config *conf;
+ *   struct ts_state state;
+ *   const char *pattern = "chicken";
+ *   const char *example = "We dance the funky chicken";
+ *
+ *   conf = textsearch_prepare("kmp", pattern, strlen(pattern),
+ *                             GFP_KERNEL, TS_AUTOLOAD);
+ *   if (IS_ERR(conf)) {
+ *       err = PTR_ERR(conf);
+ *       goto errout;
+ *   }
+ *
+ *   pos = textsearch_find_continuous(conf, &state, example, strlen(example));
+ *   if (pos != UINT_MAX)
+ *       panic("Oh my god, dancing chickens at %d\n", pos);
+ *
+ *   textsearch_destroy(conf);
+ *
+ * ==========================================================================
+ */
+
+#include <linux/config.h>
+#include <linux/module.h>
+#include <linux/types.h>
+#include <linux/string.h>
+#include <linux/init.h>
+#include <linux/rcupdate.h>
+#include <linux/err.h>
+#include <linux/textsearch.h>
+
+static LIST_HEAD(ts_ops);
+static DEFINE_SPINLOCK(ts_mod_lock);
+
+static inline struct ts_ops *lookup_ts_algo(const char *name)
+{
+       struct ts_ops *o;
+
+       rcu_read_lock();
+       list_for_each_entry_rcu(o, &ts_ops, list) {
+               if (!strcmp(name, o->name)) {
+                       if (!try_module_get(o->owner))
+                               o = NULL;
+                       rcu_read_unlock();
+                       return o;
+               }
+       }
+       rcu_read_unlock();
+
+       return NULL;
+}
+
+/**
+ * textsearch_register - register a textsearch module
+ * @ops: operations lookup table
+ *
+ * This function must be called by textsearch modules to announce
+ * their presence. The specified &@ops must have %name set to a
+ * unique identifier and the callbacks find(), init(), get_pattern(),
+ * and get_pattern_len() must be implemented.
+ *
+ * Returns 0 or -EEXISTS if another module has already registered
+ * with same name.
+ */
+int textsearch_register(struct ts_ops *ops)
+{
+       int err = -EEXIST;
+       struct ts_ops *o;
+
+       if (ops->name == NULL || ops->find == NULL || ops->init == NULL ||
+           ops->get_pattern == NULL || ops->get_pattern_len == NULL)
+               return -EINVAL;
+
+       spin_lock(&ts_mod_lock);
+       list_for_each_entry(o, &ts_ops, list) {
+               if (!strcmp(ops->name, o->name))
+                       goto errout;
+       }
+
+       list_add_tail_rcu(&ops->list, &ts_ops);
+       err = 0;
+errout:
+       spin_unlock(&ts_mod_lock);
+       return err;
+}
+
+/**
+ * textsearch_unregister - unregister a textsearch module
+ * @ops: operations lookup table
+ *
+ * This function must be called by textsearch modules to announce
+ * their disappearance for examples when the module gets unloaded.
+ * The &ops parameter must be the same as the one during the
+ * registration.
+ *
+ * Returns 0 on success or -ENOENT if no matching textsearch
+ * registration was found.
+ */
+int textsearch_unregister(struct ts_ops *ops)
+{
+       int err = 0;
+       struct ts_ops *o;
+
+       spin_lock(&ts_mod_lock);
+       list_for_each_entry(o, &ts_ops, list) {
+               if (o == ops) {
+                       list_del_rcu(&o->list);
+                       goto out;
+               }
+       }
+
+       err = -ENOENT;
+out:
+       spin_unlock(&ts_mod_lock);
+       return err;
+}
+
+struct ts_linear_state
+{
+       unsigned int    len;
+       const void      *data;
+};
+
+static unsigned int get_linear_data(unsigned int consumed, const u8 **dst,
+                                   struct ts_config *conf,
+                                   struct ts_state *state)
+{
+       struct ts_linear_state *st = (struct ts_linear_state *) state->cb;
+
+       if (likely(consumed < st->len)) {
+               *dst = st->data + consumed;
+               return st->len - consumed;
+       }
+
+       return 0;
+}
+
+/**
+ * textsearch_find_continuous - search a pattern in continuous/linear data
+ * @conf: search configuration
+ * @state: search state
+ * @data: data to search in
+ * @len: length of data
+ *
+ * A simplified version of textsearch_find() for continuous/linear data.
+ * Call textsearch_next() to retrieve subsequent matches.
+ *
+ * Returns the position of first occurrence of the pattern or
+ * UINT_MAX if no occurrence was found.
+ */ 
+unsigned int textsearch_find_continuous(struct ts_config *conf,
+                                       struct ts_state *state,
+                                       const void *data, unsigned int len)
+{
+       struct ts_linear_state *st = (struct ts_linear_state *) state->cb;
+
+       conf->get_next_block = get_linear_data;
+       st->data = data;
+       st->len = len;
+
+       return textsearch_find(conf, state);
+}
+
+/**
+ * textsearch_prepare - Prepare a search
+ * @algo: name of search algorithm
+ * @pattern: pattern data
+ * @len: length of pattern
+ * @gfp_mask: allocation mask
+ * @flags: search flags
+ *
+ * Looks up the search algorithm module and creates a new textsearch
+ * configuration for the specified pattern. Upon completion all
+ * necessary refcnts are held and the configuration must be put back
+ * using textsearch_put() after usage.
+ *
+ * Note: The format of the pattern may not be compatible between
+ *       the various search algorithms.
+ *
+ * Returns a new textsearch configuration according to the specified
+ *         parameters or a ERR_PTR().
+ */
+struct ts_config *textsearch_prepare(const char *algo, const void *pattern,
+                                    unsigned int len, int gfp_mask, int flags)
+{
+       int err = -ENOENT;
+       struct ts_config *conf;
+       struct ts_ops *ops;
+       
+       ops = lookup_ts_algo(algo);
+#ifdef CONFIG_KMOD
+       /*
+        * Why not always autoload you may ask. Some users are
+        * in a situation where requesting a module may deadlock,
+        * especially when the module is located on a NFS mount.
+        */
+       if (ops == NULL && flags & TS_AUTOLOAD) {
+               request_module("ts_%s", algo);
+               ops = lookup_ts_algo(algo);
+       }
+#endif
+
+       if (ops == NULL)
+               goto errout;
+
+       conf = ops->init(pattern, len, gfp_mask);
+       if (IS_ERR(conf)) {
+               err = PTR_ERR(conf);
+               goto errout;
+       }
+
+       conf->ops = ops;
+       return conf;
+
+errout:
+       if (ops)
+               module_put(ops->owner);
+               
+       return ERR_PTR(err);
+}
+
+/**
+ * textsearch_destroy - destroy a search configuration
+ * @conf: search configuration
+ *
+ * Releases all references of the configuration and frees
+ * up the memory.
+ */
+void textsearch_destroy(struct ts_config *conf)
+{
+       if (conf->ops) {
+               if (conf->ops->destroy)
+                       conf->ops->destroy(conf);
+               module_put(conf->ops->owner);
+       }
+
+       kfree(conf);
+}
+
+EXPORT_SYMBOL(textsearch_register);
+EXPORT_SYMBOL(textsearch_unregister);
+EXPORT_SYMBOL(textsearch_prepare);
+EXPORT_SYMBOL(textsearch_find_continuous);
+EXPORT_SYMBOL(textsearch_destroy);