scheduler: compute time-average nr_running per run-queue
Varun Wadekar [Mon, 7 May 2012 22:12:25 +0000 (15:12 -0700)]
Port commit 0b5a8a6f3 (http://git-master/r/111635) from v3.1

Compute the time-average number of running tasks per run-queue for a
trailing window of a fixed time period. The delta add/sub to the
average value is weighted by the amount of time per nr_running value
relative to the total measurement period.

Original author: Diwakar Tundlam <dtundlam@nvidia.com>

Change-Id: I076e24ff4ed65bed3b8dd8d2b279a503318071ff
Signed-off-by: Diwakar Tundlam <dtundlam@nvidia.com>
Signed-off-by: Varun Wadekar <vwadekar@nvidia.com>

include/linux/sched.h
kernel/sched/debug.c
kernel/sched/sched.h

index 5fb3719..89e7dde 100644 (file)
@@ -139,6 +139,7 @@ extern int nr_processes(void);
 extern unsigned long nr_running(void);
 extern unsigned long nr_uninterruptible(void);
 extern unsigned long nr_iowait(void);
+extern unsigned long avg_nr_running(void);
 extern unsigned long nr_iowait_cpu(int cpu);
 extern unsigned long this_cpu_load(void);
 
index 09acaa1..06d172e 100644 (file)
@@ -266,6 +266,9 @@ static void print_cpu(struct seq_file *m, int cpu)
        SEQ_printf(m, "  .%-30s: %Ld.%06ld\n", #x, SPLIT_NS(rq->x))
 
        P(nr_running);
+       SEQ_printf(m, "  .%-30s: %d.%03d   \n", "ave_nr_running",
+                  rq->ave_nr_running / FIXED_1,
+                  ((rq->ave_nr_running % FIXED_1) * 1000) / FIXED_1);
        SEQ_printf(m, "  .%-30s: %lu\n", "load",
                   rq->load.weight);
        P(nr_switches);
index fb3acba..cc66a79 100644 (file)
@@ -363,6 +363,10 @@ struct rq {
 #endif
        int skip_clock_update;
 
+       /* time-based average load */
+       u64 nr_last_stamp;
+       unsigned int ave_nr_running;
+
        /* capture load from *all* tasks on this cpu: */
        struct load_weight load;
        unsigned long nr_load_updates;
@@ -914,16 +918,53 @@ extern void cpuacct_charge(struct task_struct *tsk, u64 cputime);
 static inline void cpuacct_charge(struct task_struct *tsk, u64 cputime) {}
 #endif
 
+/* 27 ~= 134217728ns = 134.2ms
+ * 26 ~=  67108864ns =  67.1ms
+ * 25 ~=  33554432ns =  33.5ms
+ * 24 ~=  16777216ns =  16.8ms
+ */
+#define NR_AVE_PERIOD_EXP      27
+#define NR_AVE_SCALE(x)                ((x) << FSHIFT)
+#define NR_AVE_PERIOD          (1 << NR_AVE_PERIOD_EXP)
+#define NR_AVE_DIV_PERIOD(x)   ((x) >> NR_AVE_PERIOD_EXP)
+
+static inline void do_avg_nr_running(struct rq *rq)
+{
+       s64 nr, deltax;
+
+       deltax = rq->clock_task - rq->nr_last_stamp;
+       rq->nr_last_stamp = rq->clock_task;
+       nr = NR_AVE_SCALE(rq->nr_running);
+
+       if (deltax > NR_AVE_PERIOD)
+               rq->ave_nr_running = nr;
+       else
+               rq->ave_nr_running +=
+                       NR_AVE_DIV_PERIOD(deltax * (nr - rq->ave_nr_running));
+}
+
 static inline void inc_nr_running(struct rq *rq)
 {
+       do_avg_nr_running(rq);
        rq->nr_running++;
 }
 
 static inline void dec_nr_running(struct rq *rq)
 {
+       do_avg_nr_running(rq);
        rq->nr_running--;
 }
 
+unsigned long avg_nr_running(void)
+{
+       unsigned long i, sum = 0;
+
+       for_each_online_cpu(i)
+               sum += cpu_rq(i)->ave_nr_running;
+
+       return sum;
+}
+
 extern void update_rq_clock(struct rq *rq);
 
 extern void activate_task(struct rq *rq, struct task_struct *p, int flags);