scripts/get_maintainer.pl: add ability to read from STDIN
[linux-2.6.git] / scripts / get_maintainer.pl
1 #!/usr/bin/perl -w
2 # (c) 2007, Joe Perches <joe@perches.com>
3 #           created from checkpatch.pl
4 #
5 # Print selected MAINTAINERS information for
6 # the files modified in a patch or for a file
7 #
8 # usage: perl scripts/get_maintainer.pl [OPTIONS] <patch>
9 #        perl scripts/get_maintainer.pl [OPTIONS] -f <file>
10 #
11 # Licensed under the terms of the GNU GPL License version 2
12
13 use strict;
14
15 my $P = $0;
16 my $V = '0.23';
17
18 use Getopt::Long qw(:config no_auto_abbrev);
19
20 my $lk_path = "./";
21 my $email = 1;
22 my $email_usename = 1;
23 my $email_maintainer = 1;
24 my $email_list = 1;
25 my $email_subscriber_list = 0;
26 my $email_git_penguin_chiefs = 0;
27 my $email_git = 1;
28 my $email_git_blame = 0;
29 my $email_git_min_signatures = 1;
30 my $email_git_max_maintainers = 5;
31 my $email_git_min_percent = 5;
32 my $email_git_since = "1-year-ago";
33 my $email_hg_since = "-365";
34 my $email_remove_duplicates = 1;
35 my $output_multiline = 1;
36 my $output_separator = ", ";
37 my $output_roles = 0;
38 my $output_rolestats = 0;
39 my $scm = 0;
40 my $web = 0;
41 my $subsystem = 0;
42 my $status = 0;
43 my $keywords = 1;
44 my $sections = 0;
45 my $file_emails = 0;
46 my $from_filename = 0;
47 my $pattern_depth = 0;
48 my $version = 0;
49 my $help = 0;
50
51 my $exit = 0;
52
53 my @penguin_chief = ();
54 push(@penguin_chief,"Linus Torvalds:torvalds\@linux-foundation.org");
55 #Andrew wants in on most everything - 2009/01/14
56 #push(@penguin_chief,"Andrew Morton:akpm\@linux-foundation.org");
57
58 my @penguin_chief_names = ();
59 foreach my $chief (@penguin_chief) {
60     if ($chief =~ m/^(.*):(.*)/) {
61         my $chief_name = $1;
62         my $chief_addr = $2;
63         push(@penguin_chief_names, $chief_name);
64     }
65 }
66 my $penguin_chiefs = "\(" . join("|",@penguin_chief_names) . "\)";
67
68 # rfc822 email address - preloaded methods go here.
69 my $rfc822_lwsp = "(?:(?:\\r\\n)?[ \\t])";
70 my $rfc822_char = '[\\000-\\377]';
71
72 # VCS command support: class-like functions and strings
73
74 my %VCS_cmds;
75
76 my %VCS_cmds_git = (
77     "execute_cmd" => \&git_execute_cmd,
78     "available" => '(which("git") ne "") && (-d ".git")',
79     "find_signers_cmd" => "git log --no-color --since=\$email_git_since -- \$file",
80     "find_commit_signers_cmd" => "git log --no-color -1 \$commit",
81     "blame_range_cmd" => "git blame -l -L \$diff_start,+\$diff_length \$file",
82     "blame_file_cmd" => "git blame -l \$file",
83     "commit_pattern" => "^commit [0-9a-f]{40,40}",
84     "blame_commit_pattern" => "^([0-9a-f]+) "
85 );
86
87 my %VCS_cmds_hg = (
88     "execute_cmd" => \&hg_execute_cmd,
89     "available" => '(which("hg") ne "") && (-d ".hg")',
90     "find_signers_cmd" =>
91         "hg log --date=\$email_hg_since" .
92                 " --template='commit {node}\\n{desc}\\n' -- \$file",
93     "find_commit_signers_cmd" => "hg log --template='{desc}\\n' -r \$commit",
94     "blame_range_cmd" => "",            # not supported
95     "blame_file_cmd" => "hg blame -c \$file",
96     "commit_pattern" => "^commit [0-9a-f]{40,40}",
97     "blame_commit_pattern" => "^([0-9a-f]+):"
98 );
99
100 if (!GetOptions(
101                 'email!' => \$email,
102                 'git!' => \$email_git,
103                 'git-blame!' => \$email_git_blame,
104                 'git-chief-penguins!' => \$email_git_penguin_chiefs,
105                 'git-min-signatures=i' => \$email_git_min_signatures,
106                 'git-max-maintainers=i' => \$email_git_max_maintainers,
107                 'git-min-percent=i' => \$email_git_min_percent,
108                 'git-since=s' => \$email_git_since,
109                 'hg-since=s' => \$email_hg_since,
110                 'remove-duplicates!' => \$email_remove_duplicates,
111                 'm!' => \$email_maintainer,
112                 'n!' => \$email_usename,
113                 'l!' => \$email_list,
114                 's!' => \$email_subscriber_list,
115                 'multiline!' => \$output_multiline,
116                 'roles!' => \$output_roles,
117                 'rolestats!' => \$output_rolestats,
118                 'separator=s' => \$output_separator,
119                 'subsystem!' => \$subsystem,
120                 'status!' => \$status,
121                 'scm!' => \$scm,
122                 'web!' => \$web,
123                 'pattern-depth=i' => \$pattern_depth,
124                 'k|keywords!' => \$keywords,
125                 'sections!' => \$sections,
126                 'fe|file-emails!' => \$file_emails,
127                 'f|file' => \$from_filename,
128                 'v|version' => \$version,
129                 'h|help|usage' => \$help,
130                 )) {
131     die "$P: invalid argument - use --help if necessary\n";
132 }
133
134 if ($help != 0) {
135     usage();
136     exit 0;
137 }
138
139 if ($version != 0) {
140     print("${P} ${V}\n");
141     exit 0;
142 }
143
144 if (-t STDIN && !@ARGV) {
145     # We're talking to a terminal, but have no command line arguments.
146     die "$P: missing patchfile or -f file - use --help if necessary\n";
147 }
148
149 if ($output_separator ne ", ") {
150     $output_multiline = 0;
151 }
152
153 if ($output_rolestats) {
154     $output_roles = 1;
155 }
156
157 if ($sections) {
158     $email = 0;
159     $email_list = 0;
160     $scm = 0;
161     $status = 0;
162     $subsystem = 0;
163     $web = 0;
164     $keywords = 0;
165 } else {
166     my $selections = $email + $scm + $status + $subsystem + $web;
167     if ($selections == 0) {
168         die "$P:  Missing required option: email, scm, status, subsystem or web\n";
169     }
170 }
171
172 if ($email &&
173     ($email_maintainer + $email_list + $email_subscriber_list +
174      $email_git + $email_git_penguin_chiefs + $email_git_blame) == 0) {
175     die "$P: Please select at least 1 email option\n";
176 }
177
178 if (!top_of_kernel_tree($lk_path)) {
179     die "$P: The current directory does not appear to be "
180         . "a linux kernel source tree.\n";
181 }
182
183 ## Read MAINTAINERS for type/value pairs
184
185 my @typevalue = ();
186 my %keyword_hash;
187
188 open(MAINT, "<${lk_path}MAINTAINERS") || die "$P: Can't open MAINTAINERS\n";
189 while (<MAINT>) {
190     my $line = $_;
191
192     if ($line =~ m/^(\C):\s*(.*)/) {
193         my $type = $1;
194         my $value = $2;
195
196         ##Filename pattern matching
197         if ($type eq "F" || $type eq "X") {
198             $value =~ s@\.@\\\.@g;       ##Convert . to \.
199             $value =~ s/\*/\.\*/g;       ##Convert * to .*
200             $value =~ s/\?/\./g;         ##Convert ? to .
201             ##if pattern is a directory and it lacks a trailing slash, add one
202             if ((-d $value)) {
203                 $value =~ s@([^/])$@$1/@;
204             }
205         } elsif ($type eq "K") {
206             $keyword_hash{@typevalue} = $value;
207         }
208         push(@typevalue, "$type:$value");
209     } elsif (!/^(\s)*$/) {
210         $line =~ s/\n$//g;
211         push(@typevalue, $line);
212     }
213 }
214 close(MAINT);
215
216 my %mailmap;
217
218 if ($email_remove_duplicates) {
219     open(MAILMAP, "<${lk_path}.mailmap") || warn "$P: Can't open .mailmap\n";
220     while (<MAILMAP>) {
221         my $line = $_;
222
223         next if ($line =~ m/^\s*#/);
224         next if ($line =~ m/^\s*$/);
225
226         my ($name, $address) = parse_email($line);
227         $line = format_email($name, $address, $email_usename);
228
229         next if ($line =~ m/^\s*$/);
230
231         if (exists($mailmap{$name})) {
232             my $obj = $mailmap{$name};
233             push(@$obj, $address);
234         } else {
235             my @arr = ($address);
236             $mailmap{$name} = \@arr;
237         }
238     }
239     close(MAILMAP);
240 }
241
242 ## use the filenames on the command line or find the filenames in the patchfiles
243
244 my @files = ();
245 my @range = ();
246 my @keyword_tvi = ();
247 my @file_emails = ();
248
249 if (!@ARGV) {
250     push(@ARGV, "&STDIN");
251 }
252
253 foreach my $file (@ARGV) {
254     if ($file ne "&STDIN") {
255         ##if $file is a directory and it lacks a trailing slash, add one
256         if ((-d $file)) {
257             $file =~ s@([^/])$@$1/@;
258         } elsif (!(-f $file)) {
259             die "$P: file '${file}' not found\n";
260         }
261     }
262     if ($from_filename) {
263         push(@files, $file);
264         if (-f $file && ($keywords || $file_emails)) {
265             open(FILE, "<$file") or die "$P: Can't open ${file}\n";
266             my $text = do { local($/) ; <FILE> };
267             close(FILE);
268             if ($keywords) {
269                 foreach my $line (keys %keyword_hash) {
270                     if ($text =~ m/$keyword_hash{$line}/x) {
271                         push(@keyword_tvi, $line);
272                     }
273                 }
274             }
275             if ($file_emails) {
276                 my @poss_addr = $text =~ m$[A-Za-zÀ-ÿ\"\' \,\.\+-]*\s*[\,]*\s*[\(\<\{]{0,1}[A-Za-z0-9_\.\+-]+\@[A-Za-z0-9\.-]+\.[A-Za-z0-9]+[\)\>\}]{0,1}$g;
277                 push(@file_emails, clean_file_emails(@poss_addr));
278             }
279         }
280     } else {
281         my $file_cnt = @files;
282         my $lastfile;
283         open(PATCH, "<$file") or die "$P: Can't open ${file}\n";
284         while (<PATCH>) {
285             my $patch_line = $_;
286             if (m/^\+\+\+\s+(\S+)/) {
287                 my $filename = $1;
288                 $filename =~ s@^[^/]*/@@;
289                 $filename =~ s@\n@@;
290                 $lastfile = $filename;
291                 push(@files, $filename);
292             } elsif (m/^\@\@ -(\d+),(\d+)/) {
293                 if ($email_git_blame) {
294                     push(@range, "$lastfile:$1:$2");
295                 }
296             } elsif ($keywords) {
297                 foreach my $line (keys %keyword_hash) {
298                     if ($patch_line =~ m/^[+-].*$keyword_hash{$line}/x) {
299                         push(@keyword_tvi, $line);
300                     }
301                 }
302             }
303         }
304         close(PATCH);
305         if ($file_cnt == @files) {
306             warn "$P: file '${file}' doesn't appear to be a patch.  "
307                 . "Add -f to options?\n";
308         }
309         @files = sort_and_uniq(@files);
310     }
311 }
312
313 @file_emails = uniq(@file_emails);
314
315 my @email_to = ();
316 my @list_to = ();
317 my @scm = ();
318 my @web = ();
319 my @subsystem = ();
320 my @status = ();
321
322 # Find responsible parties
323
324 foreach my $file (@files) {
325
326     my %hash;
327     my $tvi = find_first_section();
328     while ($tvi < @typevalue) {
329         my $start = find_starting_index($tvi);
330         my $end = find_ending_index($tvi);
331         my $exclude = 0;
332         my $i;
333
334         #Do not match excluded file patterns
335
336         for ($i = $start; $i < $end; $i++) {
337             my $line = $typevalue[$i];
338             if ($line =~ m/^(\C):\s*(.*)/) {
339                 my $type = $1;
340                 my $value = $2;
341                 if ($type eq 'X') {
342                     if (file_match_pattern($file, $value)) {
343                         $exclude = 1;
344                     }
345                 }
346             }
347         }
348
349         if (!$exclude) {
350             for ($i = $start; $i < $end; $i++) {
351                 my $line = $typevalue[$i];
352                 if ($line =~ m/^(\C):\s*(.*)/) {
353                     my $type = $1;
354                     my $value = $2;
355                     if ($type eq 'F') {
356                         if (file_match_pattern($file, $value)) {
357                             my $value_pd = ($value =~ tr@/@@);
358                             my $file_pd = ($file  =~ tr@/@@);
359                             $value_pd++ if (substr($value,-1,1) ne "/");
360                             if ($pattern_depth == 0 ||
361                                 (($file_pd - $value_pd) < $pattern_depth)) {
362                                 $hash{$tvi} = $value_pd;
363                             }
364                         }
365                     }
366                 }
367             }
368         }
369
370         $tvi += ($end - $start);
371
372     }
373
374     foreach my $line (sort {$hash{$b} <=> $hash{$a}} keys %hash) {
375         add_categories($line);
376             if ($sections) {
377                 my $i;
378                 my $start = find_starting_index($line);
379                 my $end = find_ending_index($line);
380                 for ($i = $start; $i < $end; $i++) {
381                     my $line = $typevalue[$i];
382                     if ($line =~ /^[FX]:/) {            ##Restore file patterns
383                         $line =~ s/([^\\])\.([^\*])/$1\?$2/g;
384                         $line =~ s/([^\\])\.$/$1\?/g;   ##Convert . back to ?
385                         $line =~ s/\\\./\./g;           ##Convert \. to .
386                         $line =~ s/\.\*/\*/g;           ##Convert .* to *
387                     }
388                     $line =~ s/^([A-Z]):/$1:\t/g;
389                     print("$line\n");
390                 }
391                 print("\n");
392             }
393     }
394
395     if ($email && $email_git) {
396         vcs_file_signoffs($file);
397     }
398
399     if ($email && $email_git_blame) {
400         vcs_file_blame($file);
401     }
402 }
403
404 if ($keywords) {
405     @keyword_tvi = sort_and_uniq(@keyword_tvi);
406     foreach my $line (@keyword_tvi) {
407         add_categories($line);
408     }
409 }
410
411 if ($email) {
412     foreach my $chief (@penguin_chief) {
413         if ($chief =~ m/^(.*):(.*)/) {
414             my $email_address;
415
416             $email_address = format_email($1, $2, $email_usename);
417             if ($email_git_penguin_chiefs) {
418                 push(@email_to, [$email_address, 'chief penguin']);
419             } else {
420                 @email_to = grep($_->[0] !~ /${email_address}/, @email_to);
421             }
422         }
423     }
424
425     foreach my $email (@file_emails) {
426         my ($name, $address) = parse_email($email);
427
428         my $tmp_email = format_email($name, $address, $email_usename);
429         push_email_address($tmp_email, '');
430         add_role($tmp_email, 'in file');
431     }
432 }
433
434 if ($email || $email_list) {
435     my @to = ();
436     if ($email) {
437         @to = (@to, @email_to);
438     }
439     if ($email_list) {
440         @to = (@to, @list_to);
441     }
442     output(merge_email(@to));
443 }
444
445 if ($scm) {
446     @scm = uniq(@scm);
447     output(@scm);
448 }
449
450 if ($status) {
451     @status = uniq(@status);
452     output(@status);
453 }
454
455 if ($subsystem) {
456     @subsystem = uniq(@subsystem);
457     output(@subsystem);
458 }
459
460 if ($web) {
461     @web = uniq(@web);
462     output(@web);
463 }
464
465 exit($exit);
466
467 sub file_match_pattern {
468     my ($file, $pattern) = @_;
469     if (substr($pattern, -1) eq "/") {
470         if ($file =~ m@^$pattern@) {
471             return 1;
472         }
473     } else {
474         if ($file =~ m@^$pattern@) {
475             my $s1 = ($file =~ tr@/@@);
476             my $s2 = ($pattern =~ tr@/@@);
477             if ($s1 == $s2) {
478                 return 1;
479             }
480         }
481     }
482     return 0;
483 }
484
485 sub usage {
486     print <<EOT;
487 usage: $P [options] patchfile
488        $P [options] -f file|directory
489 version: $V
490
491 MAINTAINER field selection options:
492   --email => print email address(es) if any
493     --git => include recent git \*-by: signers
494     --git-chief-penguins => include ${penguin_chiefs}
495     --git-min-signatures => number of signatures required (default: 1)
496     --git-max-maintainers => maximum maintainers to add (default: 5)
497     --git-min-percent => minimum percentage of commits required (default: 5)
498     --git-blame => use git blame to find modified commits for patch or file
499     --git-since => git history to use (default: 1-year-ago)
500     --hg-since => hg history to use (default: -365)
501     --m => include maintainer(s) if any
502     --n => include name 'Full Name <addr\@domain.tld>'
503     --l => include list(s) if any
504     --s => include subscriber only list(s) if any
505     --remove-duplicates => minimize duplicate email names/addresses
506     --roles => show roles (status:subsystem, git-signer, list, etc...)
507     --rolestats => show roles and statistics (commits/total_commits, %)
508     --file-emails => add email addresses found in -f file (default: 0 (off))
509   --scm => print SCM tree(s) if any
510   --status => print status if any
511   --subsystem => print subsystem name if any
512   --web => print website(s) if any
513
514 Output type options:
515   --separator [, ] => separator for multiple entries on 1 line
516     using --separator also sets --nomultiline if --separator is not [, ]
517   --multiline => print 1 entry per line
518
519 Other options:
520   --pattern-depth => Number of pattern directory traversals (default: 0 (all))
521   --keywords => scan patch for keywords (default: 1 (on))
522   --sections => print the entire subsystem sections with pattern matches
523   --version => show version
524   --help => show this help information
525
526 Default options:
527   [--email --git --m --n --l --multiline --pattern-depth=0 --remove-duplicates]
528
529 Notes:
530   Using "-f directory" may give unexpected results:
531       Used with "--git", git signators for _all_ files in and below
532           directory are examined as git recurses directories.
533           Any specified X: (exclude) pattern matches are _not_ ignored.
534       Used with "--nogit", directory is used as a pattern match,
535           no individual file within the directory or subdirectory
536           is matched.
537       Used with "--git-blame", does not iterate all files in directory
538   Using "--git-blame" is slow and may add old committers and authors
539       that are no longer active maintainers to the output.
540   Using "--roles" or "--rolestats" with git send-email --cc-cmd or any
541       other automated tools that expect only ["name"] <email address>
542       may not work because of additional output after <email address>.
543   Using "--rolestats" and "--git-blame" shows the #/total=% commits,
544       not the percentage of the entire file authored.  # of commits is
545       not a good measure of amount of code authored.  1 major commit may
546       contain a thousand lines, 5 trivial commits may modify a single line.
547   If git is not installed, but mercurial (hg) is installed and an .hg
548       repository exists, the following options apply to mercurial:
549           --git,
550           --git-min-signatures, --git-max-maintainers, --git-min-percent, and
551           --git-blame
552       Use --hg-since not --git-since to control date selection
553 EOT
554 }
555
556 sub top_of_kernel_tree {
557         my ($lk_path) = @_;
558
559         if ($lk_path ne "" && substr($lk_path,length($lk_path)-1,1) ne "/") {
560             $lk_path .= "/";
561         }
562         if (   (-f "${lk_path}COPYING")
563             && (-f "${lk_path}CREDITS")
564             && (-f "${lk_path}Kbuild")
565             && (-f "${lk_path}MAINTAINERS")
566             && (-f "${lk_path}Makefile")
567             && (-f "${lk_path}README")
568             && (-d "${lk_path}Documentation")
569             && (-d "${lk_path}arch")
570             && (-d "${lk_path}include")
571             && (-d "${lk_path}drivers")
572             && (-d "${lk_path}fs")
573             && (-d "${lk_path}init")
574             && (-d "${lk_path}ipc")
575             && (-d "${lk_path}kernel")
576             && (-d "${lk_path}lib")
577             && (-d "${lk_path}scripts")) {
578                 return 1;
579         }
580         return 0;
581 }
582
583 sub parse_email {
584     my ($formatted_email) = @_;
585
586     my $name = "";
587     my $address = "";
588
589     if ($formatted_email =~ /^([^<]+)<(.+\@.*)>.*$/) {
590         $name = $1;
591         $address = $2;
592     } elsif ($formatted_email =~ /^\s*<(.+\@\S*)>.*$/) {
593         $address = $1;
594     } elsif ($formatted_email =~ /^(.+\@\S*).*$/) {
595         $address = $1;
596     }
597
598     $name =~ s/^\s+|\s+$//g;
599     $name =~ s/^\"|\"$//g;
600     $address =~ s/^\s+|\s+$//g;
601
602     if ($name =~ /[^a-z0-9 \.\-]/i) {    ##has "must quote" chars
603         $name =~ s/(?<!\\)"/\\"/g;       ##escape quotes
604         $name = "\"$name\"";
605     }
606
607     return ($name, $address);
608 }
609
610 sub format_email {
611     my ($name, $address, $usename) = @_;
612
613     my $formatted_email;
614
615     $name =~ s/^\s+|\s+$//g;
616     $name =~ s/^\"|\"$//g;
617     $address =~ s/^\s+|\s+$//g;
618
619     if ($name =~ /[^a-z0-9 \.\-]/i) {    ##has "must quote" chars
620         $name =~ s/(?<!\\)"/\\"/g;       ##escape quotes
621         $name = "\"$name\"";
622     }
623
624     if ($usename) {
625         if ("$name" eq "") {
626             $formatted_email = "$address";
627         } else {
628             $formatted_email = "$name <$address>";
629         }
630     } else {
631         $formatted_email = $address;
632     }
633
634     return $formatted_email;
635 }
636
637 sub find_first_section {
638     my $index = 0;
639
640     while ($index < @typevalue) {
641         my $tv = $typevalue[$index];
642         if (($tv =~ m/^(\C):\s*(.*)/)) {
643             last;
644         }
645         $index++;
646     }
647
648     return $index;
649 }
650
651 sub find_starting_index {
652     my ($index) = @_;
653
654     while ($index > 0) {
655         my $tv = $typevalue[$index];
656         if (!($tv =~ m/^(\C):\s*(.*)/)) {
657             last;
658         }
659         $index--;
660     }
661
662     return $index;
663 }
664
665 sub find_ending_index {
666     my ($index) = @_;
667
668     while ($index < @typevalue) {
669         my $tv = $typevalue[$index];
670         if (!($tv =~ m/^(\C):\s*(.*)/)) {
671             last;
672         }
673         $index++;
674     }
675
676     return $index;
677 }
678
679 sub get_maintainer_role {
680     my ($index) = @_;
681
682     my $i;
683     my $start = find_starting_index($index);
684     my $end = find_ending_index($index);
685
686     my $role;
687     my $subsystem = $typevalue[$start];
688     if (length($subsystem) > 20) {
689         $subsystem = substr($subsystem, 0, 17);
690         $subsystem =~ s/\s*$//;
691         $subsystem = $subsystem . "...";
692     }
693
694     for ($i = $start + 1; $i < $end; $i++) {
695         my $tv = $typevalue[$i];
696         if ($tv =~ m/^(\C):\s*(.*)/) {
697             my $ptype = $1;
698             my $pvalue = $2;
699             if ($ptype eq "S") {
700                 $role = $pvalue;
701             }
702         }
703     }
704
705     $role = lc($role);
706     if      ($role eq "supported") {
707         $role = "supporter";
708     } elsif ($role eq "maintained") {
709         $role = "maintainer";
710     } elsif ($role eq "odd fixes") {
711         $role = "odd fixer";
712     } elsif ($role eq "orphan") {
713         $role = "orphan minder";
714     } elsif ($role eq "obsolete") {
715         $role = "obsolete minder";
716     } elsif ($role eq "buried alive in reporters") {
717         $role = "chief penguin";
718     }
719
720     return $role . ":" . $subsystem;
721 }
722
723 sub get_list_role {
724     my ($index) = @_;
725
726     my $i;
727     my $start = find_starting_index($index);
728     my $end = find_ending_index($index);
729
730     my $subsystem = $typevalue[$start];
731     if (length($subsystem) > 20) {
732         $subsystem = substr($subsystem, 0, 17);
733         $subsystem =~ s/\s*$//;
734         $subsystem = $subsystem . "...";
735     }
736
737     if ($subsystem eq "THE REST") {
738         $subsystem = "";
739     }
740
741     return $subsystem;
742 }
743
744 sub add_categories {
745     my ($index) = @_;
746
747     my $i;
748     my $start = find_starting_index($index);
749     my $end = find_ending_index($index);
750
751     push(@subsystem, $typevalue[$start]);
752
753     for ($i = $start + 1; $i < $end; $i++) {
754         my $tv = $typevalue[$i];
755         if ($tv =~ m/^(\C):\s*(.*)/) {
756             my $ptype = $1;
757             my $pvalue = $2;
758             if ($ptype eq "L") {
759                 my $list_address = $pvalue;
760                 my $list_additional = "";
761                 my $list_role = get_list_role($i);
762
763                 if ($list_role ne "") {
764                     $list_role = ":" . $list_role;
765                 }
766                 if ($list_address =~ m/([^\s]+)\s+(.*)$/) {
767                     $list_address = $1;
768                     $list_additional = $2;
769                 }
770                 if ($list_additional =~ m/subscribers-only/) {
771                     if ($email_subscriber_list) {
772                         push(@list_to, [$list_address, "subscriber list${list_role}"]);
773                     }
774                 } else {
775                     if ($email_list) {
776                         push(@list_to, [$list_address, "open list${list_role}"]);
777                     }
778                 }
779             } elsif ($ptype eq "M") {
780                 my ($name, $address) = parse_email($pvalue);
781                 if ($name eq "") {
782                     if ($i > 0) {
783                         my $tv = $typevalue[$i - 1];
784                         if ($tv =~ m/^(\C):\s*(.*)/) {
785                             if ($1 eq "P") {
786                                 $name = $2;
787                                 $pvalue = format_email($name, $address, $email_usename);
788                             }
789                         }
790                     }
791                 }
792                 if ($email_maintainer) {
793                     my $role = get_maintainer_role($i);
794                     push_email_addresses($pvalue, $role);
795                 }
796             } elsif ($ptype eq "T") {
797                 push(@scm, $pvalue);
798             } elsif ($ptype eq "W") {
799                 push(@web, $pvalue);
800             } elsif ($ptype eq "S") {
801                 push(@status, $pvalue);
802             }
803         }
804     }
805 }
806
807 my %email_hash_name;
808 my %email_hash_address;
809
810 sub email_inuse {
811     my ($name, $address) = @_;
812
813     return 1 if (($name eq "") && ($address eq ""));
814     return 1 if (($name ne "") && exists($email_hash_name{$name}));
815     return 1 if (($address ne "") && exists($email_hash_address{$address}));
816
817     return 0;
818 }
819
820 sub push_email_address {
821     my ($line, $role) = @_;
822
823     my ($name, $address) = parse_email($line);
824
825     if ($address eq "") {
826         return 0;
827     }
828
829     if (!$email_remove_duplicates) {
830         push(@email_to, [format_email($name, $address, $email_usename), $role]);
831     } elsif (!email_inuse($name, $address)) {
832         push(@email_to, [format_email($name, $address, $email_usename), $role]);
833         $email_hash_name{$name}++;
834         $email_hash_address{$address}++;
835     }
836
837     return 1;
838 }
839
840 sub push_email_addresses {
841     my ($address, $role) = @_;
842
843     my @address_list = ();
844
845     if (rfc822_valid($address)) {
846         push_email_address($address, $role);
847     } elsif (@address_list = rfc822_validlist($address)) {
848         my $array_count = shift(@address_list);
849         while (my $entry = shift(@address_list)) {
850             push_email_address($entry, $role);
851         }
852     } else {
853         if (!push_email_address($address, $role)) {
854             warn("Invalid MAINTAINERS address: '" . $address . "'\n");
855         }
856     }
857 }
858
859 sub add_role {
860     my ($line, $role) = @_;
861
862     my ($name, $address) = parse_email($line);
863     my $email = format_email($name, $address, $email_usename);
864
865     foreach my $entry (@email_to) {
866         if ($email_remove_duplicates) {
867             my ($entry_name, $entry_address) = parse_email($entry->[0]);
868             if (($name eq $entry_name || $address eq $entry_address)
869                 && ($role eq "" || !($entry->[1] =~ m/$role/))
870             ) {
871                 if ($entry->[1] eq "") {
872                     $entry->[1] = "$role";
873                 } else {
874                     $entry->[1] = "$entry->[1],$role";
875                 }
876             }
877         } else {
878             if ($email eq $entry->[0]
879                 && ($role eq "" || !($entry->[1] =~ m/$role/))
880             ) {
881                 if ($entry->[1] eq "") {
882                     $entry->[1] = "$role";
883                 } else {
884                     $entry->[1] = "$entry->[1],$role";
885                 }
886             }
887         }
888     }
889 }
890
891 sub which {
892     my ($bin) = @_;
893
894     foreach my $path (split(/:/, $ENV{PATH})) {
895         if (-e "$path/$bin") {
896             return "$path/$bin";
897         }
898     }
899
900     return "";
901 }
902
903 sub mailmap {
904     my (@lines) = @_;
905     my %hash;
906
907     foreach my $line (@lines) {
908         my ($name, $address) = parse_email($line);
909         if (!exists($hash{$name})) {
910             $hash{$name} = $address;
911         } elsif ($address ne $hash{$name}) {
912             $address = $hash{$name};
913             $line = format_email($name, $address, $email_usename);
914         }
915         if (exists($mailmap{$name})) {
916             my $obj = $mailmap{$name};
917             foreach my $map_address (@$obj) {
918                 if (($map_address eq $address) &&
919                     ($map_address ne $hash{$name})) {
920                     $line = format_email($name, $hash{$name}, $email_usename);
921                 }
922             }
923         }
924     }
925
926     return @lines;
927 }
928
929 sub git_execute_cmd {
930     my ($cmd) = @_;
931     my @lines = ();
932
933     my $output = `$cmd`;
934     $output =~ s/^\s*//gm;
935     @lines = split("\n", $output);
936
937     return @lines;
938 }
939
940 sub hg_execute_cmd {
941     my ($cmd) = @_;
942     my @lines = ();
943
944     my $output = `$cmd`;
945     @lines = split("\n", $output);
946
947     return @lines;
948 }
949
950 sub vcs_find_signers {
951     my ($cmd) = @_;
952     my @lines = ();
953     my $commits;
954
955     @lines = &{$VCS_cmds{"execute_cmd"}}($cmd);
956
957     my $pattern = $VCS_cmds{"commit_pattern"};
958
959     $commits = grep(/$pattern/, @lines);        # of commits
960
961     @lines = grep(/^[-_         a-z]+by:.*\@.*$/i, @lines);
962     if (!$email_git_penguin_chiefs) {
963         @lines = grep(!/${penguin_chiefs}/i, @lines);
964     }
965     # cut -f2- -d":"
966     s/.*:\s*(.+)\s*/$1/ for (@lines);
967
968 ## Reformat email addresses (with names) to avoid badly written signatures
969
970     foreach my $line (@lines) {
971         my ($name, $address) = parse_email($line);
972         $line = format_email($name, $address, 1);
973     }
974
975     return ($commits, @lines);
976 }
977
978 sub vcs_save_commits {
979     my ($cmd) = @_;
980     my @lines = ();
981     my @commits = ();
982
983     @lines = &{$VCS_cmds{"execute_cmd"}}($cmd);
984
985     foreach my $line (@lines) {
986         if ($line =~ m/$VCS_cmds{"blame_commit_pattern"}/) {
987             push(@commits, $1);
988         }
989     }
990
991     return @commits;
992 }
993
994 sub vcs_blame {
995     my ($file) = @_;
996     my $cmd;
997     my @commits = ();
998
999     return @commits if (!(-f $file));
1000
1001     if (@range && $VCS_cmds{"blame_range_cmd"} eq "") {
1002         my @all_commits = ();
1003
1004         $cmd = $VCS_cmds{"blame_file_cmd"};
1005         $cmd =~ s/(\$\w+)/$1/eeg;               #interpolate $cmd
1006         @all_commits = vcs_save_commits($cmd);
1007
1008         foreach my $file_range_diff (@range) {
1009             next if (!($file_range_diff =~ m/(.+):(.+):(.+)/));
1010             my $diff_file = $1;
1011             my $diff_start = $2;
1012             my $diff_length = $3;
1013             next if ("$file" ne "$diff_file");
1014             for (my $i = $diff_start; $i < $diff_start + $diff_length; $i++) {
1015                 push(@commits, $all_commits[$i]);
1016             }
1017         }
1018     } elsif (@range) {
1019         foreach my $file_range_diff (@range) {
1020             next if (!($file_range_diff =~ m/(.+):(.+):(.+)/));
1021             my $diff_file = $1;
1022             my $diff_start = $2;
1023             my $diff_length = $3;
1024             next if ("$file" ne "$diff_file");
1025             $cmd = $VCS_cmds{"blame_range_cmd"};
1026             $cmd =~ s/(\$\w+)/$1/eeg;           #interpolate $cmd
1027             push(@commits, vcs_save_commits($cmd));
1028         }
1029     } else {
1030         $cmd = $VCS_cmds{"blame_file_cmd"};
1031         $cmd =~ s/(\$\w+)/$1/eeg;               #interpolate $cmd
1032         @commits = vcs_save_commits($cmd);
1033     }
1034
1035     return @commits;
1036 }
1037
1038 my $printed_novcs = 0;
1039 sub vcs_exists {
1040     %VCS_cmds = %VCS_cmds_git;
1041     return 1 if eval $VCS_cmds{"available"};
1042     %VCS_cmds = %VCS_cmds_hg;
1043     return 1 if eval $VCS_cmds{"available"};
1044     %VCS_cmds = ();
1045     if (!$printed_novcs) {
1046         warn("$P: No supported VCS found.  Add --nogit to options?\n");
1047         warn("Using a git repository produces better results.\n");
1048         warn("Try Linus Torvalds' latest git repository using:\n");
1049         warn("git clone git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux-2.6.git\n");
1050         $printed_novcs = 1;
1051     }
1052     return 0;
1053 }
1054
1055 sub vcs_assign {
1056     my ($role, $divisor, @lines) = @_;
1057
1058     my %hash;
1059     my $count = 0;
1060
1061     return if (@lines <= 0);
1062
1063     if ($divisor <= 0) {
1064         warn("Bad divisor in " . (caller(0))[3] . ": $divisor\n");
1065         $divisor = 1;
1066     }
1067
1068     if ($email_remove_duplicates) {
1069         @lines = mailmap(@lines);
1070     }
1071
1072     @lines = sort(@lines);
1073
1074     # uniq -c
1075     $hash{$_}++ for @lines;
1076
1077     # sort -rn
1078     foreach my $line (sort {$hash{$b} <=> $hash{$a}} keys %hash) {
1079         my $sign_offs = $hash{$line};
1080         my $percent = $sign_offs * 100 / $divisor;
1081
1082         $percent = 100 if ($percent > 100);
1083         $count++;
1084         last if ($sign_offs < $email_git_min_signatures ||
1085                  $count > $email_git_max_maintainers ||
1086                  $percent < $email_git_min_percent);
1087         push_email_address($line, '');
1088         if ($output_rolestats) {
1089             my $fmt_percent = sprintf("%.0f", $percent);
1090             add_role($line, "$role:$sign_offs/$divisor=$fmt_percent%");
1091         } else {
1092             add_role($line, $role);
1093         }
1094     }
1095 }
1096
1097 sub vcs_file_signoffs {
1098     my ($file) = @_;
1099
1100     my @signers = ();
1101     my $commits;
1102
1103     return if (!vcs_exists());
1104
1105     my $cmd = $VCS_cmds{"find_signers_cmd"};
1106     $cmd =~ s/(\$\w+)/$1/eeg;           # interpolate $cmd
1107
1108     ($commits, @signers) = vcs_find_signers($cmd);
1109     vcs_assign("commit_signer", $commits, @signers);
1110 }
1111
1112 sub vcs_file_blame {
1113     my ($file) = @_;
1114
1115     my @signers = ();
1116     my @commits = ();
1117     my $total_commits;
1118
1119     return if (!vcs_exists());
1120
1121     @commits = vcs_blame($file);
1122     @commits = uniq(@commits);
1123     $total_commits = @commits;
1124
1125     foreach my $commit (@commits) {
1126         my $commit_count;
1127         my @commit_signers = ();
1128
1129         my $cmd = $VCS_cmds{"find_commit_signers_cmd"};
1130         $cmd =~ s/(\$\w+)/$1/eeg;       #interpolate $cmd
1131
1132         ($commit_count, @commit_signers) = vcs_find_signers($cmd);
1133         push(@signers, @commit_signers);
1134     }
1135
1136     if ($from_filename) {
1137         vcs_assign("commits", $total_commits, @signers);
1138     } else {
1139         vcs_assign("modified commits", $total_commits, @signers);
1140     }
1141 }
1142
1143 sub uniq {
1144     my (@parms) = @_;
1145
1146     my %saw;
1147     @parms = grep(!$saw{$_}++, @parms);
1148     return @parms;
1149 }
1150
1151 sub sort_and_uniq {
1152     my (@parms) = @_;
1153
1154     my %saw;
1155     @parms = sort @parms;
1156     @parms = grep(!$saw{$_}++, @parms);
1157     return @parms;
1158 }
1159
1160 sub clean_file_emails {
1161     my (@file_emails) = @_;
1162     my @fmt_emails = ();
1163
1164     foreach my $email (@file_emails) {
1165         $email =~ s/[\(\<\{]{0,1}([A-Za-z0-9_\.\+-]+\@[A-Za-z0-9\.-]+)[\)\>\}]{0,1}/\<$1\>/g;
1166         my ($name, $address) = parse_email($email);
1167         if ($name eq '"[,\.]"') {
1168             $name = "";
1169         }
1170
1171         my @nw = split(/[^A-Za-zÀ-ÿ\'\,\.\+-]/, $name);
1172         if (@nw > 2) {
1173             my $first = $nw[@nw - 3];
1174             my $middle = $nw[@nw - 2];
1175             my $last = $nw[@nw - 1];
1176
1177             if (((length($first) == 1 && $first =~ m/[A-Za-z]/) ||
1178                  (length($first) == 2 && substr($first, -1) eq ".")) ||
1179                 (length($middle) == 1 ||
1180                  (length($middle) == 2 && substr($middle, -1) eq "."))) {
1181                 $name = "$first $middle $last";
1182             } else {
1183                 $name = "$middle $last";
1184             }
1185         }
1186
1187         if (substr($name, -1) =~ /[,\.]/) {
1188             $name = substr($name, 0, length($name) - 1);
1189         } elsif (substr($name, -2) =~ /[,\.]"/) {
1190             $name = substr($name, 0, length($name) - 2) . '"';
1191         }
1192
1193         if (substr($name, 0, 1) =~ /[,\.]/) {
1194             $name = substr($name, 1, length($name) - 1);
1195         } elsif (substr($name, 0, 2) =~ /"[,\.]/) {
1196             $name = '"' . substr($name, 2, length($name) - 2);
1197         }
1198
1199         my $fmt_email = format_email($name, $address, $email_usename);
1200         push(@fmt_emails, $fmt_email);
1201     }
1202     return @fmt_emails;
1203 }
1204
1205 sub merge_email {
1206     my @lines;
1207     my %saw;
1208
1209     for (@_) {
1210         my ($address, $role) = @$_;
1211         if (!$saw{$address}) {
1212             if ($output_roles) {
1213                 push(@lines, "$address ($role)");
1214             } else {
1215                 push(@lines, $address);
1216             }
1217             $saw{$address} = 1;
1218         }
1219     }
1220
1221     return @lines;
1222 }
1223
1224 sub output {
1225     my (@parms) = @_;
1226
1227     if ($output_multiline) {
1228         foreach my $line (@parms) {
1229             print("${line}\n");
1230         }
1231     } else {
1232         print(join($output_separator, @parms));
1233         print("\n");
1234     }
1235 }
1236
1237 my $rfc822re;
1238
1239 sub make_rfc822re {
1240 #   Basic lexical tokens are specials, domain_literal, quoted_string, atom, and
1241 #   comment.  We must allow for rfc822_lwsp (or comments) after each of these.
1242 #   This regexp will only work on addresses which have had comments stripped
1243 #   and replaced with rfc822_lwsp.
1244
1245     my $specials = '()<>@,;:\\\\".\\[\\]';
1246     my $controls = '\\000-\\037\\177';
1247
1248     my $dtext = "[^\\[\\]\\r\\\\]";
1249     my $domain_literal = "\\[(?:$dtext|\\\\.)*\\]$rfc822_lwsp*";
1250
1251     my $quoted_string = "\"(?:[^\\\"\\r\\\\]|\\\\.|$rfc822_lwsp)*\"$rfc822_lwsp*";
1252
1253 #   Use zero-width assertion to spot the limit of an atom.  A simple
1254 #   $rfc822_lwsp* causes the regexp engine to hang occasionally.
1255     my $atom = "[^$specials $controls]+(?:$rfc822_lwsp+|\\Z|(?=[\\[\"$specials]))";
1256     my $word = "(?:$atom|$quoted_string)";
1257     my $localpart = "$word(?:\\.$rfc822_lwsp*$word)*";
1258
1259     my $sub_domain = "(?:$atom|$domain_literal)";
1260     my $domain = "$sub_domain(?:\\.$rfc822_lwsp*$sub_domain)*";
1261
1262     my $addr_spec = "$localpart\@$rfc822_lwsp*$domain";
1263
1264     my $phrase = "$word*";
1265     my $route = "(?:\@$domain(?:,\@$rfc822_lwsp*$domain)*:$rfc822_lwsp*)";
1266     my $route_addr = "\\<$rfc822_lwsp*$route?$addr_spec\\>$rfc822_lwsp*";
1267     my $mailbox = "(?:$addr_spec|$phrase$route_addr)";
1268
1269     my $group = "$phrase:$rfc822_lwsp*(?:$mailbox(?:,\\s*$mailbox)*)?;\\s*";
1270     my $address = "(?:$mailbox|$group)";
1271
1272     return "$rfc822_lwsp*$address";
1273 }
1274
1275 sub rfc822_strip_comments {
1276     my $s = shift;
1277 #   Recursively remove comments, and replace with a single space.  The simpler
1278 #   regexps in the Email Addressing FAQ are imperfect - they will miss escaped
1279 #   chars in atoms, for example.
1280
1281     while ($s =~ s/^((?:[^"\\]|\\.)*
1282                     (?:"(?:[^"\\]|\\.)*"(?:[^"\\]|\\.)*)*)
1283                     \((?:[^()\\]|\\.)*\)/$1 /osx) {}
1284     return $s;
1285 }
1286
1287 #   valid: returns true if the parameter is an RFC822 valid address
1288 #
1289 sub rfc822_valid ($) {
1290     my $s = rfc822_strip_comments(shift);
1291
1292     if (!$rfc822re) {
1293         $rfc822re = make_rfc822re();
1294     }
1295
1296     return $s =~ m/^$rfc822re$/so && $s =~ m/^$rfc822_char*$/;
1297 }
1298
1299 #   validlist: In scalar context, returns true if the parameter is an RFC822
1300 #              valid list of addresses.
1301 #
1302 #              In list context, returns an empty list on failure (an invalid
1303 #              address was found); otherwise a list whose first element is the
1304 #              number of addresses found and whose remaining elements are the
1305 #              addresses.  This is needed to disambiguate failure (invalid)
1306 #              from success with no addresses found, because an empty string is
1307 #              a valid list.
1308
1309 sub rfc822_validlist ($) {
1310     my $s = rfc822_strip_comments(shift);
1311
1312     if (!$rfc822re) {
1313         $rfc822re = make_rfc822re();
1314     }
1315     # * null list items are valid according to the RFC
1316     # * the '1' business is to aid in distinguishing failure from no results
1317
1318     my @r;
1319     if ($s =~ m/^(?:$rfc822re)?(?:,(?:$rfc822re)?)*$/so &&
1320         $s =~ m/^$rfc822_char*$/) {
1321         while ($s =~ m/(?:^|,$rfc822_lwsp*)($rfc822re)/gos) {
1322             push(@r, $1);
1323         }
1324         return wantarray ? (scalar(@r), @r) : 1;
1325     }
1326     return wantarray ? () : 0;
1327 }