brcm2708-gpu-fw: update to latest version
[openwrt/openwrt.git] / scripts / feeds
index 5e27487..045835c 100755 (executable)
@@ -1,4 +1,4 @@
-#!/usr/bin/perl
+#!/usr/bin/env perl
 use Getopt::Std;
 use FindBin;
 use Cwd;
@@ -10,8 +10,10 @@ use Cwd 'abs_path';
 
 chdir "$FindBin::Bin/..";
 $ENV{TOPDIR}=getcwd();
+$ENV{GIT_CONFIG_PARAMETERS}="'core.autocrlf=false'";
+$ENV{GREP_OPTIONS}="";
 
-my $mk=`which gmake`;  # select the right 'make' program
+my $mk=`which gmake 2>/dev/null`;      # select the right 'make' program
 chomp($mk);            # trim trailing newline
 $mk or $mk = "make";   # default to 'make'
 
@@ -20,16 +22,21 @@ my @mkver = split /\s+/, `$mk -v`, 4;
 my $valid_mk = 1;
 $mkver[0] =~ /^GNU/ or $valid_mk = 0;
 $mkver[1] =~ /^Make/ or $valid_mk = 0;
-$mkver[2] >= "3.81" or $valid_mk = 0;
+
+my ($mkv1, $mkv2) = split /\./, $mkver[2];
+($mkv1 >= 4 || ($mkv1 == 3 && $mkv2 >= 81)) or $valid_mk = 0;
+
 $valid_mk or die "Unsupported version of make found: $mk\n";
 
 my @feeds;
 my %build_packages;
 my %installed;
+my %installed_targets;
 my %feed_cache;
 
 my $feed_package = {};
 my $feed_src = {};
+my $feed_target = {};
 
 sub parse_config() {
        my $line = 0;
@@ -47,7 +54,7 @@ sub parse_config() {
                $line++;
 
                my $valid = 1;
-               $line[0] =~ /^src-\w+$/ or $valid = 0;
+               $line[0] =~ /^src-[\w-]+$/ or $valid = 0;
                $line[1] =~ /^\w+$/ or $valid = 0;
                @src = split /\s+/, $line[2];
                $valid or die "Syntax error in feeds.conf, line: $line\n";
@@ -94,9 +101,11 @@ sub update_index($)
        -d "./feeds/$name.tmp" or mkdir "./feeds/$name.tmp" or return 1;
        -d "./feeds/$name.tmp/info" or mkdir "./feeds/$name.tmp/info" or return 1;
 
-       system("$mk -s prepare-mk TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
+       system("$mk -s prepare-mk OPENWRT_BUILD= TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
        system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"packageinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"package\" SCAN_DEPS=\"$ENV{TOPDIR}/include/package*.mk\" SCAN_DEPTH=5 SCAN_EXTRA=\"\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
+       system("$mk -s -f include/scan.mk IS_TTY=1 SCAN_TARGET=\"targetinfo\" SCAN_DIR=\"feeds/$name\" SCAN_NAME=\"target\" SCAN_DEPS=\"profiles/*.mk $ENV{TOPDIR}/include/target.mk\" SCAN_DEPTH=5 SCAN_EXTRA=\"\" SCAN_MAKEOPTS=\"TARGET_BUILD=1\" TMP_DIR=\"$ENV{TOPDIR}/feeds/$name.tmp\"");
        system("ln -sf $name.tmp/.packageinfo ./feeds/$name.index");
+       system("ln -sf $name.tmp/.targetinfo ./feeds/$name.targetindex");
 
        return 0;
 }
@@ -105,17 +114,35 @@ my %update_method = (
        'src-svn' => {
                'init'          => "svn checkout '%s' '%s'",
                'update'        => "svn update",
-               'controldir'    => ".svn"},
+               'controldir'    => ".svn",
+               'revision'      => "svn info | grep 'Revision' | cut -d ' ' -f 2 | tr -d '\n'"},
        'src-cpy' => {
                'init'          => "cp -Rf '%s' '%s'",
-               'update'        => ""},
+               'update'        => "",
+               'revision'      => "echo -n 'local'"},
        'src-link' => {
                'init'          => "ln -s '%s' '%s'",
-               'update'        => ""},
+               'update'        => "",
+               'revision'      => "echo -n 'local'"},
        'src-git' => {
-               'init'          => "git clone --depth 1 '%s' '%s'",
-               'update'        => "git pull",
-               'controldir'    => ".git"},
+               'init'          => "git clone --depth 1 '%s' '%s'",
+               'init_branch'   => "git clone --depth 1 --branch '%s' '%s' '%s'",
+               'init_commit'   => "git clone '%s' '%s' && cd '%s' && git checkout -b '%s' '%s' && cd -",
+               'update'        => "git pull --ff",
+               'controldir'    => ".git",
+               'revision'      => "git show --abbrev-commit HEAD | head -n 1 | cut -d ' ' -f 2 | tr -d '\n'"},
+       'src-git-full' => {
+               'init'          => "git clone '%s' '%s'",
+               'init_branch'   => "git clone --branch '%s' '%s' '%s'",
+               'init_commit'   => "git clone '%s' '%s' && cd '%s' && git checkout -b '%s' '%s' && cd -",
+               'update'        => "git pull --ff",
+               'controldir'    => ".git",
+               'revision'      => "git show --abbrev-commit HEAD | head -n 1 | cut -d ' ' -f 2 | tr -d '\n'"},
+       'src-gitsvn' => {
+               'init'  => "git svn clone -r HEAD '%s' '%s'",
+               'update'        => "git svn rebase",
+               'controldir'    => ".git",
+               'revision'      => "git show --abbrev-commit HEAD | head -n 1 | cut -d ' ' -f 2 | tr -d '\n'"},
        'src-bzr' => {
                'init'          => "bzr checkout --lightweight '%s' '%s'",
                'update'        => "bzr update",
@@ -123,7 +150,11 @@ my %update_method = (
        'src-hg' => {
                'init'          => "hg clone '%s' '%s'",
                'update'        => "hg pull --update",
-               'controldir'    => ".hg"}
+               'controldir'    => ".hg"},
+       'src-darcs' => {
+               'init'    => "darcs get '%s' '%s'",
+               'update'  => "darcs pull -a",
+               'controldir' => "_darcs"},
 );
 
 # src-git: pull broken
@@ -134,22 +165,42 @@ sub update_feed_via($$$$) {
        my $name = shift;
        my $src = shift;
        my $relocate = shift;
-       
+
        my $m = $update_method{$type};
        my $localpath = "./feeds/$name";
        my $safepath = $localpath;
        $safepath =~ s/'/'\\''/;
+       my ($base_branch, $branch) = split(/;/, $src, 2);
+       my ($base_commit, $commit) = split(/\^/, $src, 2);
 
        if( $relocate || !$m->{'update'} || !-d "$localpath/$m->{'controldir'}" ) {
                system("rm -rf '$safepath'");
-               system(sprintf($m->{'init'}, $src, $safepath)) == 0 or return 1;
+               if ($m->{'init_branch'} and $branch) {
+                       system(sprintf($m->{'init_branch'}, $branch, $base_branch, $safepath)) == 0 or return 1;
+               } elsif ($m->{'init_commit'} and $commit) {
+                       system(sprintf($m->{'init_commit'}, $base_commit, $safepath, $safepath, $commit, $commit)) == 0 or return 1;
+               } else {
+                       system(sprintf($m->{'init'}, $src, $safepath)) == 0 or return 1;
+               }
+       } elsif ($m->{'init_commit'} and $commit) {
+               # in case git hash has been provided don't update the feed
        } else {
                system("cd '$safepath'; $m->{'update'}") == 0 or return 1;
        }
-       
+
        return 0;
 }
 
+sub get_targets($) {
+       my $file = shift;
+       my @target = parse_target_metadata($file);
+       my %target;
+       foreach my $target (@target) {
+               $target{$target->{id}} = $target;
+       }
+       return %target
+}
+
 sub get_feed($) {
        my $feed = shift;
 
@@ -162,19 +213,23 @@ sub get_feed($) {
                        return;
                };
                parse_package_metadata($file) or return;
-               $feed_cache{$feed} = [ { %package }, { %srcpackage } ];
+               my %target = get_targets("./feeds/$feed.targetindex");
+
+               $feed_cache{$feed} = [ { %package }, { %srcpackage }, { %target } ];
        }
 
        $feed_package = $feed_cache{$feed}->[0];
        $feed_src = $feed_cache{$feed}->[1];
+       $feed_target = $feed_cache{$feed}->[2];
        return $feed_cache{$feed}->[0];
 }
 
 sub get_installed() {
-       system("$mk -s prepare-tmpinfo");
+       system("$mk -s prepare-tmpinfo OPENWRT_BUILD=");
        clear_packages();
        parse_package_metadata("./tmp/.packageinfo");
        %installed = %package;
+       %installed_targets = get_targets("./tmp/.targetinfo");
 }
 
 sub search_feed {
@@ -205,6 +260,26 @@ sub search_feed {
                        printf "\%-25s\t\%s\n", $pkg->{name}, $pkg->{title};
                };
        }
+
+       foreach my $name (sort { lc($a) cmp lc($b) } keys %$feed_target) {
+               my $target = $feed_target->{$name};
+               my $targetmatch = 1;
+
+               foreach my $substr (@substr) {
+                       my $match;
+                       foreach my $key (qw(id name description)) {
+                               $target->{$key} and $substr and $target->{$key} =~ m/$substr/i and $match = 1;
+                       }
+                       $match or undef $targetmatch;
+               };
+               $targetmatch and do {
+                       $display or do {
+                               print "Search results in feed '$feed':\n";
+                               $display = 1;
+                       };
+                       printf "TARGET: \%-17s\t\%s\n", $target->{id}, $target->{name};
+               };
+       }
        return 0;
 }
 
@@ -229,20 +304,58 @@ sub list_feed {
                }
        }
 
+       foreach my $name (sort { lc($a) cmp lc($b) } keys %$feed_target) {
+               my $target = $feed_target->{$name};
+               if($target->{name}) {
+                       printf "TARGET: \%-24s\t\%s\n", $target->{id}, $target->{name};
+               }
+       }
+
        return 0;
 }
 
 sub list {
        my %opts;
 
-       getopts('r:sh', \%opts);
+       getopts('r:d:nshf', \%opts);
        if ($opts{h}) {
                usage();
                return 0;
        }
+       if ($opts{n}) {
+               foreach my $feed (@feeds) {
+                       printf "%s\n", $feed->[1];
+               }
+               return 0;
+       }
        if ($opts{s}) {
                foreach my $feed (@feeds) {
-                       printf "\%-32s\tURL: %s\n", $feed->[1], join(", ", @{$feed->[2]});
+                       my $localpath = "./feeds/$feed->[1]";
+                       my $m = $update_method{$feed->[0]};
+                       my $revision;
+                       if( !$m->{'revision'} ) {
+                               $revision = "X";
+                       }
+                       elsif( $m->{'controldir'} && -d "$localpath/$m->{'controldir'}" ) {
+                               $revision = `cd '$localpath'; $m->{'revision'}`;
+                       }
+                       else {
+                               $revision = "local";
+                       }
+                       if ($opts{d}) {
+                               printf "%s%s%s%s%s%s%s\n", $feed->[1], $opts{d}, $feed->[0], $opts{d}, $revision, $opts{d}, join(", ", @{$feed->[2]});
+                       }
+                       elsif ($opts{f}) {
+                               my $uri = join(", ", @{$feed->[2]});
+                               if ($revision ne "local" && $revision ne "X") {
+                                       $uri =~ s/[;^].*//;
+                                       $uri .= "^" . $revision;
+                               }
+                               printf "%s %s %s\n", $feed->[0], $feed->[1], $uri;
+                       }
+                       else {
+                               printf "\%-8s \%-8s \%-8s \%s\n", $feed->[1], $feed->[0], $revision, join(", ", @{$feed->[2]});
+                       }
                }
                return 0;
        }
@@ -252,7 +365,7 @@ sub list {
        return 0;
 }
 
-sub install_generic() {
+sub do_install_package($$) {
        my $feed = shift;
        my $pkg = shift;
        my $path = $pkg->{makefile};
@@ -271,16 +384,29 @@ sub install_generic() {
        return 0;
 }
 
-my %install_method = (
-       'src-svn' => \&install_generic,
-       'src-cpy' => \&install_generic,
-       'src-link' => \&install_generic,
-       'src-git' => \&install_generic,
-       'src-bzr' => \&install_generic,
-       'src-hg' => \&install_generic,
-);
+sub do_install_target($) {
+       my $target = shift;
+       my $path = $target->{makefile};
 
-my %feed;
+       if ($path) {
+               $path =~ s/\/Makefile$//;
+               my $name = $path;
+               $name =~ s/.*\///;
+               my $dest = "./target/linux/$name";
+
+               -e $dest and do {
+                       warn "Path $dest already exists";
+                       return 1;
+               };
+
+               system("ln -sf ../../$path ./target/linux/");
+       } else {
+               warn "Target is not valid\n";
+               return 1;
+       }
+
+       return 0;
+}
 
 sub lookup_package($$) {
        my $feed = shift;
@@ -288,29 +414,72 @@ sub lookup_package($$) {
 
        foreach my $feed ($feed, @feeds) {
                next unless $feed->[1];
-               next unless $feed{$feed->[1]};
-               $feed{$feed->[1]}->{$package} and return $feed;
+               next unless $feed_cache{$feed->[1]};
+               $feed_cache{$feed->[1]}->[0]->{$package} and return $feed;
+       }
+       return;
+}
+
+sub lookup_target($$) {
+       my $feed = shift;
+       my $target = shift;
+
+       foreach my $feed ($feed, @feeds) {
+               next unless $feed->[1];
+               next unless $feed_cache{$feed->[1]};
+               $feed_cache{$feed->[1]}->[2]->{$target} and return $feed;
        }
        return;
 }
 
+sub is_core_package($) {
+       my $package = shift;
+       foreach my $file ("tmp/info/.packageinfo-$package", glob("tmp/info/.packageinfo-*_$package")) {
+               next unless index($file, "tmp/info/.packageinfo-feeds_");
+               return 1 if -s $file;
+       }
+       return 0;
+}
+
+sub install_target {
+       my $feed = shift;
+       my $name = shift;
+
+       $feed = $feed_cache{$feed->[1]}->[2];
+       $feed or return 0;
+
+       my $target = $feed->{$name};
+       $target or return 0;
+
+       warn "Installing target '$name'\n";
+       return do_install_target($target);
+}
+
 sub install_package {
        my $feed = shift;
        my $name = shift;
+       my $force = shift;
        my $ret = 0;
 
+       my $this_feed_target = lookup_target($feed, $name);
+       $this_feed_target and do {
+               $installed_targets{$name} and return 0;
+               install_target($this_feed_target, $name);
+               return 0;
+       };
+
        $feed = lookup_package($feed, $name);
        $feed or do {
                $installed{$name} and return 0;
                # TODO: check if it's already installed within ./package directory
-               $feed_src->{$name} or -d "./package/$name" or warn "WARNING: No feed for package '$name' found, maybe it's already part of the standard packages?\n";
+               $feed_src->{$name} or is_core_package($name) or warn "WARNING: No feed for package '$name' found, maybe it's already part of the standard packages?\n";
                return 0;
        };
 
        # switch to the metadata for the selected feed
-       get_feed($feed->[1]);
+       my $cur = get_feed($feed->[1]);
 
-       my $pkg = $feed{$feed->[1]}->{$name} or return 1;
+       my $pkg = $cur->{$name} or return 1;
        $pkg->{name} or do {
                $installed{$name} and return 0;
                # TODO: check if this is an alias package, maybe it's known by another name
@@ -321,21 +490,28 @@ sub install_package {
        my $type = $feed->[0];
        $src or $src = $name;
 
+       # If it's a core package and we don't want to override, just return
+       !$force and is_core_package($src) and return 0;
+
        # previously installed packages set the runtime package
-       # newly installed packages set the source package
-       $installed{$src} and return 0;
+       # newly installed packages set the source package to 1
+       $installed{$src} and $installed{$src} == 1 and return 0;
+
+       # we'll trigger the override only with the 3 conditions below:
+       # - override is allowed by command line (-f)
+       # - a package with the same src exists in the core packages list
+       # - the package previously installed is not from a feed
+       my $override = 1 if ($force and is_core_package($src) and !$installed{$name}->{feed});
 
        # check previously installed packages
-       $installed{$name} and return 0;
+       $installed{$name} and !$override and return 0;
        $installed{$src} = 1;
-       warn "Installing package '$src'\n";
 
-       $install_method{$type} or do {
-               warn "Unknown installation method: '$type'\n";
-               return 1;
-       };
+       defined($override) and $override == 1
+               and warn "Overriding core package '$src' with version from $feed->[1]\n"
+               or warn "Installing package '$src' from $feed->[1]\n";
 
-       &{$install_method{$type}}($feed, $pkg) == 0 or do {
+       do_install_package($feed, $pkg) == 0 or do {
                warn "failed.\n";
                return 1;
        };
@@ -348,7 +524,7 @@ sub install_package {
                        $dep =~ s/^.+://;
                        $dep =~ s/\/.+$//;
                        next unless $dep;
-                       install_package($feed, $dep) == 0 or $ret = 1;
+                       install_package($feed, $dep, 0) == 0 or $ret = 1;
                }
        }
 
@@ -358,6 +534,11 @@ sub install_package {
 sub refresh_config {
        my $default = shift;
 
+       # Don't create .config if it doesn't already exist so that making a
+       # config only occurs when the user intends it do (however we do
+       # want to refresh an existing config).
+       return if not (-e '.config');
+
        # workaround for timestamp check
        system("rm -f tmp/.packageinfo");
 
@@ -375,7 +556,7 @@ sub install {
        my $feed;
        my $ret = 0;
 
-       getopts('ap:d:h', \%opts);
+       getopts('ap:d:fh', \%opts);
 
        if ($opts{h}) {
                usage();
@@ -385,8 +566,8 @@ sub install {
        get_installed();
 
        foreach my $f (@feeds) {
-               # index all feeds
-               $feed{$f->[1]} = get_feed($f->[1]);
+               # fetch all feeds
+               get_feed($f->[1]);
 
                # look up the preferred feed
                $opts{p} and $f->[1] eq $opts{p} and $feed = $f;
@@ -401,14 +582,15 @@ sub install {
                                        my $p = $feed_package->{$name};
                                        next if $p->{vdepends};
                                        if( $p->{name} ) {
-                                               install_package($feed, $p->{name}) == 0 or $ret = 1;
+                                               install_package($feed, $p->{name}, exists($opts{f})) == 0 or $ret = 1;
+                                               get_feed($f->[1]);
                                        }
                                }
                        }
                }
        } else {
                while ($name = shift @ARGV) {
-                       install_package($feed, $name) == 0 or $ret = 1;
+                       install_package($feed, $name, exists($opts{f})) == 0 or $ret = 1;
                }
        }
 
@@ -422,6 +604,17 @@ sub install {
        return $ret;
 }
 
+sub uninstall_target($) {
+       my $dir = shift;
+       my $name = $dir;
+       $name =~ s/.*\///g;
+
+       my $dest = readlink $dir;
+       return unless $dest =~ /..\/..\/feeds/;
+       warn "Uninstalling target '$name'\n";
+       unlink "$dir";
+}
+
 sub uninstall {
        my %opts;
        my $name;
@@ -436,6 +629,10 @@ sub uninstall {
 
        if ($opts{a}) {
                system("rm -rvf ./package/feeds");
+               foreach my $dir (glob "target/linux/*") {
+                       next unless -l $dir;
+                       uninstall_target($dir);
+               }
                $uninstall = 1;
        } else {
                if($#ARGV == -1) {
@@ -444,6 +641,13 @@ sub uninstall {
                }
                get_installed();
                while ($name = shift @ARGV) {
+                       my $target = "target/linux/$name";
+                       -l "$target" and do {
+                               uninstall_target($target);
+                               $uninstall = 1;
+                               next;
+                       };
+
                        my $pkg = $installed{$name};
                        $pkg or do {
                                warn "WARNING: $name not installed\n";
@@ -499,9 +703,10 @@ sub update {
        my %opts;
        my $feed_name;
        my $perform_update=1;
+       my $failed=0;
 
        $ENV{SCAN_COOKIE} = $$;
-       $ENV{KBUILD_VERBOSE} = 99;
+       $ENV{OPENWRT_VERBOSE} = 's';
 
        getopts('ahi', \%opts);
 
@@ -523,7 +728,7 @@ sub update {
        if ( ($#ARGV == -1) or $opts{a}) {
                foreach my $feed (@feeds) {
                        my ($type, $name, $src) = @$feed;
-                       update_feed($type, $name, $src, $perform_update);
+                       update_feed($type, $name, $src, $perform_update) == 0 or $failed=1;
                }
        } else {
                while ($feed_name = shift @ARGV) {
@@ -532,13 +737,29 @@ sub update {
                                if($feed_name ne $name) {
                                        next;
                                }
-                               update_feed($type, $name, $src, $perform_update);
+                               update_feed($type, $name, $src, $perform_update) == 0 or $failed=1;
                        }
                }
        }
 
        refresh_config();
 
+       return $failed;
+}
+
+sub feed_config() {
+       foreach my $feed (@feeds) {
+               my $installed = (-f "feeds/$feed->[1].index");
+
+               printf "\tconfig FEED_%s\n", $feed->[1];
+               printf "\t\tbool \"Enable feed %s\"\n", $feed->[1];
+               printf "\t\tdepends on PER_FEED_REPO\n";
+               printf "\t\tdefault y\n" if $installed;
+               printf "\t\thelp\n";
+               printf "\t\t Enable the \\\"%s\\\" feed at %s.\n", $feed->[1], $feed->[2][0];
+               printf "\n";
+       }
+
        return 0;
 }
 
@@ -547,16 +768,20 @@ sub usage() {
 Usage: $0 <command> [options]
 
 Commands:
-       list [options]: List feeds and their content
+       list [options]: List feeds, their content and revisions (if installed)
        Options:
-           -s :           List of feed names and their URL.
-           -r <feedname>: List packages of specified feed.
+           -n :            List of feed names.
+           -s :            List of feed names and their URL.
+           -r <feedname>:  List packages of specified feed.
+           -d <delimiter>: Use specified delimiter to distinguish rows (default: spaces)
+           -f :            List feeds in feeds.conf compatible format (when using -s).
 
        install [options] <package>: Install a package
        Options:
            -a :           Install all packages from all feeds or from the specified feed using the -p option.
            -p <feedname>: Prefer this feed when installing packages.
            -d <y|m|n>:    Set default for newly installed packages.
+           -f :           Install will be forced even if the package exists in core OpenWrt (override)
 
        search [options] <substring>: Search for a package
        Options:
@@ -568,7 +793,7 @@ Commands:
 
        update -a|<feedname(s)>: Update packages and lists of feeds in feeds.conf .
        Options:
-           -a :           Update all feeds listed within feeds.conf. Otherwise the spezified feeds will be updated.
+           -a :           Update all feeds listed within feeds.conf. Otherwise the specified feeds will be updated.
            -i :           Recreate the index only. No feed update from repository is performed.
 
        clean:             Remove downloaded/generated files.
@@ -583,8 +808,9 @@ my %commands = (
        'install' => \&install,
        'search' => \&search,
        'uninstall' => \&uninstall,
+       'feed_config' => \&feed_config,
        'clean' => sub {
-               system("rm -rf feeds");
+               system("rm -rf ./feeds ./package/feeds");
        }
 );