scripts/feeds: Reuse TOPDIR if defined in environment
[openwrt/openwrt.git] / scripts / feeds
index aa33af9f487b474db4a80de3c3b5f3feae89a547..55c294ad0a4ec2f0419d12deddeda7324c349e04 100755 (executable)
@@ -1,4 +1,4 @@
-#!/usr/bin/perl
+#!/usr/bin/env perl
 use Getopt::Std;
 use FindBin;
 use Cwd;
@@ -9,7 +9,8 @@ use strict;
 use Cwd 'abs_path';
 
 chdir "$FindBin::Bin/..";
-$ENV{TOPDIR}=getcwd();
+$ENV{TOPDIR} //= getcwd();
+chdir $ENV{TOPDIR};
 $ENV{GIT_CONFIG_PARAMETERS}="'core.autocrlf=false'";
 $ENV{GREP_OPTIONS}="";
 
@@ -22,7 +23,10 @@ my @mkver = split /\s+/, `$mk -v`, 4;
 my $valid_mk = 1;
 $mkver[0] =~ /^GNU/ or $valid_mk = 0;
 $mkver[1] =~ /^Make/ or $valid_mk = 0;
-$mkver[2] >= "3.81" or $valid_mk = 0;
+
+my ($mkv1, $mkv2) = split /\./, $mkver[2];
+($mkv1 >= 4 || ($mkv1 == 3 && $mkv2 >= 81)) or $valid_mk = 0;
+
 $valid_mk or die "Unsupported version of make found: $mk\n";
 
 my @feeds;
@@ -51,7 +55,7 @@ sub parse_config() {
                $line++;
 
                my $valid = 1;
-               $line[0] =~ /^src-\w+$/ or $valid = 0;
+               $line[0] =~ /^src-[\w-]+$/ or $valid = 0;
                $line[1] =~ /^\w+$/ or $valid = 0;
                @src = split /\s+/, $line[2];
                $valid or die "Syntax error in feeds.conf, line: $line\n";
@@ -126,13 +130,22 @@ my %update_method = (
                'init_branch'   => "git clone --depth 1 --branch '%s' '%s' '%s'",
                'init_commit'   => "git clone '%s' '%s' && cd '%s' && git checkout -b '%s' '%s' && cd -",
                'update'        => "git pull --ff",
+               'update_force'  => "git pull --ff || (git reset --hard HEAD; git pull --ff; exit 1)",
                'controldir'    => ".git",
-               'revision'      => "git show --abbrev-commit HEAD | head -n 1 | cut -d ' ' -f 2 | tr -d '\n'"},
+               'revision'      => "git rev-parse --short HEAD | tr -d '\n'"},
+       'src-git-full' => {
+               'init'          => "git clone '%s' '%s'",
+               'init_branch'   => "git clone --branch '%s' '%s' '%s'",
+               'init_commit'   => "git clone '%s' '%s' && cd '%s' && git checkout -b '%s' '%s' && cd -",
+               'update'        => "git pull --ff",
+               'update_force'  => "git pull --ff || (git reset --hard HEAD; git pull --ff; exit 1)",
+               'controldir'    => ".git",
+               'revision'      => "git rev-parse --short HEAD | tr -d '\n'"},
        'src-gitsvn' => {
                'init'  => "git svn clone -r HEAD '%s' '%s'",
                'update'        => "git svn rebase",
                'controldir'    => ".git",
-               'revision'      => "git show --abbrev-commit HEAD | head -n 1 | cut -d ' ' -f 2 | tr -d '\n'"},
+               'revision'      => "git rev-parse --short HEAD | tr -d '\n'"},
        'src-bzr' => {
                'init'          => "bzr checkout --lightweight '%s' '%s'",
                'update'        => "bzr update",
@@ -150,11 +163,12 @@ my %update_method = (
 # src-git: pull broken
 # src-cpy: broken if `basename $src` != $name
 
-sub update_feed_via($$$$) {
+sub update_feed_via($$$$$) {
        my $type = shift;
        my $name = shift;
        my $src = shift;
        my $relocate = shift;
+       my $force = shift;
 
        my $m = $update_method{$type};
        my $localpath = "./feeds/$name";
@@ -175,7 +189,11 @@ sub update_feed_via($$$$) {
        } elsif ($m->{'init_commit'} and $commit) {
                # in case git hash has been provided don't update the feed
        } else {
-               system("cd '$safepath'; $m->{'update'}") == 0 or return 1;
+               my $update_cmd = $m->{'update'};
+               if ($force && exists $m->{'update_force'}) {
+                       $update_cmd = $m->{'update_force'};
+               }
+               system("cd '$safepath'; $update_cmd") == 0 or return 1;
        }
 
        return 0;
@@ -307,7 +325,7 @@ sub list_feed {
 sub list {
        my %opts;
 
-       getopts('r:d:nsh', \%opts);
+       getopts('r:d:nshf', \%opts);
        if ($opts{h}) {
                usage();
                return 0;
@@ -323,7 +341,7 @@ sub list {
                        my $localpath = "./feeds/$feed->[1]";
                        my $m = $update_method{$feed->[0]};
                        my $revision;
-                       if( !$m->{'revision'} ) {
+                       if (!-d "$localpath" || !$m->{'revision'}) {
                                $revision = "X";
                        }
                        elsif( $m->{'controldir'} && -d "$localpath/$m->{'controldir'}" ) {
@@ -335,8 +353,16 @@ sub list {
                        if ($opts{d}) {
                                printf "%s%s%s%s%s%s%s\n", $feed->[1], $opts{d}, $feed->[0], $opts{d}, $revision, $opts{d}, join(", ", @{$feed->[2]});
                        }
+                       elsif ($opts{f}) {
+                               my $uri = join(", ", @{$feed->[2]});
+                               if ($revision ne "local" && $revision ne "X") {
+                                       $uri =~ s/[;^].*//;
+                                       $uri .= "^" . $revision;
+                               }
+                               printf "%s %s %s\n", $feed->[0], $feed->[1], $uri;
+                       }
                        else {
-                               printf "\%-8s \%-8s \%-8s \%s\n", $feed->[1], $feed->[0], $revision, join(", ", @{$feed->[2]});
+                               printf "\%-10s \%-8s \%-8s \%s\n", $feed->[1], $feed->[0], $revision, join(", ", @{$feed->[2]});
                        }
                }
                return 0;
@@ -347,7 +373,7 @@ sub list {
        return 0;
 }
 
-sub install_generic() {
+sub do_install_package($$) {
        my $feed = shift;
        my $pkg = shift;
        my $path = $pkg->{makefile};
@@ -366,18 +392,29 @@ sub install_generic() {
        return 0;
 }
 
-my %install_method = (
-       'src-svn' => \&install_generic,
-       'src-cpy' => \&install_generic,
-       'src-link' => \&install_generic,
-       'src-git' => \&install_generic,
-       'src-gitsvn' => \&install_generic,
-       'src-bzr' => \&install_generic,
-       'src-hg' => \&install_generic,
-       'src-darcs' => \&install_generic,
-);
+sub do_install_target($) {
+       my $target = shift;
+       my $path = $target->{makefile};
+
+       if ($path) {
+               $path =~ s/\/Makefile$//;
+               my $name = $path;
+               $name =~ s/.*\///;
+               my $dest = "./target/linux/$name";
+
+               -e $dest and do {
+                       warn "Path $dest already exists";
+                       return 1;
+               };
 
-my %feed;
+               system("ln -sf ../../$path ./target/linux/");
+       } else {
+               warn "Target is not valid\n";
+               return 1;
+       }
+
+       return 0;
+}
 
 sub lookup_package($$) {
        my $feed = shift;
@@ -385,8 +422,20 @@ sub lookup_package($$) {
 
        foreach my $feed ($feed, @feeds) {
                next unless $feed->[1];
-               next unless $feed{$feed->[1]};
-               $feed{$feed->[1]}->{$package} and return $feed;
+               next unless $feed_cache{$feed->[1]};
+               $feed_cache{$feed->[1]}->[0]->{$package} and return $feed;
+       }
+       return;
+}
+
+sub lookup_target($$) {
+       my $feed = shift;
+       my $target = shift;
+
+       foreach my $feed ($feed, @feeds) {
+               next unless $feed->[1];
+               next unless $feed_cache{$feed->[1]};
+               $feed_cache{$feed->[1]}->[2]->{$target} and return $feed;
        }
        return;
 }
@@ -400,12 +449,33 @@ sub is_core_package($) {
        return 0;
 }
 
+sub install_target {
+       my $feed = shift;
+       my $name = shift;
+
+       $feed = $feed_cache{$feed->[1]}->[2];
+       $feed or return 0;
+
+       my $target = $feed->{$name};
+       $target or return 0;
+
+       warn "Installing target '$name'\n";
+       return do_install_target($target);
+}
+
 sub install_package {
        my $feed = shift;
        my $name = shift;
        my $force = shift;
        my $ret = 0;
 
+       my $this_feed_target = lookup_target($feed, $name);
+       $this_feed_target and do {
+               $installed_targets{$name} and return 0;
+               install_target($this_feed_target, $name);
+               return 0;
+       };
+
        $feed = lookup_package($feed, $name);
        $feed or do {
                $installed{$name} and return 0;
@@ -415,9 +485,9 @@ sub install_package {
        };
 
        # switch to the metadata for the selected feed
-       get_feed($feed->[1]);
+       my $cur = get_feed($feed->[1]);
 
-       my $pkg = $feed{$feed->[1]}->{$name} or return 1;
+       my $pkg = $cur->{$name} or return 1;
        $pkg->{name} or do {
                $installed{$name} and return 0;
                # TODO: check if this is an alias package, maybe it's known by another name
@@ -446,15 +516,10 @@ sub install_package {
        $installed{$src} = 1;
 
        defined($override) and $override == 1
-               and warn "Overriding package '$src'\n"
-               or warn "Installing package '$src'\n";
-
-       $install_method{$type} or do {
-               warn "Unknown installation method: '$type'\n";
-               return 1;
-       };
+               and warn "Overriding core package '$src' with version from $feed->[1]\n"
+               or warn "Installing package '$src' from $feed->[1]\n";
 
-       &{$install_method{$type}}($feed, $pkg) == 0 or do {
+       do_install_package($feed, $pkg) == 0 or do {
                warn "failed.\n";
                return 1;
        };
@@ -477,6 +542,11 @@ sub install_package {
 sub refresh_config {
        my $default = shift;
 
+       # Don't create .config if it doesn't already exist so that making a
+       # config only occurs when the user intends it do (however we do
+       # want to refresh an existing config).
+       return if not (-e '.config');
+
        # workaround for timestamp check
        system("rm -f tmp/.packageinfo");
 
@@ -504,8 +574,8 @@ sub install {
        get_installed();
 
        foreach my $f (@feeds) {
-               # index all feeds
-               $feed{$f->[1]} = get_feed($f->[1]);
+               # fetch all feeds
+               get_feed($f->[1]);
 
                # look up the preferred feed
                $opts{p} and $f->[1] eq $opts{p} and $feed = $f;
@@ -542,6 +612,17 @@ sub install {
        return $ret;
 }
 
+sub uninstall_target($) {
+       my $dir = shift;
+       my $name = $dir;
+       $name =~ s/.*\///g;
+
+       my $dest = readlink $dir;
+       return unless $dest =~ /..\/..\/feeds/;
+       warn "Uninstalling target '$name'\n";
+       unlink "$dir";
+}
+
 sub uninstall {
        my %opts;
        my $name;
@@ -556,6 +637,10 @@ sub uninstall {
 
        if ($opts{a}) {
                system("rm -rvf ./package/feeds");
+               foreach my $dir (glob "target/linux/*") {
+                       next unless -l $dir;
+                       uninstall_target($dir);
+               }
                $uninstall = 1;
        } else {
                if($#ARGV == -1) {
@@ -564,6 +649,13 @@ sub uninstall {
                }
                get_installed();
                while ($name = shift @ARGV) {
+                       my $target = "target/linux/$name";
+                       -l "$target" and do {
+                               uninstall_target($target);
+                               $uninstall = 1;
+                               next;
+                       };
+
                        my $pkg = $installed{$name};
                        $pkg or do {
                                warn "WARNING: $name not installed\n";
@@ -579,13 +671,15 @@ sub uninstall {
        return 0;
 }
 
-sub update_feed($$$$)
+sub update_feed($$$$$)
 {
        my $type=shift;
        my $name=shift;
        my $src=shift;
        my $perform_update=shift;
+       my $force_update=shift;
        my $force_relocate=update_location( $name, "@$src" );
+       my $rv=0;
 
        if( $force_relocate ) {
                warn "Source of feed $name has changed, replacing copy\n";
@@ -598,9 +692,16 @@ sub update_feed($$$$)
                my $failed = 1;
                foreach my $feedsrc (@$src) {
                        warn "Updating feed '$name' from '$feedsrc' ...\n";
-                       next unless update_feed_via($type, $name, $feedsrc, $force_relocate) == 0;
+                       if (update_feed_via($type, $name, $feedsrc, $force_relocate, $force_update) != 0) {
+                               if ($force_update) {
+                                       $rv=1;
+                                       $failed=0;
+                                       warn "failed, ignore.\n";
+                                       next;
+                               }
+                               last;
+                       }
                        $failed = 0;
-                       last;
                }
                $failed and do {
                        warn "failed.\n";
@@ -612,18 +713,19 @@ sub update_feed($$$$)
                warn "failed.\n";
                return 1;
        };
-       return 0;
+       return $rv;
 }
 
 sub update {
        my %opts;
        my $feed_name;
        my $perform_update=1;
+       my $failed=0;
 
        $ENV{SCAN_COOKIE} = $$;
        $ENV{OPENWRT_VERBOSE} = 's';
 
-       getopts('ahi', \%opts);
+       getopts('ahif', \%opts);
 
        if ($opts{h}) {
                usage();
@@ -643,8 +745,7 @@ sub update {
        if ( ($#ARGV == -1) or $opts{a}) {
                foreach my $feed (@feeds) {
                        my ($type, $name, $src) = @$feed;
-                       next unless update_feed($type, $name, $src, $perform_update) == 1;
-                       last;
+                       update_feed($type, $name, $src, $perform_update, $opts{f}) == 0 or $failed=1;
                }
        } else {
                while ($feed_name = shift @ARGV) {
@@ -653,14 +754,14 @@ sub update {
                                if($feed_name ne $name) {
                                        next;
                                }
-                               update_feed($type, $name, $src, $perform_update);
+                               update_feed($type, $name, $src, $perform_update, $opts{f}) == 0 or $failed=1;
                        }
                }
        }
 
        refresh_config();
 
-       return 0;
+       return $failed;
 }
 
 sub feed_config() {
@@ -690,6 +791,7 @@ Commands:
            -s :            List of feed names and their URL.
            -r <feedname>:  List packages of specified feed.
            -d <delimiter>: Use specified delimiter to distinguish rows (default: spaces)
+           -f :            List feeds in feeds.conf compatible format (when using -s).
 
        install [options] <package>: Install a package
        Options:
@@ -710,6 +812,7 @@ Commands:
        Options:
            -a :           Update all feeds listed within feeds.conf. Otherwise the specified feeds will be updated.
            -i :           Recreate the index only. No feed update from repository is performed.
+           -f :           Force updating feeds even if there are changed, uncommitted files.
 
        clean:             Remove downloaded/generated files.
 
@@ -725,7 +828,7 @@ my %commands = (
        'uninstall' => \&uninstall,
        'feed_config' => \&feed_config,
        'clean' => sub {
-               system("rm -rf feeds");
+               system("rm -rf ./feeds ./package/feeds");
        }
 );