build: add support for packing version control downloads with xz
[openwrt/openwrt.git] / include / image.mk
index 6805389d72529197c8bf5d98889fedb8a7abd46c..53919052e9f0bcf777bb140746df51c2e4cf3655 100644 (file)
-# 
-# Copyright (C) 2006 OpenWrt.org
+#
+# Copyright (C) 2006-2010 OpenWrt.org
 #
 # This is free software, licensed under the GNU General Public License v2.
 # See /LICENSE for more information.
 #
 
+override TARGET_BUILD=
+include $(INCLUDE_DIR)/prereq.mk
 include $(INCLUDE_DIR)/kernel.mk
-KDIR:=$(BUILD_DIR)/linux-$(KERNEL)-$(BOARD)
+include $(INCLUDE_DIR)/host.mk
+
+.NOTPARALLEL:
+override MAKEFLAGS=
+override MAKE:=$(SUBMAKE)
+KDIR=$(KERNEL_BUILD_DIR)
+
+IMG_PREFIX:=openwrt-$(BOARD)$(if $(SUBTARGET),-$(SUBTARGET))
 
-ifneq ($(CONFIG_BIG_ENDIAN),y)
-JFFS2OPTS     :=  --pad --little-endian --squash
-SQUASHFS_OPTS :=  -le
+MKFS_DEVTABLE_OPT := -D $(INCLUDE_DIR)/device_table.txt
+
+ifneq ($(CONFIG_BIG_ENDIAN),)
+  JFFS2OPTS     :=  --big-endian --squash-uids -v
 else
-JFFS2OPTS     :=  --pad --big-endian --squash
-SQUASHFS_OPTS :=  -be
+  JFFS2OPTS     :=  --little-endian --squash-uids -v
+endif
+
+ifeq ($(CONFIG_JFFS2_RTIME),y)
+  JFFS2OPTS += -X rtime
+endif
+ifeq ($(CONFIG_JFFS2_ZLIB),y)
+  JFFS2OPTS += -X zlib
+endif
+ifeq ($(CONFIG_JFFS2_LZMA),y)
+  JFFS2OPTS += -X lzma --compression-mode=size
+endif
+ifneq ($(CONFIG_JFFS2_RTIME),y)
+  JFFS2OPTS += -x rtime
 endif
+ifneq ($(CONFIG_JFFS2_ZLIB),y)
+  JFFS2OPTS += -x zlib
+endif
+ifneq ($(CONFIG_JFFS2_LZMA),y)
+  JFFS2OPTS += -x lzma
+endif
+
+JFFS2OPTS += $(MKFS_DEVTABLE_OPT)
 
-ifneq ($(CONFIG_TARGET_ROOTFS_INITRAMFS),y)
-  ifeq ($(CONFIG_TARGET_ROOTFS_JFFS2),y)
+SQUASHFS_BLOCKSIZE := 256k
+SQUASHFSOPT := -b $(SQUASHFS_BLOCKSIZE)
+SQUASHFSOPT += -p '/dev d 755 0 0' -p '/dev/console c 600 0 0 5 1'
+SQUASHFSCOMP := gzip
+LZMA_XZ_OPTIONS := -Xpreset 9 -Xe -Xlc 0 -Xlp 2 -Xpb 2
+ifeq ($(CONFIG_SQUASHFS_LZMA),y)
+  SQUASHFSCOMP := lzma $(LZMA_XZ_OPTIONS)
+endif
+ifeq ($(CONFIG_SQUASHFS_XZ),y)
+  ifneq ($(filter arm x86 powerpc sparc,$(LINUX_KARCH)),)
+    BCJ_FILTER:=-Xbcj $(LINUX_KARCH)
+  endif
+  SQUASHFSCOMP := xz $(LZMA_XZ_OPTIONS) $(BCJ_FILTER)
+endif
+
+JFFS2_BLOCKSIZE ?= 64k 128k
+
+define add_jffs2_mark
+       echo -ne '\xde\xad\xc0\xde' >> $(1)
+endef
+
+define toupper
+$(shell echo $(1) | tr '[:lower:]' '[:upper:]')
+endef
+
+# pad to 4k, 8k, 16k, 64k, 128k, 256k and add jffs2 end-of-filesystem mark
+define prepare_generic_squashfs
+       $(STAGING_DIR_HOST)/bin/padjffs2 $(1) 4 8 16 64 128 256
+endef
+
+ifneq ($(CONFIG_TARGET_ROOTFS_INITRAMFS),)
+  define Image/BuildKernel/Initramfs
+       cp $(KDIR)/vmlinux-initramfs.elf $(BIN_DIR)/$(IMG_PREFIX)-vmlinux-initramfs.elf
+       $(call Image/Build/Initramfs)
+  endef
+else
+  define Image/BuildKernel/Initramfs
+  endef
+endif
+
+define Image/BuildKernel/MkuImage
+       mkimage -A $(ARCH) -O linux -T kernel -C $(1) -a $(2) -e $(3) \
+               -n '$(call toupper,$(ARCH)) OpenWrt Linux-$(LINUX_VERSION)' -d $(4) $(5)
+endef
+
+define Image/BuildKernel/MkFIT
+       $(TOPDIR)/scripts/mkits.sh \
+               -D $(1) -o $(KDIR)/fit-$(1).its -k $(2) -d $(3) -C $(4) -a $(5) -e $(6) \
+               -A $(ARCH) -v $(LINUX_VERSION)
+       PATH=$(LINUX_DIR)/scripts/dtc:$(PATH) mkimage -f $(KDIR)/fit-$(1).its $(KDIR)/fit-$(1)$(7).itb
+endef
+
+define Image/mkfs/jffs2/sub
+               # FIXME: removing this line will cause strange behaviour in the foreach loop below
+               $(STAGING_DIR_HOST)/bin/mkfs.jffs2 $(3) --pad -e $(patsubst %k,%KiB,$(1)) -o $(KDIR)/root.jffs2-$(2) -d $(TARGET_DIR) -v 2>&1 1>/dev/null | awk '/^.+$$$$/'
+               $(STAGING_DIR_HOST)/bin/mkfs.jffs2 $(3) -e $(patsubst %k,%KiB,$(1)) -o $(KDIR)/root.jffs2-$(2)-raw -d $(TARGET_DIR) -v 2>&1 1>/dev/null | awk '/^.+$$$$/'
+               $(call add_jffs2_mark,$(KDIR)/root.jffs2-$(2))
+               $(call Image/Build,jffs2-$(2))
+endef
+
+ifneq ($(CONFIG_TARGET_ROOTFS_JFFS2),)
     define Image/mkfs/jffs2
-               rm -rf $(BUILD_DIR)/root/jffs
-               
-               $(STAGING_DIR)/bin/mkfs.jffs2 $(JFFS2OPTS) -e 0x10000 -o $(KDIR)/root.jffs2-64k -d $(BUILD_DIR)/root
-               $(STAGING_DIR)/bin/mkfs.jffs2 $(JFFS2OPTS) -e 0x20000 -o $(KDIR)/root.jffs2-128k -d $(BUILD_DIR)/root
-
-               # add End-of-Filesystem markers
-               echo -ne '\xde\xad\xc0\xde' >> $(KDIR)/root.jffs2-64k
-               echo -ne '\xde\xad\xc0\xde' >> $(KDIR)/root.jffs2-128k
-       
-               $(call Image/Build,jffs2-64k)
-               $(call Image/Build,jffs2-128k)
+               $(foreach SZ,$(JFFS2_BLOCKSIZE),$(call Image/mkfs/jffs2/sub,$(SZ),$(SZ),$(JFFS2OPTS)))
     endef
-  endif
-    
-  ifeq ($(CONFIG_TARGET_ROOTFS_SQUASHFS),y)
+endif
+
+ifneq ($(CONFIG_TARGET_ROOTFS_JFFS2_NAND),)
+    define Image/mkfs/jffs2_nand
+               $(foreach SZ,$(NAND_BLOCKSIZE), $(call Image/mkfs/jffs2/sub, \
+                       $(word 2,$(subst :, ,$(SZ))),nand-$(subst :,-,$(SZ)), \
+                       $(JFFS2OPTS) --no-cleanmarkers --pagesize=$(word 1,$(subst :, ,$(SZ)))) \
+               )
+    endef
+endif
+
+ifneq ($(CONFIG_TARGET_ROOTFS_SQUASHFS),)
     define Image/mkfs/squashfs
-               @mkdir -p $(BUILD_DIR)/root/jffs
-               $(STAGING_DIR)/bin/mksquashfs-lzma $(BUILD_DIR)/root $(KDIR)/root.squashfs -nopad -noappend -root-owned $(SQUASHFS_OPTS)
+               @mkdir -p $(TARGET_DIR)/overlay
+               $(STAGING_DIR_HOST)/bin/mksquashfs4 $(TARGET_DIR) $(KDIR)/root.squashfs -nopad -noappend -root-owned -comp $(SQUASHFSCOMP) $(SQUASHFSOPT) -processors $(if $(CONFIG_PKG_BUILD_JOBS),$(CONFIG_PKG_BUILD_JOBS),1)
                $(call Image/Build,squashfs)
     endef
-  endif
-    
-  ifeq ($(CONFIG_TARGET_ROOTFS_TGZ),y)
-    define Image/mkfs/tgz
-               tar -zcf $(BIN_DIR)/openwrt-$(BOARD)-$(KERNEL)-rootfs.tgz --owner=root --group=root -C $(BUILD_DIR)/root/ .
+endif
+
+ifneq ($(CONFIG_TARGET_ROOTFS_UBIFS),)
+    define Image/mkfs/ubifs/generate
+       $(CP) ./ubinize$(1).cfg $(KDIR)
+       ( cd $(KDIR); \
+               $(STAGING_DIR_HOST)/bin/ubinize \
+               $(if $($(PROFILE)_UBI_OPTS), \
+                       $(shell echo $($(PROFILE)_UBI_OPTS)), \
+                       $(shell echo $(UBI_OPTS)) \
+               ) \
+               -o $(KDIR)/root$(1).ubi \
+               ubinize$(1).cfg \
+       )
+    endef
+
+    define Image/mkfs/ubifs
+
+        ifneq ($($(PROFILE)_UBIFS_OPTS)$(UBIFS_OPTS),)
+               $(STAGING_DIR_HOST)/bin/mkfs.ubifs \
+                       $(if $($(PROFILE)_UBIFS_OPTS), \
+                               $(shell echo $($(PROFILE)_UBIFS_OPTS)), \
+                               $(shell echo $(UBIFS_OPTS)) \
+                       ) \
+                       $(if $(CONFIG_TARGET_UBIFS_FREE_SPACE_FIXUP),--space-fixup) \
+                       $(if $(CONFIG_TARGET_UBIFS_COMPRESSION_NONE),--force-compr=none) \
+                       $(if $(CONFIG_TARGET_UBIFS_COMPRESSION_LZO),--force-compr=lzo) \
+                       $(if $(CONFIG_TARGET_UBIFS_COMPRESSION_ZLIB),--force-compr=zlib) \
+                       $(if $(shell echo $(CONFIG_TARGET_UBIFS_JOURNAL_SIZE)),--jrn-size=$(CONFIG_TARGET_UBIFS_JOURNAL_SIZE)) \
+                       --squash-uids \
+                       -o $(KDIR)/root.ubifs \
+                       -d $(TARGET_DIR)
+        endif
+       $(call Image/Build,ubifs)
+
+        ifneq ($($(PROFILE)_UBI_OPTS)$(UBI_OPTS),)
+               $(call Image/mkfs/ubifs/generate,)
+               $(if $(wildcard ./ubinize-overlay.cfg),$(call Image/mkfs/ubifs/generate,-overlay))
+        endif
+       $(call Image/Build,ubi)
     endef
-  endif
-  
-  
 endif
 
+ifneq ($(CONFIG_TARGET_ROOTFS_CPIOGZ),)
+  define Image/mkfs/cpiogz
+               ( cd $(TARGET_DIR); find . | cpio -o -H newc | gzip -9 >$(BIN_DIR)/$(IMG_PREFIX)-rootfs.cpio.gz )
+  endef
+endif
 
-ifeq ($(CONFIG_TARGET_ROOTFS_EXT2FS),y)
-  E2SIZE=$(shell echo $$(($(CONFIG_TARGET_ROOTFS_FSPART)*1024)))
-  
-  define Image/mkfs/ext2
-               $(STAGING_DIR)/bin/genext2fs -q -b $(E2SIZE) -I 1500 -d $(BUILD_DIR)/root/ $(KDIR)/root.ext2
-               $(call Image/Build,ext2)
+ifneq ($(CONFIG_TARGET_ROOTFS_TARGZ),)
+  define Image/mkfs/targz
+               # Preserve permissions (-p) when building as non-root user
+               $(TAR) -czpf $(BIN_DIR)/$(IMG_PREFIX)$(if $(PROFILE),-$(PROFILE))-rootfs.tar.gz --numeric-owner --owner=0 --group=0 -C $(TARGET_DIR)/ .
+  endef
+endif
+
+ifneq ($(CONFIG_TARGET_ROOTFS_EXT4FS),)
+  E2SIZE=$(shell echo $$(($(CONFIG_TARGET_ROOTFS_PARTSIZE)*1024)))
+
+  define Image/mkfs/ext4
+# generate an ext2 fs
+       $(STAGING_DIR_HOST)/bin/genext2fs -U -b $(E2SIZE) -N $(CONFIG_TARGET_ROOTFS_MAXINODE) -d $(TARGET_DIR)/ $(KDIR)/root.ext4 -m $(CONFIG_TARGET_ROOTFS_RESERVED_PCT) $(MKFS_DEVTABLE_OPT)
+# convert it to ext4
+       $(STAGING_DIR_HOST)/bin/tune2fs -O extents,uninit_bg,dir_index $(KDIR)/root.ext4
+# fix it up
+       $(STAGING_DIR_HOST)/bin/e2fsck -fy $(KDIR)/root.ext4
+       $(call Image/Build,ext4)
+  endef
+endif
+
+ifneq ($(CONFIG_TARGET_ROOTFS_ISO),)
+  define Image/mkfs/iso
+               $(call Image/Build,iso)
   endef
 endif
 
 
 define Image/mkfs/prepare/default
-       find $(BUILD_DIR)/root -type f -not -perm +0100 -not -name 'ssh_host*' | xargs chmod 0644
-       find $(BUILD_DIR)/root -type f -perm +0100 | xargs chmod 0755
-       find $(BUILD_DIR)/root -type d | xargs chmod 0755
-       mkdir -p $(BUILD_DIR)/root/tmp
-       chmod 0777 $(BUILD_DIR)/root/tmp
+       # Use symbolic permissions to avoid clobbering SUID/SGID/sticky bits
+       - $(FIND) $(TARGET_DIR) -type f -not -perm +0100 -not -name 'ssh_host*' -not -name 'shadow' -print0 | $(XARGS) -0 chmod u+rw,g+r,o+r
+       - $(FIND) $(TARGET_DIR) -type f -perm +0100 -print0 | $(XARGS) -0 chmod u+rwx,g+rx,o+rx
+       - $(FIND) $(TARGET_DIR) -type d -print0 | $(XARGS) -0 chmod u+rwx,g+rx,o+rx
+       $(INSTALL_DIR) $(TARGET_DIR)/tmp
+       chmod 1777 $(TARGET_DIR)/tmp
 endef
 
 define Image/mkfs/prepare
        $(call Image/mkfs/prepare/default)
 endef
 
-define BuildImage
-compile:
-       $(call Build/Compile)
-
-install:
-       $(call Image/Prepare)
-       $(call Image/mkfs/prepare)
-       $(call Image/BuildKernel)
-       $(call Image/mkfs/jffs2)
-       $(call Image/mkfs/squashfs)
-       $(call Image/mkfs/tgz)
-       $(call Image/mkfs/ext2)
-       
-clean:
-       $(call Build/Clean)
+
+define Image/Checksum
+       ( cd ${BIN_DIR} ; \
+               $(FIND) -maxdepth 1 -type f \! -name 'md5sums'  -printf "%P\n" | sort | xargs \
+               md5sum --binary > md5sums \
+       )
 endef
 
-compile-targets:
-install-targets:
-clean-targets:
 
-download:
-prepare:
-compile: compile-targets
-install: compile install-targets
-clean: clean-targets
+define BuildImage
+
+  download:
+  prepare:
+
+  ifeq ($(IB),)
+    compile: compile-targets FORCE
+               $(call Build/Compile)
+  else
+    compile:
+  endif
+
+  ifeq ($(IB),)
+    install: compile install-targets FORCE
+               $(call Image/Prepare)
+               $(call Image/mkfs/prepare)
+               $(call Image/BuildKernel)
+               $(call Image/BuildKernel/Initramfs)
+               $(call Image/InstallKernel)
+               $(call Image/mkfs/cpiogz)
+               $(call Image/mkfs/targz)
+               $(call Image/mkfs/ext4)
+               $(call Image/mkfs/iso)
+               $(call Image/mkfs/jffs2)
+               $(call Image/mkfs/jffs2_nand)
+               $(call Image/mkfs/squashfs)
+               $(call Image/mkfs/ubifs)
+               $(call Image/Checksum)
+  else
+    install: compile install-targets
+               $(call Image/BuildKernel)
+               $(call Image/BuildKernel/Initramfs)
+               $(call Image/InstallKernel)
+               $(call Image/mkfs/cpiogz)
+               $(call Image/mkfs/targz)
+               $(call Image/mkfs/ext4)
+               $(call Image/mkfs/iso)
+               $(call Image/mkfs/jffs2)
+               $(call Image/mkfs/jffs2_nand)
+               $(call Image/mkfs/squashfs)
+               $(call Image/mkfs/ubifs)
+               $(call Image/Checksum)
+  endif
+
+  ifeq ($(IB),)
+    clean: clean-targets
+               $(call Build/Clean)
+  else
+    clean:
+  endif
+
+  compile-targets:
+  install-targets:
+  clean-targets:
+
+endef