Hace un tiempo yo también estaba intentando instalar backtrack 3 como el SSOO de una maquina vmware, pero tampoco tuve exito. Creo que era por algun problema con las particiones de la maquina virtual y en montar correctamente.
A continuación te dejo unas notas que un amigo me envio sobre la instalación de backtrack. A ver si a ti va mejor y/o si alguien encuentra un error en los pasos:
3 partitions..
sda1=/boot
sda2=swap
sda3= /
Boot your live cd and open a bash shell and begin.
If your swap is not yet made then do this..(otherwise omit this step)
bt~#mkswap /dev/sda2
bt~#swapon /dev/sda2
bt~#mkdir /mnt/backtrack
bt~#mount /dev/sda3 /mnt/backtrack/
bt~#mkdir /mnt/backtrack/boot/
bt~#mount /dev/sda1 /mnt/backtrack/boot/ (note: If you only have one partiton to install backtrack to simply omit this step)
bt~#cp --preserve -R /{bin,dev,home,pentest,root,usr,etc,lib,opt,sbin,var} /mnt/backtrack/
bt~#mkdir /mnt/backtrack/{mnt,proc,sys,tmp}
bt~#mount --bind /dev/ /mnt/backtrack/dev/
bt~#mount -t proc proc /mnt/backtrack/proc/
bt~#cp /boot/vmlinuz /mnt/backtrack/boot/
Now for lilo.
bt~#chroot /mnt/backtrack/ /bin/bash
bt~#nano /etc/lilo.conf
Por mi parte, al final la solución fue iniciar la maquina virtual desde el iso de backtrack, que así funciona de la misma manera como el LiveCD. Lo malo es eso, que como liveCd no puedes guardar cambios o actualizaciones.
Suerte!