Créer Un Package/application P2V Pour Qts

[ohault]

Bonjour,

 

Il m'arrive régulièrement de devoir accéder à des données sur d'anciens disques durs de PC, soit en tant que fichiers ou bien en devant booter sur ses anciens disques durs.

 

L'idée serait de pouvoir créer un package/application pour QTS/QNAP avec une interface web afin de pouvoir :

- simplement copier l'image complete d'un disque en connectant en USB ou eSATA et d'en faire une image disque brute (fichier .img ou .raw).

- et ensuite soit pouvoir la monter et l'exposer tout ou en partie comme un partage sur le QNAP

- ou bien pouvoir exposer une ou des partitions de l'image disque en iSCSI via le support natif iSCSI Target

- ou bien pouvoir lancer une conversion P2V afin de créer une machine virtuelle bootable (exemple: Virtual Box, VMWare Player/Workstation/ESXi).

- ou bien simplement lancer une conversion de l'image brute en un format .vdi, .vmdk, .vhd, .vhdx, ... 

 

Le tout entièrement via une interface web sans devoir passer sur son PC ou Mac.

 

 

Qu'en pensez-vous ?

Olivier

[father_mande]

Bonjour,

Soyez le bienvenu (1er message) ... et vous commencez fort ...

 

N'oubliez pas que nous ne sommes qu'un forum d'entraide entre utilisateur et pas QNAP (l'entreprise) ...

 

Sur le principe ... que du bien ... pour la mise en oeuvre ... cela peut se compliquer un peu :

 

1 ce qu'il faut maîtriser coté QNAP :

... l'architecture propre au QNAP

... Le SDK de création des QPKG (Qnap package)

... le SDK ... x86 je suppose pour compiler les programmes (donc open source) ou les chroot pour utiliser une distribution ayant les applications souhaitées 

 

2 sélectionner les applications Linux qui correspondaient à votre besoin

 

3 vérifiez certains points ... je ne pense pas qu'il soit aisé (même possible) de créer un fichier utilisable tel que en cible Iscsi ... c'est une structure particulière pas un simple fichier Raw, de plus généralement en thin provisioning ...

... par contre il est possible de créer une cible et de dupliquer l'image du disque dedans ...

 

4 les P2V ne sont pas tous open source et sur Linux ...

... après il faut voir si la cible est un hyperviseur externe (tournant sur un autre serveur) ... ou interne ... dans ce cas l'offre QNAP KVM/Qemu vous "imposera" le format de sortie et bien sur limitera les modèles QNAP cibles ... puisque Virtualisation Station ne tourne que sur certaines séries ... Virtualbox n'étant pas officiel ... ne posera pas automatiquement les mêmes limites ... mais quid? de son avenir ....

 

Les QNAP sont des serveurs Web Apache ... avec php ou même avec des scripts bash ... tous permettent (avec un look and feel + ou - réussi) de gérer des interfaces toute application ...

 

Bon courage.

 

Philippe.

[ohault]

Merci Philippe, voici ce que j'ai trouvé en // de mon coté.

 

dd est déjà présent dans QTS et il devrait pouvoir être utilisé pour créer une image RAW.

 

Pour monter cette image, il devrait être possible de suivre http://superuser.com/questions/117136/how-can-i-mount-a-partition-from-dd-created-image-of-a-block-device-e-g-hdd-u

 

Pour convertir une image RAW, vboxmanage ou qemu-img convert pourrait être utilisé.

 

Je vais faire un essai depuis un QNAP avec Virtual Box installé

 

Si cela fonctionne, une première étape me semble de créer quelques shell scripts pour illustrer cela.

 

Olivier

 

 

[father_mande]

Bonjour,

 

dd est totalement fonctionnel

loop aussi ... pas de problème, de plus ,maintenant, tous les "loop" "devices" sont crées (0 à 255) ... donc en nombre ...

vboxmanage fonctionnera ... je l'ai déjà utilisé pour convertir en img (pour Virtualisation Station (KVM/Qemu)

qemu-img (même si il n'est pas documenté) est installé avec Virtualization Station ... mais il faut un modèle compatible V.S. ... pas le 809 ...

 

Bon courage.

 

Philippe.

[ohault]

Je suis d'essayer le lancer une conversion via

vboxmanage clonehd test.img test.vmdk --format VMDK

mais cette commande retourne l'erreur suivante

Could not find file for the medium ´//test.img´

Comment puis-je préciser le bon chemin pour le fichier source et le fichier destination?

Olivier

[father_mande]

Bonjour,

 

Virtualbox est dans un chroot ... les fichiers sont uniquement dans les structures visibles du chroot

 

le seul partage visible par défaut est / /share/My_VM

 

mettez vos fichiers dedans et utilisez les chemins complet

 

ou entrez dans le chroot (vboxsh) et faites de même ... la commande depuis le QNAP s’exécute dans le chroot ... c'est comme un alias ... vboxmanage = chroot Chemin_du_chroot commande (ce qui évite de connaitre la base du chroot ...

 

 

Philippe.

[ohault]

Merci beaucoup Philippe, la conversion fonctionne. 

 

Je viens de faire un essai avec le deuxième disque dur d'un ordinateur portable. Ce disque dur n'est pas bootable et possède uniquement une seule partition formatée en NTFS. 

 

J'ai suivi avec succès la procédure suivante sur un QNAP TS-659 Pro II (QTS 4.1.0 : 12/06/2014)

1) Brancher le disque dur à copier sur un port en eSATA livre

2) Se connecter au QNAP en SSH

3) Lancer une copie et dans la foulée une conversion en .vmdk via les commandes suivantes:

 

vboxsh

cd /share/My_VM

dd if=/dev/sdza of=test.img bs=4096 conv=notrunc,noerror,sync

vboxmanage convertfromraw test.img test.vmdk --format VMDK

 

4) Ensuite depuis un PC sous Windows, j'ai lancé VMWare Workstation et utilisé la fonction "Map Virtual Disks" pour mapper \\mynas\My_VM\test.vmdk  sur un lecteur réseau (Y: dans mon cas)

 

Je trouve que cela se présente bien pour la suite. J'aurais même envie de pouvoir utiliser cette fonction depuis le bouton USB One Touch Copy de la face avant.

 

Je vais à présent:

A) faire un essai avec le disque dur de démarrage de cet ordinateur qui contient plusieurs partitions dont une de boot (avec un Windows 7 installé dessus)

essayer de monter sur le NAS cette image disque pour ne pas devoir passer par le PC pour le faire.

 

Olivier

[ohault]

Je suis d'explorer les deux pistes suivantes:

 

A) faire un essai avec le disque dur de démarrage de cet ordinateur qui contient plusieurs partitions dont une de boot (avec un Windows 7 installé dessus)

 

=> La conversion en VMDK s'est également bien déroulée. Depuis VMWare Workstation, j'ai créé ensuite une nouvelle VM pour représenter mon ancien ordinateur portable en associant respectivement les deux disques dur virtualisés. Après le boot de la VM, j'ai ensuite supprimer les anciens drivers physiques.

=> intégré à QTS, cette opération de P2V depuis un QNAP pourrait se réaliser depuis uniquement une tablette !

 

essayer de monter sur le NAS cette image disque pour ne pas devoir passer par le PC pour le faire.

Ici les choses sont plus compliquées. J'ai remarqué que seul en USB les partitions NTFS de mes disques durs étaient reconnues. Ces disques durs connectés en eSATA ne sont par exemple pas montés par QTS. J'ai essayé de monter les images avec un mount sur une lookback et avec l'offset calculé, mais rien à faire, => mount: unknown filesystem type "ntfs"

 

Olivier

[father_mande]

Bonjour,

 

Je n'ai pas bien compris votre paragraphe 2 ...

 

Pour rappel un montage en "loop" ne concerne que des images particulières de disque ... (image raw de disque), après le "losetup", le montage doit bien préciser tous les paramètres (encodage, droits, mask, etc.)

 

Je ne suis pas sur que l'usage de -t ntfs soit supporté (ou en lecture seule) ... il faut utiliser suivant les systèmes usfd ou tntfs ...

 

Mes disques USB (fonctionnels) utilisent FAT, FAT32, NTFS, EXT2/3 et 4 (format Linux natif au QNAP) ... quelles sont les partitions non reconnues ?

 

Il existe des outils / utilitaires pour monter des disques vmdk ou vdi (virtualbox) dans un Linux en loop ... à chercher, et recompiler si besoin pour QNAP ...

 

Philippe.

[ohault]

Je devais en effet préciser que j'essayais bien de monter l'image raw et pas l'image convertie en .VMDK, pardon.

L'utilisation de -t tntfs avec le bon offset calculé pour mon disque m'a permis de monter la partition, merci. 

 

mount -t tntfs -o loop,ro,offset=1048576 test.img /tmp/i

 

Il ne m'a pas été nécessaire de devoir utiliser losetup, je ne sais pas si cela à une conséquence ?

 

Je ne comprends pas pourquoi en eSATA avec QTS 4.1.0, un disque avec une partition NTFS ne se monte pas, alors que ce même disque dur connecté en USB est monté automatiquement par QTS. Pourrait-il s'agir d'un bug QTS ?

 

Sinon pour la suite, y aurait-il un repository avec des versions compilées X86, X86_64 et ARM pour les QNAP des outils populaires (qemu-img, kpartx, ...) ? 

 

Olivier

[father_mande]

Bonjour,

 

Un bug ... peut-être ... mais là un forum utilisateurs ne peut aider, faites une demande de support via le heldesk de QNAP ...

 

Non, pas de "repository" certain viennent avec des QPKG comme les outils qemu qui viennent avec Virtualisation Station (en fait KVM/qemu)

 

personnellement, j’ai un peu abandonner l'idée de créer des versions spécifiques et j'utilise des "chroot" Debian, pour avoir tous les outils facilement ...

 

 

Philippe.

[ohault]

Bonjour Philippe,

 

J'ai ouvert un ticket de support QNAP par rapport au problème de mount en eSATA.

 

L'idée du chroot est je trouve très séduisante. Je pense que QNAP devrait envisager un support de Docker en complément de approche "Full VM"

 

Cela permettrait de pouvoir disposer très facilement d'un environnement isolé sur un QNAP pour sans devoir avoir un VM complète, aussi bien pour des développements que pour l'isolation des packages entre-eux et avec le système QTS.

 

Sinon par rapport à ce qui existe aujourd'hui, existerait-il une VM de développement pour QNAP ?

 

Olivier

[father_mande]

Bonjour,

 

Les chroot permettent déjà beaucoup de chose ... sans "trimbaler" quand ce n'est pas nécessaire de fonctions à la LXC ...

il faut toujours vérifier si un chroot (qui ne prend aucune ressource tant qu'il n'y a pas d'applicatifs) ne suffit pas ... sans avoir besoin d'interface "noyau par "control group"" lourd et coûteux en puissance ... un chroot étant dèjà un envoronement isolé ... d'ailleurs Docker ou LXC Ajoutent des interfaces à un chroot ... un extension en quelque sorte ...   

 

Quand à LXC / Docker ... le noyau (non modifiable) a évolué dans ce sens (support des Space User Control) sur les nouveaux QNAP ... il y a donc espoir ... faible ... mais espoir ...

 

Exemple : HD_Station est un chroot, Virtualbox un autre, Mandriva Pulse un autre ... etc. donc déjà de TRÈS complexe logiciel ... peuvent "tourner" ... Si le noyau n'est pas modifiable les sources permettent de générer des modules même très complexes et de bas niveau ...

 

Pas à ma connaissance hors celle que je me suis crée ... pour l'ensemble des SDK / GPL source et Cross-compilation ... , vous semblez bien avoir les compétences pour faire de même ... surtout si vous ne ciblez QUE les x86 ou x86_64 et pas les Arm ... qui apportent leur lot de complexité ...

De plus, le plus important est de bien maîtriser l'architecture très particulière du QNAP (fichiers et script en auto configuration à chaque boot) ainsi que la gestion du poackaging QPKG ...

 

... mais ce n'est pas rédhibitoire ... nous sommes tous passé par là ...

 

Philippe.

[ohault]

La solution pour la communauté pourrait être de créer un projet similaire à https://github.com/SynoCommunity/spksrc/issues/788 mais pour QTS

 

L'approche "reproductive" grâce à Vagrant me semble très intéressante sans devoir se partager des VM DEV complètes.

 

Qu'en pensez-vous ?

 

Olivier