Gentoo Francophone

Xen

Stephane Malinet — 2009-03-01T16:13:49Z

Comment mettre en place la virtualisation sous Gentoo avec Xen.

[titre1]Introduction[/titre1]

La virtualisation est un sujet à la mode depuis quelques temps compte tenu des nombreux avantages qu'elle apporte aux infrastructures.

Je ne rentrerai pas dans l'énumération des-dits avantages, et pas non plus dans la description des différentes formes de virtualisation, pour cela je vous invite à vous reporter à l'article de wikipédia.

Le type hyperviseur sous Xen, celui qui nous intéressera dans le reste de ce document :


hyperviseur

L'hyperviseur fourni une couche virtuelle pour les matériels, switch, cartes réseaux (...), et le bios, ne nécéssitant pas de modification de l'OS hôte. L'OS n'est pas conscient d'être virtualisée. Ce type accuse une perte des performances brutes de la VM par rapport à son homologue physique de l'ordre de 35% pour VMware, contre 25% pour Xen. (marge de + ou - 5 points pour les % suivant les cas).

Dans la paravirtualisation, les machines virtuelles (VM) ont conscience d'être virtualisées car elles fonctionnent sur une version Xen du noyau en mode 'domain U' non-privilégié, alors que la machine physique (Hardware Node) fonctionne sur un noyau Xen en mode 'domain 0' privilégié. Cela permet aux VMs des accés beaucoup plus rapide au matériel car Xen ne fait qu'ordonnancer les accés sans traiter la 'traversée' de la couche virtuelle de matériel. Ce type n'accuse une perte de performance de la VM que de l'ordre de 3 à 5%. Mais vous l'aurez compris : seuls les OS linux et BSD permettent ce type car il nécéssite un noyau Xen pour les VMs.

C'est ce mode que nous alons mettre en place car il ne nécéssite pas des processeurs supportant la virtualisation matérielle.

[titre1]Dom0[/titre1]

Le dom0 est le domaine qui va accueillir les domaines invités.

Pour installer notre hyperviseur sous Gentoo, il nous faut demasquer certains paquets et activer certains drapeaux :


 USE="custom-cflags pygrub screen


 echo "sys-kernel/xen-sources" >> /etc/portage/package.keywords/my.keywords
 echo "app-emulation/xen-tools" >> /etc/portage/package.keywords/my.keywords
 echo "app-emulation/xen" >> /etc/portage/package.keywords/my.keywords

Afin d'obtenir les meilleurs performances il vous faut modifier vos CFLAGS.

Exemple pour un x86 :


 CFLAGS="-O2 -march=pentium4 -mno-tls-direct-seg-refs -pipe"

Pour une amd64 :


 CFLAGS="-O2 -march=nocona -mno-tls-direct-seg-refs -pipe"

Recompilez tous vos paquets et installez les xen-sources et outils Xen.


 emerge -ave world && emerge -av xen xen-tools xen-sources

[titre2]Le noyau[/titre2]

Modifions le noms des sources :


 cd /usr/src
 mv linux-2.6.18-xen-r12 linux-2.6.18-xen0-r12
 eselect kernel set linux-2.6.18-xen0-r12

En plus de la configuration normale pour votre matériel activez les options suivantes :


 XEN --->
 [*] Privileged Guest (domain 0)
 <*> Backend driver support
 <*> Block-device backend driver
 <*> Network-device backend driver
 <*> Network-device loopback driver
 <*> PCI-device backend driver
 PCI Backend Mode (Virtual PCI) --->
 <*> Block-device frontend driver
 <*> Network-device frontend driver
 [*] Scrub memory before freeing it to Xen
 [*] Disable serial port drivers
 <*> Export Xen attributes in sysfs
 Device Drivers --->
 Block devices --->
 <*> Loopback device support
 Xen version compatibility (no compatibility code) --->

Compilez votre noyau et installez-le :


 make -j2 && make modules_install
 cp arch/i386/boot/vmlinuz /boot/kernel-2.6.18-xen0-r12

Modifiez grub :


 default 0
 timeout 05
 splashimage=(hd0,0)/grub/splash.xpm.gz
 
 
 title=GENTOO 2.6.18 Xen0 R12
 root (hd0,0)
 kernel /xen.gz dom0_mem=128M vga=gfx-1280x1024x16
 module /kernel-2.6.18-xen0-r12 root=/dev/vg/root max_loop=64
 module /initramfs.gz

Rebootez.

[titre2]Le réseau[/titre2]

Nous utiliserons le le mode bridge pour le réseau ce qui permettra aux machines virtuelles d'avoir leur propre adresse IP :


 dom0: eth0 (fausse eth0) -> peth0 -+
 |
 bridge -> vraie eth0 -> le réseau
 |
 domU: eth0 (fausse eth0) -> vifN.0 -+

modifiez le fichier /etc/xen/xend-config.sxp :


 (network-script network-bridge)
 (vif-script vif-bridge)

Activez le service xend :


 rc-update add xend default
 /etc/init.d/xend start

[titre1]DomU[/titre1]

Passons maintenant à l'installation de notre domaine hôte.

Créons le périphérique block où sera installé notre système virtuelle.

Première solution : utilisez un fichier de 4Go comme périphérique block et formatez-le :


 dd if=/dev/zero of=/var/xen/gentoo.vm0 bs=1M seek=4095 count=1
 mkfs.xfs -l size=64m -b size=1024 /var/xen/gentoo.vm0

Montez ce block :


 mount -o loop /var/xen/gentoo.vm0 /mnt/gentoo

Et procédez à l'installation comme décrit dans le handbook Gentoo.

[titre2]Le noyau[/titre2]

Au moment d'installer votre noyau choisissez les xen-sources et configurez votre noyau avec les options suivantes :


 XEN --->
 [ ] Privileged Guest (domain 0)
 <*> Block-device frontend driver
 <*> Network-device frontend driver
 <*> User-space granted page access driver
 <*> Framebuffer-device frontend driver
 <*> Keyboard-device frontend driver
 [*] Scrub memory before freeing it to Xen
 [*] Disable serial port drivers
 <*> Export Xen attributes in sysfs
 Xen version compatibility (no compatibility code) --->

Editez le fichier /etc/inittab de votre domU afin de ne laisser q'une console :


 # TERMINALS
 c1:12345:respawn:/sbin/agetty 38400 tty1 linux
 #c2:2345:respawn:/sbin/agetty 38400 tty2 linux
 #c3:2345:respawn:/sbin/agetty 38400 tty3 linux
 #c4:2345:respawn:/sbin/agetty 38400 tty4 linux
 #c5:2345:respawn:/sbin/agetty 38400 tty5 linux
 #c6:2345:respawn:/sbin/agetty 38400 tty6 linux

[titre2]Configuration DomU[/titre2]

Concernant la partition swap, je vous conseille de créer un fichier à l'intérieur du domU, cela n'est pas le plus performant comme format mais cela permet d'avoir tout à l'intérieur de la machine virtuelle :


 dd if=/dev/zero of=/var/tmp/swap bs=1M seek=1024 count=1
 mkswap /var/tmp/swap

Configurez le grub du domU :


 default 0
 timeout 05
 splashimage=(hd0,0)/grub/splash.xpm.gz
 
 title=GENTOO 2.6.18 gentoo R12
 root (hd0,0)
 kernel /kernel-2.6.18-xen-r12 root=/dev/sda2 4 rw xencons=tty
 initrd /initramfs.gz

Passons à la configuration de xen pour le domU. Créez, dans le dom0 le fichier de configuration /etc/xen/gentoo, dans le cadre de l'utilisation d'un fichier pour la partition système :


 bootloader = '/usr/bin/pygrub'
 memory = 128
 name = "gentoo"
 vif = [ '' ]
 disk = [ 'file:/var/xen/gentoo.vm0,sda1,w' ]

Ou comme cela si vous utilisez un périphérique block pour le domU :


 bootloader = '/usr/bin/pygrub'
 memory = 128
 name = "gentoo"
 vif = [ '' ]
 disk = [ 'phy:/dev/vg/gentoo,sda1,w' ]

[titre2]Le réseau[/titre2]

Configurez en IP fixe l'interface de votre domU comme s'il s'agissait d'une interface normale eth0.

En revanche, si vous utilisez DHCP, alors pensez à attribuer une adresse matérielle (MAC) pour l'interface en modifiant le fichier de configuration du domU.


 vi /etc/xen/gentoo
 
 vif = [ 'mac=aa:00:00:00:00:01' ]

Une fois que vous avez démontez votre domU, nous allons lancer notre machine virtuelle :


 xm create gentoo

Vérifiez :


 xm list

Et accédez à votre système gentoo virtuelle :


 xm console gentoo

Vous assurez que la machine virtuelle soit lancée au démarrage du système :


 cd /etc/xen/auto
 ln -s ../gentoo
 rc-update add xendomains default

[titre1]Administration des domaines[/titre1]

Nous allons voire les commandes les plus courrantes d'administration de vos domaines.

[titre2]Info dom0[/titre2]


 xm info

les méssages de demarrage de Xen :


 xm dmesg

[titre2]Démarrez domU[/titre2]


 xm create gentoo

Avec le mode console :


 xm create gentoo -c

[titre2]Stoppez domU[/titre2]

Arrêtez normallement le domU :


 xm sutdown gentoo

Arrêt immédiat :


 xm destroy gentoo

Mettre et sortir de pause :


 xm pause gentoo
 xm unpause gentoo

[titre2]Sauvegarder et restaurer domU[/titre2]

Sauvegardez le domU dans un fichier :


 xm save gentoo

Restaurez le domU :


 xm restore gentoo

[titre2]vCPUs[/titre2]

Augmeter ou réduire le nombre de vCPUs (entendez procésseurs virtuels) attribués à un domU (ne peux dépasser la valeur totale de la configuration) :


 xm vcpu-set gentoo 2

[titre2]Mémoire domU[/titre2]

Augmenter ou réduire la mémoire allouée à un domU (ne peux dépasser la somme totale de tous les domU par rapport à la configuration) :


 xm mem-set gentoo 256

Pour plus de commandes, jeter un oeil à :


 xm help

Voilà, amusez-vous bien... ;-)

[titre1]Liens[/titre1]

Initramfs

Stephane Malinet — 2009-02-27T23:06:23Z

Comment créer son propore initramfs.

[titre1]Introduction[/titre1]

L'initramfs permet d'inclure à la fin du démarrage du noyau un mini système de fichier en mémoire vous permettant de lancer par exemple des outils de detection matériel, decrypter la racine d'un système ,ou , dans mon cas, l'activation des volumes LVM pour la racine de mon système.

[titre1]Installation[/titre1]

Il y a deux possibilités : compiler l'initramfs dans le noyau ou alors en faire une archive. Nous verrons cela au moment de la configuration du noyau.

[titre2]Busybox[/titre2]

L' outils de base nécéssaire à faire un initramfs est sys-apps/busybox, en plus de votre noyau bien sûr. Mais il doit impérativement être compilé statiquement, c'est-à-dire avec les bibliothèques nécéssaires inclues dans le binaire executable afin de le rendre autonome.


 USE=static emerge -av1 busybox

[titre2]Mini système[/titre2]

Passons à la création de ce mini système qui sera executé avant le vrai


 cd /usr/src/
 mkdir -p initramfs initramfs/{bin,dev,etc,proc,root,sbin,sys,mnt}

Maintenant mettons le binaire statique de busybox :


 cd initramfs
 cp -a /bin/bb bin/busybox

[titre2]Init[/titre2]

L'init est une partie trés importante de votre iniramfs car c'est ce script qui va être exécuté par le noyau.

Créez un fichier init :


 touch init && chmod +x init

Editez et mettez le code qui suit :


 #!/bin/busybox sh
 
 f_mini_udev()
 {
 busybox --install -s
 echo /sbin/mdev > /proc/sys/kernel/hotplug
 mdev -s
 }
 
 # mount proc, sys and a mini udev
 mount -t proc none /proc
 mount -t sysfs none /sys
 f_mini_udev
 
 # do your magic here
 echo Booting: Initramfs
 
 # LVM
 #lvm vgscan
 #lvm vgchange -a y
 
 # mount the root filesystem, if error then open a shell
 mount -o ro,noatime,logbufs=8 /dev/sda2 /root || exec sh
 
 # clean up
 umount /proc
 umount /sys
 
 # boot the real thing
 exec switch_root /root /sbin/init

[titre2]le noyau[/titre2]

Configurez votre noyau comme ce qui suit si vous voulez y inclure l'initramfs :


 General setup --->
 [*] Initial RAM filesystem and RAM disk (initramfs/initrd) support
 (/usr/src/initramfs)

Sinon en externe :


 General setup --->
 [*] Initial RAM filesystem and RAM disk (initramfs/initrd) support
 ()

Créez un script vous permettant de générer facilement l'archive cpio


 touch /usr/src/mkinitramfs && chmod +x /usr/src/mkinitramfs

Editez et mettez le code qui suit :


 #!/bin/bash
 
 cd /usr/src/initramfs
 find . | cpio -H newc -o > ../initramfs.cpio
 cd ..
 cat initramfs.cpio | gzip > initramfs.gz

Executez le script :


 /usr/src/initramfs

Copiez votre archive dans /boot


 cp /usr/src/initramfs.gz /boot

Ensuite il vous faudra configurer votre chargeur de démarrage.

[titre2]Grub[/titre2]

Editez le fichier /boot/grub/grub.conf :


 default 0
 timeout 05
 splashimage=(hd0,0)/grub/splash.xpm.gz
 
 
 title=GENTOO 2.6.27 Gentoo R8
 root (hd0,0)
 kernel /kernel-2.6.27-gentoo-r8 root=/dev/sda2 video=vesafb:mtrr:3,ywrap vga=0x31a
 initrd /initramfs.gz

Il ne vous reste plus qu'à rebooter... bonne chance ;-)

[titre1]Liens[/titre1]

http://en.gentoo-wiki.com/wiki/Initramfs

OpenVZ

Stephane Malinet — 2008-12-26T21:12:59Z

OpenVZ est une solution de virtualisation basée sur un patch du noyau.

[titre1]Introduction[/titre1]

OpenVZ permet de faire tourner jusqu'à 100 machines virtuelles par machine physique.

Là où les autres solutions de virtualisation affichent une perte de performance d'environ 15 à 20% pour les machines virtuelles, OpenVZ n'en compte que 3 à 5%.

Un des inconvénients majeur par rapport à certains de ses concurrents, est, vu que la solution est basée sur une modification du système d'exploitation, de ne pouvoir faire tourner qu'un linux dans un linux et pas un windows dans un linux...

En revanche, elle permet la migration des machines virtuelles (appelées VE, Virtual Entity, ou CT, container) à chaud ou à froid d'un noeud physique (appelé HN, Hardware Node) à l'autre.

[titre1]Installation du Hardware Node[/titre1]

[titre2]openvz-sources[/titre2]

Après avoir testé les versions stables sur des architectures x86 et x86_64 du noyau openvz-sources, il s'est avéré qu'avec gcc-4.1.2 seule la version openvz-sources-2.6.24.006.5 fonctionne correctement.

[warn]Inutile d'éssayer avec >=gcc-4.2.[/warn]

Commençons donc par démasquer ce paquet :


 echo "sys-kernel/openvz-sources ~x86" >> /etc/portage/package.keywords
 echo "sys-kernel/openvz-sources" >> /etc/portage/package.unmask

Ensuite installez-le :


 emerge -av openvz-sources

[titre2]vzctl[/titre2]

vzctl est l'utilitaire qui vous permet d'administrer les CTs.

Si vous utilisez >=baselayout-2 installez la version la plus récente de la l'arbre de portage :


 echo "sys-cluster/vzctl ~x86" >> /etc/portage/package.keywords
 echo "sys-cluster/vzctl" >> /etc/portage/package.unmask


 emerge -av vzctl

Nous verrons par la suite sa configuration.

[titre1]Configuration du Hardware Node[/titre1]

[titre2]Le noyau[/titre2]

Une fois le paquet openvz-sources installé, passez à sa configuration


 cd /usr/src/linux
 make menuconfig


 -*- Enable the block layer --->
 IO Schedulers --->
 <*> CFQ I/O scheduler
 Default I/O scheduler (CFQ) --->
 OpenVZ --->
 [*] Virtual Environment support
 <M> VE calls interface
 -M- VE network device
 -M- Virtual ethernet device
 -M- VE device
 [*] VE netfiltering
 <M> VE watchdog module
 <M> Checkpointing & restoring Virtual Environments
 File systems --->
 [*] Quota support
 [*] Report quota messages through netlink interface
 <M> Quota format v2 support
 <M> VPS filesystem
 <M> Virtuozzo Disk Quota support
 [ ] Unloadable Virtuozzo Disk Quota module
 [*] Per-user and per-group quota in Virtuozzo quota partitions

Compilez et installez votre noyau après l'avoir configuré pour votre matériel et rebootez.

[titre2]vzctl[/titre2]

Donc vzctl est l'utilitaire qui permet l'administration des CTs : création, démarrage, arrêt, configuration et la migration.

Modifiez la ligne suivante dans le fichier /etc/vz/vz.conf :


 DEF_OSTEMPLATE="gentoo"

Et lancez le service vz afin qu'il charge les modules nécéssaires au fonctionement d'openvz :


 /etc/init.d/vz start
 rc-update add vz default

Vérifiez la liste des modules :


 lsmod
 
 Module Size Used by
 vznetdev 16548 2 
 vzrst 139792 0 
 vzcpt 111904 0 
 tun 12416 2 vzrst,vzcpt
 vzmon 32392 4 vznetdev,vzrst,vzcpt
 simfs 5068 1 
 vzdquota 38168 1 [permanent]
 vzdev 3204 3 vznetdev,vzmon,vzdquota

A ce niveau, notre Hardware Node est pret à recevoir ses premiers Container (CT).

[titre1]Création d'un template Gentoo[/titre1]

Vous pouvez bien évidemment utiliser un template préparé OpenVZ que vous pourrez trouver sur www.funtoo.org mais il manquera dans tous ces derniers quelques paquets par exemple pour la configuration du réseau.

Nous allons donc voire comment préparer un template gentoo.

Télécharger un stage3 correspondant à votre architecture :


 cd /vz/template/cache
 wget http://www.funtoo.org/linux/pentium4/funtoo-pentium4-2008.12.19/stage3-pentium4-2008.12.19.tar.bz2

Décompressez votre archive :


 mkdir gentoo
 cd gentoo
 tar xvjpf stage3-pentium4-2008.12.19.tar.bz2

Copiez votre fichier /etc/make.conf


 cp /etc/make.conf /vz/template/cache/gentoo/etc/make.conf

ou éditez le fichier /vz/template/cache/gentoo/etc/make.conf.

Copiez votre fichier /etc/resolv.conf afin d'avoir la résolution DNS pour la préparation de notre template :


 cp /etc/resolv.conf /vz/template/cache/gentoo/etc

Copiez l'arbre portage afin d'installer et de mettre à jour le template suivant les USE activés :


 cp -a /usr/portage /vz/template/cache/gentoo/usr

Vous pouvez aussi le faire avec un point de montage :


 mount -o bind /usr/portage /vz/template/cache/gentoo/usr/portage

Chrootez :


 mount -t proc none /vz/template/cache/gentoo/proc
 mount -o bind /dev /vz/template/cache/gentoo/dev
 chroot /vz/template/cache/gentoo /bin/bash
 env-update && source /etc/profile

Mettez à jour le système :


 emerge -avuDN world

Installez iproute2 pour le réseau :


 emerge -av iproute2

Créez l'interface qui servira aux futurs CTs :


 cd /etc/init.d/
 ln -s net.lo net.venet0

Les CTs n'ont besoin que de proc :


 echo "proc /proc proc defaults 0 0" > /etc/fstab

Editez le fichier /etc/inittab et commentez les lignes suivantes :


 # TERMINALS
 #c1:12345:respawn:/sbin/agetty 38400 tty1 linux
 #c2:2345:respawn:/sbin/agetty 38400 tty2 linux
 #c3:2345:respawn:/sbin/agetty 38400 tty3 linux
 #c4:2345:respawn:/sbin/agetty 38400 tty4 linux
 #c5:2345:respawn:/sbin/agetty 38400 tty5 linux
 #c6:2345:respawn:/sbin/agetty 38400 tty6 linux

Editez le fichier /etc/shadow :


 root:!:10071:0:::::

Cela désactive le login root ce qui permettra sa ré activation, selon vos besoins, avec la commande suivante :


 vzctl set CTID --userpasswd root:password

Supprimer les services inutiles :


 rc-update del checkroot boot
 rc-update del consolefont boot

Modifiez udev :

=baselayout-1.* :


 vi /etc/conf.d/rc
 
 RC_DEVICE_TARBALL="no"

=baselayout-2.* :


 vi /etc/conf.d/udev
 
 rc_device_tarball="NO"

Créez les devices qui seront nécéssaires à entrer dans un CT :


 cd /lib
 mknod udev/devices/ttyp0 c 3 0
 mknod udev/devices/ptyp0 c 2 0
 mknod udev/devices/ptmx c 5 2

A ce niveau le template est pret.


 exit
 umount /vz/template/cache/gentoo/proc /vz/template/cache/gentoo/dev /vz/template/cache/gentoo/usr/portage

Créons l'archive de notre template :

[warn]OpenVZ ne supporte pas le format bzip2 ![/warn]


 tar cvzpf ../gentoo.tar.gz .
 cd ..
 rm -rf gentoo stage3-pentium4-2008.12.19.tar.bz2

[titre1]Création d'un CT[/titre1]

Pour créer un CT maintenant que notre template est pret cela est simple :


 vzctl create 777 --ostemplate gentoo

Lancez le CT :


 vzctl start 777

Et appréciez :


 vzlist
 
 CTID NPROC STATUS IP_ADDR HOSTNAME 
 777 22 running 192.168.0.2 ct777
 
 vzctl enter 777

[titre1]Adminitration d'un CT[/titre1]

Pour les valeurs des ressources système des CT :


 cat /proc/user_beancounters
 Version: 2.5
 uid resource held maxheld barrier limit failcnt
 777: kmemsize 1314354 2467837 11055923 11377049 0
 lockedpages 0 0 256 256 0
 privvmpages 58603 85448 131072 139264 36
 shmpages 1 2 21504 21504 0
 dummy 0 0 0 0 0
 numproc 21 44 240 240 0
 physpages 29534 54552 0 2147483647 0
 vmguarpages 0 0 33792 2147483647 0
 oomguarpages 29534 54552 26112 2147483647 0
 numtcpsock 3 5 360 360 0
 numflock 35 50 188 206 0
 numpty 1 2 16 16 0
 numsiginfo 0 5 256 256 0
 tcpsndbuf 26784 180792 1720320 2703360 0
 tcprcvbuf 49152 805544 1720320 2703360 0
 othersockbuf 118296 253072 1126080 2097152 0
 dgramrcvbuf 0 8376 262144 262144 0
 numothersock 81 87 360 360 0
 dcachesize 181116 223704 3409920 3624960 0
 numfile 680 1086 9312 9312 0
 dummy 0 0 0 0 0
 dummy 0 0 0 0 0
 dummy 0 0 0 0 0
 numiptent 10 10 128 128 0
 0: kmemsize 3675498 4827817 2147483647 2147483647 0
 lockedpages 0 0 2147483647 2147483647 0
 privvmpages 11010 38156 2147483647 2147483647 0
 shmpages 2594 3602 2147483647 2147483647 0
 dummy 0 0 2147483647 2147483647 0
 numproc 70 93 2147483647 2147483647 0
 physpages 5464 15614 2147483647 2147483647 0
 vmguarpages 0 0 2147483647 2147483647 0
 oomguarpages 5482 15647 2147483647 2147483647 0
 numtcpsock 18 22 2147483647 2147483647 0
 numflock 3 6 2147483647 2147483647 0
 numpty 5 6 2147483647 2147483647 0
 numsiginfo 0 5 2147483647 2147483647 0
 tcpsndbuf 212040 249984 2147483647 2147483647 0
 tcprcvbuf 388888 644952 2147483647 2147483647 0
 othersockbuf 138384 206184 2147483647 2147483647 0
 dgramrcvbuf 0 8376 2147483647 2147483647 0
 numothersock 110 126 2147483647 2147483647 0
 dcachesize 788352 829068 2147483647 2147483647 0
 numfile 1657 2240 2147483647 2147483647 0
 dummy 0 0 2147483647 2147483647 0
 dummy 0 0 2147483647 2147483647 0
 dummy 0 0 2147483647 2147483647 0
 numiptent 24 24 2147483647 2147483647 0

La colonne failcnt permet de voir quelle valeur a été trop restrictive pour le bon fonctionement de votre CT.

[titre2]Le hostname[/titre2]


 vzctl set 777 --hostname ct777 --save

[titre2]Le réseau[/titre2]


 vzctl set 777 --ipadd 192.168.0.2 --nameserver 192.168.0.253 --searchdomain gentoofr.org --save

[titre2]le CPU[/titre2]

La mesure est 100% par CPU, donc si vous avez deux CPU, vous avez 200%...

Limiter le CT à 15% maxi de l'utilisation du HN :


 vzctl set 777 --cpulimit 15 --save

[titre2]La mémoire[/titre2]

Modifier la mémoire allouée à un CT :


 vzctl set 777 --privvmpages $((65536*2)):$((69632*2)) --save

[titre2]AccessTime[/titre2]

Ne pas mettre à jour la date du dernier accés à l'inode (limite les I/O) :


 vzctl set 777 --noatime yes --save

[titre2]IO Priority[/titre2]

Changer les priorités des entrées/sorties :


 vzctl set 777 --ioprio [0-7](default 4) --save

[titre2]Le quota disque[/titre2]


 vzquota stat 777
 
 resource usage softlimit hardlimit grace
 1k-blocks 931791 1048576 1153434 
 inodes 170026 200000 220000

le multiplier par deux :


 vzctl set 777 --diskspace $((1048576*2)):$((1153434*2)) --save

[titre1]Checkpointing[/titre1]

Le checkpointing est une extension d'OpenVZ permettant de sauver la totalité de l'état d'un CT en fonctionement afin de le restaurer sur le même ou un autre HN de manière transparante pour les applications et les connexions réseau.

Pendant la Migration le CT freeze le temps de synchroniser ses fichiers avec le nouvel HN, lorsque cela est terminé tout reprend normalement :


 vzmigrate --online 192.168.0.6 777

Faire le checkpoint manuel :


 vzctl chkpnt 777

Les processus courants du CT sont freezés et sauvegardés comme fichier /vz/dump/Dump.777

Si vous obtenez ce genre de méssage :


 vzctl chkpnt 777
 Setting up checkpoint...
 suspend...
 dump...
 Can not dump container: Invalid argument
 Error: iptables-save exited with 255
 Checkpointing failed

1. Vous utilisez iptables dans votre CT mais vzctl cherche les binaires iptables-save et iptables-restore dans /sbin ou dans /usr/sbin : vérifiez leur présence ou créez les liens nécéssaires.

2. Si vous n'utilisez pas iptables dans dans le CT, créez les liens iptables-save et iptables-restore renvoyant un code de sortie 0 :


 vzctl enter 777
 ln -sf /bin/true /sbin/iptables-save
 ln -sf /bin/true /sbin/iptables-restore

Pour le restaurer :


 vzctl restore 777

[titre1]Liens[/titre1]

tmpfs

Stephane Malinet — 2008-11-08T15:33:19Z

Entendez Temporary File System, est implémenté dans le noyau 2.6 et se base sur ramfs, il propose une limite de taille mémoire allouable fixée au moment du montage modifiable à la volée et utilisant le swap si nécéssaire.

[titre1]Introduction[/titre1]

Le gros avantage de tmpfs par rapport à ramfs est l'allocation dynamique de la mémoire permettant ainsi de ne pas utiliser cette espace si cela n'est pas nécéssaire.

Je m'explique si vous allouez 1Go de ram à un montage tmpfs, que vous y écrivez un fichier de 100Mo, les 900Mo restant seront allouable aux autres ressources.

Je vous invite à regarder les options spécifiques de montage de tmpfs avec man mount.

Par défaut, si vous ne spécifiez pas de valeur de taille, la moitié de votre ram sera allouée.

[warn]Il me semble une trés mauvaise idée d'allouer toute votre ram à tmpfs, cela risque en cas de saturation de l'obliger à swapper et, de fait, d'obtenir des performances inverses...[/warn]

Bien, passons aux exemples.

[titre1]Portage[/titre1]

Par défaut, portage utilise le repertoire de travail temporaire /var/tmp/portage afin d'y décomprésser les sources d'un paquet et d'y faire son travail de compilation (make), mais aussi son installation (make install), ensuite seulement il copie les fichiers installés dans votre système.

Je pense que vous aurez compris le bénéfice en terme de rapidité lors d'un emerge, d'écrire ces fichiers temporaires directement dans la mémoire via tmpfs plutôt que sur le disque dur sachant que généralement votre mémoire devrait être quelque chose comme 200 fois plus rapide que votre disque...

Dans la pratique, vous avez deux solutions : utiliser /dev/shm , ou créer un point de montage spécifique pour votre portage.

[titre2]/dev/shm[/titre2]

/dev/shm alloue la moitié de votre ram avec tmpfs.

Pour ce faire il vous suffit de modifier votre ficher /etc/make.conf avec les valeurs suivantes :

PORTAGE_TMPFS="/dev/shm"
 PORTAGE_TMPDIR="/dev/shm"
 BUILD_PREFIX="/dev/shm"

[titre2]/var/tmp/portage[/titre2]

Si en revanche vous choisissez de créer un point de montage spécifique, vous devrez modifier votre fichier /etc/fstab :

none /var/tmp/portage tmpfs uid=250,gid=250,mode=775,noauto 0 0

Montez-le avant de lancer l'installation d'un paquet :

# mount -v /var/tmp/portage

[warn]Certains paquets tels que gcc ou openoffice auront besoins de plus d'1Go d'espace temporaire, ou encore si vous avez beaucoup de paquets à mettre à jour, n'utilisez pas cette technique car vous arriverez vite à saturation des 1Go faisant ainsi planter vos installations[/warn]

[titre1]/tmp[/titre1]

Une autre utilisation est de monter tout votre /tmp avec tmpfs améliorant passablement les performances des logiciels ou du système lors de l'utilisation de ce repertoire.

Modifiez votre fichier /etc/fstab :

/dev/shm /tmp tmpfs defaults,nosuid,nodev,noexec 0 0

Ce qui, comme expliqué plus haut, allouera la moitié de votre mémoire à ce repertoire.

Je ne saurais trop vous conseillez dans ce cas d'ajouter une crontab root purgeant régulièrement le repertoire /tmp au cas où certaines applications ne le fassent pas correctement :

# vidage du repertoire /tmp des fichiers vieux de 24H toutes les 12H 
 0 */12 * * * find /tmp -type f -mmin +1440 -delete > /dev/null

[titre1]MySQL[/titre1]

Sous gentoo, la configuration par défaut de MySQL est d'utiliser le repertoire /tmp, donc si vous utilisez déjà tmpfs sur /tmp passez votre chemin... ;-)

Si en revanche vous désirez séparer le repertoire de travail temporaire de MySQL, modifiez votre fichier /etc/mysql/my.cnf :

tmpdir = /var/tmp/mysql

Créez le repertoire en question :

# mkdir /var/tmp/mysql

Modifiez ensuite votre fichier /etc/fstab :

none /var/tmp/mysql tmpfs uid=60,gid=60,mode=775 0 0

Passons à son activation :

# mount -v /var/tmp/mysql && /etc/init.d/mysql restart

[titre1]Conclusion[/titre1]

tmpfs est trés simple à utliser et peux du coup être adapté à tous vos besoins à condition d'avoir, vous l'aurez compris, une quantité de ram conséquente... ;-)

libATA

Stephane Malinet — 2008-05-18T16:36:33Z

La libATA est une bibliothèque utilisée sous le noyau linux pour le support des controlleurs et périphériques ATA. Elle permet de gérer les transferts ATA et ATAPI via le sous-système SCSI.

[titre1]Introduction[/titre1]

La libATA est une bibliothèque du noyau linux pour le support des controlleurs et périphériques ATA. Elle permet de gérer les transferts ATA et ATAPI via le sous-système SCSI. Apparue dans le noyau 2.6.18, à la base développée pour le support des disques Serial ATA, elle s'est imposée comme le futur standard des disques Paralell ATA (entendez les disques à interfaces IDE). De fait à terme les drivers IDE seront probablement amenés à disparaitre du noyau au détriment de la libATA. Un des gros avantages, est de n'avoir à paramétrer qu'un seul format de périphérique peu importe le type d'interface IDE, SATA, ou SCSI : tout sera vu en /dev/sd* et /dev/sr* pour les lecteurs et graveurs CD DVD.

[titre1]Configuration[/titre1]

[titre2]Le Noyau[/titre2]

Nous allons donc dans un premier temps changer la configuration du noyau :

# cd /usr/src/linux
 # make menuconfig

Si vous n'avez que des disques SATA et que vous utilisez des clés USB, alors votre configuration noyau est déjà trés proche de celle ci-dessous, pensez à désativer le support ATA/ATAPI... et à activer le support des lecteurs de CDROM SCSI. Sélectionnez les options suivantes afin de n'activer que le support libATA :

Device Drivers --->
 < > ATA/ATAPI/MFM/RLL support --->
 SCSI device support --->
 -*- SCSI device support
 <*> SCSI target support
 [*] legacy /proc/scsi/ support
 <*> SCSI disk support
 <*> SCSI CDROM support
 [*] Enable vendor-specific extensions (for SCSI CDROM)
 <*> SCSI generic support
 [*] SCSI logging facility
 [*] Asynchronous SCSI scanning
 <*> Serial ATA (prod) and Parallel ATA (experimental) drivers --->
 (sélectionnez le support de votre chipset à l'aide de la commande lspci, dans notre exemple un intel)
 <*> Intel ESB, ICH, PIIX3, PIIX4 PATA/SATA support

Ensuite recompilez votre noyau :

# make -j2 && make modules_install

[titre2]Le fichier /etc/fstab[/titre2]

C'est là que cela se complique un peu puisque les disques IDE seront vus comme des disques SCSI, si vous n'aviez que des disques IDE, alors ce sera relativement simple puisque d'une manière générale, /dev/hda deviendra /dev/sda, /dev/hdb -> /dev/sdb... en revanche, si vous mixiez disques SATA et disques IDE alors il va falloir trouver un moyen de savoir comment seront nommés les disques.

Une méthode serait de labeliser vos partitions c'est-à-dire de donner un nom à ces partitions afin de pouvoir nommer la partition /boot en BOOT par exemple. L'opération de mettre des labels sur vos partitions doit impérativement se faire sur des partitions non montées, le mieux est donc depuis un liveCD. Pour ce faire utilisez les outils suivant :

sur ext2/3 : tune2fs (16 caractères maximum)

# tune2fs -L BOOT /dev/hda1

sur reiserfs : reiserfstune (16 caractères maximum)

# reiserfstune -l ROOT /dev/hda2

sur xfs : xfs_admin (12 caractères maximum)

# xfs_admin -L USR /dev/hda3

sur jfs : jfs_tune (16 caractères maximum)

# jfs_tune -L VAR /dev/hda6

Pour la partition de swap :

# mkswap -L SWAP /dev/hda5

Modifiez ensuite le fichier /etc/fstab :


 [...]
 LABEL=ROOT / reiserfs noatime 0 2
 [...]

Autre méthode est d'utiliser la dénomination par UUID (entendez Universal Unique IDentifier) des partitions.

Pour les connaître :

# ls -lh /dev/disk/by-uuid/
 total 0
 lrwxrwxrwx 1 root root 10 mai 11 18:44 136cea0d-4971-45f7-a22f-184c28325e0d -> ../../hdb1
 lrwxrwxrwx 1 root root 10 mai 11 18:44 19f589de-5fe1-4ef8-886e-5407bdd09242 -> ../../hda6
 lrwxrwxrwx 1 root root 10 mai 11 18:44 23522038-ec20-4d27-b082-2cb7cb01d18f -> ../../hda7
 lrwxrwxrwx 1 root root 10 mai 11 18:44 28176ab9-04a4-4661-ae7b-aad4e2adc4e3 -> ../../hda3
 lrwxrwxrwx 1 root root 10 mai 11 18:44 81b59432-398e-40fd-8098-f6f7b4abc52a -> ../../hda5
 lrwxrwxrwx 1 root root 10 mai 11 18:44 88f09f52-b4f6-4ee3-b96f-d86b6d4b1e57 -> ../../hda1
 lrwxrwxrwx 1 root root 10 mai 11 18:44 c422bb01-014d-46b2-98cd-73071234df6f -> ../../hda8
 lrwxrwxrwx 1 root root 10 mai 11 18:44 d605fa56-f3bb-416c-9b65-27cde7a703f6 -> ../../hda2

Remplacez donc dans le fichier /etc/fstab vos /dev/hd* par les UUID correspondantes :


 [...]
 UUID=d605fa56-f3bb-416c-9b65-27cde7a703f6 / reiser4 noatime,nodiratime 0 2
 [...]

Dans tout les cas n'oubliez pas vos lecteurs et/ou graveurs CD DVD :

/dev/sr0 /mnt/dvdrom iso9660 noauto,ro,user 0 0
 /dev/sr1 /mnt/cdr iso9660 noauto,ro,user 0 0

[titre2]Le Chargeur de démarrage[/titre2]

Grub

Modifiez le fichier /boot/grub/grub.conf :

title=GENTOO 2.6.25 entropie R3
 root (hd0,0)
 kernel /kernel-2.6.25-entropie-r3 root="LABEL=ROOT"

Lilo

Modifiez votre fichier /etc/lilo.conf :

boot=/dev/sda
 prompt
 timeout=50
 default=Gentoo
 
 image=/boot/kernel-2.6.25-gentoofr-r5
 label=Gentoo
 read-only
 root="LABEL=ROOT"

A ce niveau il ne vous reste plus qu'à rebooter... Ceci dit, pensez à vérifier vos configurations hdparm et lvm... Dans le pire des cas vous ne verrez aucune différence en terme de performances, en revanche dans le meilleur des cas ces dernières seront améliorées.

OpenRC

max — 2008-03-16T17:19:43Z

[titre1]Introduction[/titre1]

OpenRC est un nouveau système d'init, reprenant les mêmes fonctionnalités de baselayout (le système d'init par défaut de Gentoo) c'est-à-dire la gestion, le démarrage et l'arrêt des services. Il est developpé en C contrairement à baselayout qui lui est en bash. Cela permet d'augmenter la rapidité de la gestion des dépendances et le lancement des services.

Une autre qualité est de supporter les services supportés par baselayout mais aussi par l'init des BSD, ce qui permet une migration douce et simple. Il permet aussi le lancement parallèle des services, augmentant la vitesse du démarrage.

OpenRC est maintenant supporté par Gentoo, vous trouverez les paquets dans l'arbre portage.

Page officielle d'OpenRC : http://roy.marples.name/openrc

[titre1]Installation[/titre1]

A ce jour le paquet est en testing, il vous faut donc le démasquer :

# echo "sys-apps/openrc ~x86" >> /etc/portage/package.keywords
 # echo "sys-apps/baselayout ~x86" >> /etc/portage/package.keywords

Ensuite installez le paquet :

# emerge -av openrc

[warn] Lancez bien etc-update ou dispatch-conf selon votre choix, pour remplacer les nouveaux fichiers de configuration de openrc et les services.[/warn]

[titre1]Configuration[/titre1]

Ceci dit, pensez à vérifier certains de vos fichiers de configuration :

Le fichier /etc/conf.d/hostname pour le nom du système :

hostname="gentoo1"

Le fichier /etc/hosts pour, en partie, le nom complet du système :

127.0.0.1 gentoo1.gentoofr.org gentoo1

Le fichier /etc/conf.d/keymaps pour la configuration du clavier :

keymap="fr"
 ...

Le fichier /etc/conf.d/hwclock le remplaçant du fichier /etc/conf.d/clock :

clock="local"

par ailleurs, pour spécifier la variable TIMEZONE qui n'est plus présente dans le fichier /etc/rc.conf, créez le fichier /etc/timezone :

Europe/Paris

Attention, à la fin de l'installation, emerge vous dit que le fichier /etc/modules.autoload.d/kernel-2.6 est obsolete. OpenRC utilise un nouveau fichier pour la liste des modules à charger au démarrage : /etc/conf.d/modules. La syntaxe du fichier change : elle devient plus cohérente, dans le sens où on peut lister les modules à charger pour tel ou tel noyau. Par exemple :

modules_2_6_24_gentoo_r3="applesmc nvidia tun"
 # et pour passer un argument à un module
 modules_nvidia_args-2_6_24_gentoo_r3=""

Sinon, vous pouvez aussi les mettre dans la variable modules, mais ils seront chargés pour n'importe quel noyau :

modules="applesmc nvidia tun"

Concernant la configuration réseau, il vous faudra modifier le ficher /etc/conf.d/net comme ce qui suit.

Pour une configuration par DHCP :

config_eth0="dhcp"

Pour une configuration fixe (avec iproute2 dans l'exemple) :

modules="iproute2"
 config_eth0="192.168.0.2/24"
 routes_eth0="default via 192.168.0.254"

Pour les utilisateurs de x11-apps/xinit, vous définirez la variable XSESSION dans le fichier /etc/env.d/99xsession.

Et, pour finaliser, ne pas oublier de définir les variables PAGER et EDITOR qui ne se trouvent plus dans le fichier /etc/rc.conf. Elles sont définies par défaut par le fichier /etc/profile, mais vous pouvez les définir par utilisateur dans un .bashrc ou un .zshrc, sinon globalement en créant le fichier /etc/env.d/99editor :

PAGER="/usr/bin/less"
 EDITOR="/usr/bin/vim"

Pour les utilisateurs de reiser4, pensez à modifier le fichier /etc/conf.d/fsck pour passer le bon argument à reiser4fsck :

fsck_args="-a"

Rebootez et appréciez...

Pour plus d'informations sur la migration vers OpenRC : http://www.gentoo.org/doc/en/openrc-migration.xml

NFSv4

Stephane Malinet — 2007-07-21T17:34:45Z

[titre1]Introduction[/titre1]

NFSv4 est fortement inspiré d'AFS (Andrew file system) qui, lui-même s'inspirait de NFSv3, la boucle étant ainsi bouclée. NFSv4 est également conçu pour pallier les lacunes des versions précédentes et se pose en successeur et en concurrent de Samba, NFSv3 ou de AFS. Par rapport à ses prédécesseurs, NFSv4 embarque de nombreuses avancées telles que :

une technologie de cache agressive (délégation)
le regroupement des requêtes réseau (Compound request)
la sécurisation négociée et le chiffrement des données : Kerberos 5, certificats (SPKM), clefs publiques/privées (LIPKEY)
la capacité pour les clients de maintenir des sessions ou de les récupérer malgré un crash serveur ou une panne du réseau
la possibilité (à terme) de rediriger la charge de serveurs saturés vers un autre serveur, de manière transparente pour les clients
le support d'attributs fichier nommés par l'utilisateur.

Dans ce qui suit nous procéderons à une installation sans sécurisation, c'est-à-dire à la méthode NFSv3.

[titre1]Configuration noyau[/titre1]

Commençons par activer les modules NFSv4 dans le noyau :

File systems --->
 Network File Systems --->
 <M> NFS file system support 
 [*] Provide NFSv3 client support 
 [ ] Provide client support for the NFSv3 ACL protocol extension
 [*] Provide NFSv4 client support (EXPERIMENTAL)
 [*] Allow direct I/O on NFS files
 <M> NFS server support
 [*] Provide NFSv3 server support
 [ ] Provide server support for the NFSv3 ACL protocol extension
 [*] Provide NFSv4 server support (EXPERIMENTAL)

re-compilez votre noyau et installez-le.

[titre1]Configuration serveur[/titre1]

Passons à la configuration côté serveur. Nous avons besion du paquet net-fs/nfs-utils :

# emerge -av net-fs/nfs-utils

La différence avec NFSv3 se situe dans la visualisation du point de montage qui ressemble plus à celle d'un serveur FTP, c'est-à-dire avec une racine virtuelle où seront montés les repertoire locaux. En découle une syntaxe différente elle aussi :

# vi /etc/exports
 
 /exports 192.168.0.0/24(fsid=0,ro,sync,no_root_squash,no_subtree_check)
 /exports/babykart 192.168.0.0/24(rw,nohide,insecure,no_root_squash,no_subtree_check,sync)
 /exports/p2p 192.168.0.0/24(rw,nohide,insecure,no_root_squash,no_subtree_check,sync)

Créez les repertoires manquant et montez les repertoires appropriés :

# mkdir /exports
 # mkdir /exports/babykart
 # mkdir /exports/p2p
 # mount -o bind /home/babykart /exports/babykart
 # mount -o bind /home/p2p /exports/p2p

Il ne reste plus qu'à lancer le serveur NFS :

# rc-update add nfs default 
 # /etc/init.d/nfs start

[warn]Si vous utilisez netfilter, pensez à ouvrir le port 2049 pour le protocole TCP[/warn]

[titre1]Configuration client[/titre1]

Côté client, même si cela n'est pas nécéssaire, je vous invite à installer le paquet net-nds/portmap qui améliore considérablement la vitesse de montage des points NFSv4 :

# emerge -av net-nds/portmap
 # /etc/init.d/portmap start
 # rc-update add portmap default

Chargez le module noyau nfs si ce n'est pas déjà fait :

# modprobe nfs

Passez à la modification du fichier /etc/fstab et ajoutez la ligne qui suit :

192.168.1.2:/ /mnt/nfs4 nfs4 rw,hard,intr,proto=tcp,port=2049,rsize=32768,wsize=32768,noauto 0 0

Créez le repertoire manquant et monter le lien NFS :

# mkdir /mnt/nfs4
 # mount -v /mnt/nfs4

Voilà, si vous allez dans le repertoire /mnt/nfs4, vous devriez trouver deux repertoires : babykart et p2p.

[titre1]Liens[/titre1]

La page de reférence du projet NFSv4

Le guide de migration NFSv3 vers NFSv4

Utiliser UTF-8 pour Gentoo

max — 2007-01-24T16:42:57Z

[titre1]Introduction[/titre1]

Les gens de différents pays utilisent généralement des caractères spéciaux pour représenter un symbole comme l'euro qui est intégré dans ISO-8859-15. Dans le monde, il y a plus de 256 caractères. Pensons à l'hébreu, au cyrillique, au chinois...etc ils ont tous des caractères différents pour avoir un même mot. Si chacun utilise un jeu de caractères différent :

on ne pourra pas stocker du texte avec des jeux de caractères différents dans un même document. Il sera impossible de citer des phrases arabes dans un document français par exemple.
prenons par exemple un site qui utilise un jeu de caractères peu connu, pour visualiser les caractères, l'utilisateur devra changer son jeu de caractères dans son navigateur si la reconnaissance automatique du jeu de caractères ne marche pas.
si vous stockez plusieurs documents où chacun à un jeu de caractères différent, cela compliquera les choses, vous devrez à chaque fois, changez votre jeu de caractères.

Pour résoudre tous ces problémes, il suffirait d'adopter un jeu de caractères pour tout le monde, universel : l'unicode.

Il y a plusieurs manières d'encoder des caractères Unicode dans des octets : nous ne parlerons que de la plus connue : l'UTF-8.

A noté que certaines applications et environnements n'acceptent plus que cette encodage.

Pour plus d'informations sur l'UTF-8 :

faites un man utf-8 et pour l'unicode,
allez sur http://www.freenix.fr/unix/linux/HOWTO/Unicode-HOWTO-1.html.

Cette introduction a été réalisée à partir du document ci-dessus (qui n'existe plus).

[titre1]Passer à l'UTF-8[/titre1]

[titre2]Glibc[/titre2]

Nous allons déjà nous intéresser aux variables locales. Par défaut, l'UTF-8 est intégré dans glibc mais si vous choissisez juste vos jeux de caractères qui sont intégrés dans glibc, il va falloir utiliser locale-gen. Tout d'abord, nous allons éditer quelques fichiers de Portage.

Tout d'abord, nous allons éditer le fichier /etc/locale.gen. Voici un exemple :

fr_FR/ISO-8859-15
 fr_FR.UTF-8/UTF-8

Vous pourrez trouver les différentes combinaisons possibles dans le fichier /usr/share/i18n/SUPPORTED.

Et ensuite, il ne reste plus qu'à générer les locales listées dans le fichier précédent avec :

$ locale-gen

[titre2]Définir les variables pour la langue[/titre2]

Cette étape consiste à définir les variables qui sont utilisés par les applications sauf ce qui ont des paquets spéciaux pour la langue comme kde.

$ export LANG=fr_FR.UTF-8@UTF-8
 $ export LC_ALL=fr_FR.UTF-8@UTF-8

Dans cette exemple, nous définissons la variable LANG pour que les applications utilisent la langue français avec un encodage de type UTF-8.

Nous pouvons aussi redéfinir la variable LC_TIME qui est créé par défaut quand vous définissez la variable LANG. La valeur mise dans LC_TIME est la même que celle de LANG. LC_TIME précise dans quel pays vous vivez. Par exemple, vous pouvez très bien vivre en France et parlez le Russe, dans ce cas là, il va falloir redéfinir la variable LC_TIME :

$ export LC_TIME=ru_RU.UTF-8@UTF-8

La syntaxe pour ces variables est toujours la même :

[langue[_pays][.jeudecaractère][@modifier]]

Pour que vous n'aillez pas tous les manipulations à refaire à chaque redémarrage de votre machine, nous allons paramètrer les fichiers rc.conf et env.d :

Commençons par le fichier /etc/rc.conf, la variable UNICODE par défaut à comme valeur NO, vous allez là changer en YES : UNICODE="yes"

Ensuite, éditons le fichier /etc/env.d/02locales et mettons toutes les variables de l'environnement que vous avez défini avant. Par exemple :
LANG=en_AU.UTF-8 LC_TIME=ru_RU.UTF-8@UTF-8

[titre2]Configuration du noyau[/titre2]

Vous devez aussi activer quelques options dans votre noyau pour que l'UTF-8 soit bien supporté :

dans le menu File systems puis Native Language Support , pour obtenir les caractères UTF-8 dans les partitions windows (FAT32/NTFS) mettez la valeur utf-8 dans la rubrique Default NLS Option, puis mettez en dure :

NLS UTF-8

N'oubliez pas ensuite de recompiler le noyau et de reconfigurer si nécessaire grub ou lilo.

[titre2]Configuration de samba[/titre2]

Pour le support de l'UTF-8, vous devrez ajouter et modifier la variable unix charset dans le fichier /etc/samba/smb.conf :

unix charset = UTF-8

[titre2]Liens[/titre2]

Distcc : Compilation avec plusieurs machines

ougloukg — 2007-01-23T18:47:55Z

[titre1]Introduction[/titre1]

Distcc est un programme pour répartir une compilation C ou C++ à travers plusieurs machines grâce au réseau. La compilation résultante d'un ensemble de machine est la même qu'une simple compilation locale mais cependant le gain de temps est très important : étant donné que le travail est executé par plusieurs machines, donc le temps de compilation est en proportion inverse au nombre de machine (=> plus il y a de machines moins c'est long, logique).

Pour créer cette grosse machine virtuelle, distcc n'exige pas que toutes les machines aient le même système de fichiers, ou que les horloges soient synchronisées, ou d'avoir les mêmes bibliothèques. Et les machines ne sont pas obligées d'être sous le même système d'exploitation.

Distcc envoie le code source prétraité complet à travers le réseau pour chaque compilation, ainsi tout ce qu'il exige des autres machines est qu'ils aient le démon de distccd en marche, et qu'ils aient installer un compilateur approprié (de la même version). Distcc n'est pas en lui même un compilateur, mais plutôt une entrée de GCC, ou un compilateur différent de votre choix.

Distcc est maintenant assez stable et peut avec succès compiler KDE, GNOME, ...

[titre1]Installation et configuration de distcc[/titre1]

Pour l'installation, rien de plus simple :

$ emerge -av sys-devel/distcc

Ensuite, la configuration est très simple : modifiez les variables CC, et pour faire fonctionner le tout avec ccache et autoconf :

$ export PATH="/usr/lib/ccache/bin:/usr/lib/distcc/bin:${PATH}"

Puis activez ditscc dans portage en modifiant le fichier /etc/make.conf, et aussi en modifiant la variable MAKEOPTS="jN" ou N est égale au nombre total de procésseurs +1 :

$ vim /etc/make.conf
 
 MAKEOPTS="-j4"
 FEATURES="distcc"

Pour la variable DISTCC_HOSTS il faut éditer ou créer le fichier /etc/distcc/hosts et y ajouter les ip (ou alias) des machines que vous souhaitez utiliser au travers de distcc.

$ vim /etc/distcc/hosts
 
 DISTCC_HOSTS="192.168.5.10 192.168.5.12"

ou bien avec l'utilitaire de configuration de distcc :

$ distcc-config --set-hosts "192.168.5.10 192.168.5.12"

Pour des raisons de sécurité nous n'allons autoriser que les machines que nous aurons choisies, il faut donc éditer le fichier /etc/conf.d/distccd :

$ vim /etc/conf.d/distccd
 
 DISTCCD_OPTS="${DISTCCD_OPTS} --allow 192.168.1.12 --allow 192.168.1.15"

Ensuite vous lancez le service distccd :

$ /etc/init.d/distccd start

Pour automatiser le lancement du serveur distcc, il faut encore et toujours utiliser rc-update.

$ rc-update add distccd default

Vous pouvez dès maintenant lancer une compilation sur l'un de vos ordinateur. Pour être sur qu'il utilise bien distcc, vérifiez lors de la configuration de la compilation (./configure) que vous voyez apparaître ces lignes :

checking for i686-pc-linux-gnu-gcc... distcc
 (...)

Linux Virtual Server

Stephane Malinet — 2007-01-04T18:46:35Z

Load balancing ou equilibrage de charge sous gentoo

[titre1]Introduction[/titre1]

Attention ne confondez pas Linux Virtual Server et Vserver : le second permet d'inserer un système dans un autre, de manière chrootée (pour plus d'info sur Vserver).

Linux Virual Server est un projet qui consiste à mettre en place un système d'équilibrage de charge fonctionnant sur les couches réseau et transport du modèle OSI afin d'apporter performance et disponibilité.

Cette architecture est basée sur un serveur node, appelé load balancer, redirigeant les requètes TCP et/ou UDP vers un pool de serveurs, appelés serveurs réels, de manière completement transparente pour l'utilisateur (voir l'image ci-dessous).

[titre1]Les architectures LVS[/titre1]

Vous pouvez implémenter LVS selon 3 méthodes aux choix :

1. NAT (Network Adress Translation) : c'est-à-dire la translation d'adresse IP entre le load balancer et les serveurs réels, cette méthode limite le nombre de serveurs réels :

2. le tunneling IP : la liaison entre le load balancer et les serveurs réels se fait via un tunnel IP, les serveurs réels répondent directement au client :

3. Le Direct Routing : le load balancer et les serveurs réels doivent se trouver sur le même segment réseau, les serveurs réels répondent directement au client :

C'est la méthode qui sera mise en place dans cette documentation.

[titre1]Les algorithmes LVS[/titre1]

Il vous faudra choisir entre les différents algorithmes de balancing selon vos besoins :

Round-Robin Scheduling : Dans cette configuration, la répartition fonctionne de manière cyclique, sans se préoccuper de la charge des serveurs. La première requête sera affectée au 1er serveur, la seconde au second serveur, ainsi de suite en boucle.

Weighted Round-Robin Scheduling : Même technique, mais les real-serveurs peuvent être affectés par des poids, pour tenir compte des différentes capacités de traitement.

Least-Connection Scheduling : Le load-balancer possède une table des connections actives. Il renverra toute nouvelle requête au serveur possédant le moins de connexions actives, dynamiquement.

Weighted Least-Connection Scheduling : Même idée que l'algorithme précédent, en ayant la possibilité d'attribuer des poids aux serveurs.

Locality-Based Least-Connection Scheduling : Le load balancer choisit un serveur réel dans un groupe en fonction de l'adresse IP de destination. Il est utilisé dans les clusters de cache.

Locality-Based Least-Connection with Replication scheduling : Idem que le précédent, avec une fonctionnalité supplémentaire : si tous les serveurs du groupe sont surchargés ou indisponibles, il choisit un serveur dans un autre groupe pour l'affecter au 1er groupe de serveurs.

Destination Hashing Scheduling : Affecte la requête arrivant à un serveur d'un groupe fixé dans une table de hashage, en fonction de l'adresse IP de destination.

Source Hashing Scheduling : Affecte la requête à un serveur réel en fonction de l'adresse source.

[titre1]Scénario[/titre1]

Nous considererons dans le restant de cette documentation que notre architecture se compose de 3 serveurs sur un même réseau : le load balancer aura l'IP 192.168.0.1 et les serveurs réels auront respectivement 192.168.0.2 et 192.168.0.3. Nous souhaitons, dans le cadre d'un service web, équilibrer la charge sur le port 80. Nous mettrons donc en place LVS sur une architecture Direct routing avec l'algorithme Weighted Least-Connection Scheduling.

[titre1]Configuration du load balancer[/titre1]

Dans un premier temps il va nous falloir recompiler le noyau afin d'activer le support LVS sachant qu'il vous faudra minimun une version 2.6.10 sinon vous devrez patcher votre noyau.

Networking --->
 [*] Networking support 
 Networking options --->
 IP: Virtual Server Configuration --->
 <M> IP virtual server support (EXPERIMENTAL)
 [*] IP virtual server debugging
 (20) IPVS connection table size (the Nth power of 2)
 --- IPVS transport protocol load balancing support
 [*] TCP load balancing support
 [*] UDP load balancing support
 [*] ESP load balancing support
 [*] AH load balancing support
 --- IPVS scheduler
 <M> round-robin scheduling
 <M> weighted round-robin scheduling
 <M> least-connection scheduling
 <M> weighted least-connection scheduling
 <M> locality-based least-connection scheduling
 <M> locality-based least-connection with replication scheduling
 <M> destination hashing scheduling
 <M> source hashing scheduling
 <M> shortest expected delay scheduling
 <M> never queue scheduling
 --- IPVS application helper
 <M> FTP protocol helper

Une fois votre nouveau noyau compilé, bootez dessus.

Vous n'êtes pas obligé de charger les modules au démarrage car ceux nécéssaires se chargeront automatiquement en utilisant la commande ipvsadm.

Pour la partie concernant iptables je vous laisse passer à cet article.

nous allons avoir besoin de quelques paquets :

# emerge -av sys-cluster/ipvsadm

Afin de configurer ipvsadm, je vous ai confectionné un petit script spécial pour les gentooistes :

# wget http://babykart.free.fr/scripts/virtualserver/virtualserver-rules.conf -P /etc
 # wget http://babykart.free.fr/scripts/virtualserver/virtualserver-rules -P /usr/local/sbin
 # chmod +x /usr/local/sbin/virtualserver-rules

Et un autre pour les non-gentooistes :

# wget http://babykart.free.fr/scripts/virtualserver/virtualserver-rules.conf -P /etc
 # wget http://babykart.free.fr/scripts/virtualserver/virtualserver-rules_nogen -P /usr/local/sbin
 # chmod +x /usr/local/sbin/virtualserver-rules_nogen

Passons donc à la configuration du fichier /etc/virtualserver-rules.conf :

activated_vs="vs0"
 
 vs0() {
 # choix de l'algorithme de load balancing
 # Round-Robin Scheduling: Dans cette configuration, la repartition fonctionne de maniere cyclique,
 # sans se preoccuper de la charge des serveurs. La premiere requete sera affectee au 1er serveur, 
 # la seconde au second serveur, ainsi de suite en boucle.
 # --> rr 
 #
 # Weighted Round-Robin Scheduling: Meme technique, mais les real-serveurs peuvent Ãªtre affectes 
 # par des poids, pour tenir compte des differentes capacites de traitement.
 # --> wrr
 #
 # Least-Connection Scheduling: Le load-balancer possede une table des connections actives. Il renverra
 # toute nouvelle requete au serveur possedant le moins de connexions actives, dynamiquement.
 # --> lc
 #
 # Weighted Least-Connection Scheduling: Meme idee que l'algorithme precedent, en ayant la possibilite
 # d'attribuer des poids aux serveurs.
 # --> wlc
 #
 # Locality-Based Least-Connection Scheduling: Le load balancer choisit un serveur reel dans un
 # groupe en fonction de l'adresse IP de destination. Il est utilise dans les clusters de cache.
 # --> lblc
 #
 # Locality-Based Least-Connection with Replication scheduling: Idem que le precedent, avec une
 # fonctionnalite supplementaire : si tous les serveurs du groupe sont surcharges ou indisponibles,
 # il choisit un serveur dans un autre groupe pour l'affecter au 1er groupe de serveurs.
 # --> lblcr
 #
 # Destination Hashing Scheduling : Affecte la requete arrivant a un serveur d'un groupe fixe dans
 # une table de hashage, en fonction de l'adresse IP de destination.
 # --> dh
 #
 # Source Hashing Scheduling: Affecte la requete a un serveur reel en fonction de l'adresse source. 
 # --> sh
 vs_algo="wlc"
 # choix de la topologie
 # Network address translation --> -m
 # IP tunneling --> -i
 # Direct Routing request dispatching technique --> -g
 vs_net="-g"
 # l'adresse virtuel ou bien le domaine du load balancer
 vs_ip="192.168.0.1"
 #vs_ip="gentoofr.org"
 # le protocol
 # UDP --> -u
 # TCP --> -t 
 vs_protocol="TCP"
 # le port ou le service du load balancer
 # voir le fichier /etc/services
 vs_serv="http"
 # les IP des serveurs réels
 vs_reals="192.168.0.2+2 192.168.0.3+2" 
 }
 
 
 vs1() {
 vs_algo="wlc"
 vs_net="-g"
 vs_ip="192.168.0.4"
 vs_protocol="UDP"
 vs_serv="ntp"
 vs_reals="192.168.0.2+2"
 }

ensuite éxecutez le script, lancez et installez le service ipvsadm :

# /usr/local/sbin/virtualserver-rules
 * VirtualServer vs0 ...
 * TCP VirtualServer IP: 192.168.0.4:http with wlc algorithm
 * -> TCP RealServer IP: 192.168.0.2:http -g weight: 2
 * -> TCP RealServer IP: 192.168.0.3:http -g weight: 2
 # /etc/init.d/ipvsadm save && /etc/init.d/ipvsadm start
 # rc-update -a ipvsadm default

[warn]Surtout n'oubliez pas dans la configuration d'iptables de laisser le port 80 ouvert sur TCP ! (notre service web)[/warn]

La configuration du load balancer s'arrete là, passons aux serveurs réels.

[titre1]Configuration des serveurs réels[/titre1]

Les serveurs réels ne nécéssitent que l'installation d'iptables dont nous nous servirons pour contrer les problèmes de cache ARP.

Il éxiste d'autres méthodes que vous pourrez trouver sur le site officiel de Linux Virtual Server pour contrer les problèmes de cache ARP, mais j'ai retenu la redirection sous iptables pour sa facilité de mise en oeuvre et sa flexibilité dans le cas d'un changement de load balancer.

L'installation et la configuration d'iptables.

Ensuite, il vous suffit d'ajouter ces lignes au fichier /etc/netfilter-rules.conf :

# configuration load balancing pour contrer le cache arp
 iptables -t nat -A PREROUTING -p TCP -d 192.168.0.1 --dport 80 -j REDIRECT --to-port 80
 # indispensable pour les real servers LVS
 echo 1 > /proc/sys/net/ipv4/ip_forward

et de lancer la commande

# netfilter-rules

Il ne nous reste plus qu'à vérifier que cela fonctionne.

Assurez-vous que sur chacun des serveurs réels vous avez une page d'index différente, prenez votre navigateur préféré, et lancez plusieurs fois l'url http://192.168.0.1 : si vous voyez bien les deux index différents c'est gagné...

Par ailleurs, dans une console sur le load balancer tapez la commande suivante :

# ipvsadm -L
 IP Virtual Server version 1.2.1 (size=1048576)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 TCP 192.168.0.1:http wlc
 -> 192.168.0.2:http Route 2 1 1
 -> 192.168.0.3:http Route 2 2 1

Votre serveur virtuel est donc fonctionnel et vous permet par simple modification dans le fichier /etc/virtualserver-rules.conf (et en éxecutant la commande qui va avec) de rentrer ou sortir des serveurs réels ou de modifier leur poids.

[titre1]Liens[/titre1]

le site officiel du projet Linux Virtual Server