Mot-clé - infogérance

Fil des billets

27août 2009

myisamchk error Not enough memory for blob

mysql_logo.gif
Une nouvelle erreur apparu sur une table corrompu suite à un crash Mysql pour manque de RAM (Out of memory).

Tout d'abord un petit rappel sur la façon qu'utilise le moteur MyISAM pour la gestion des tables :

  1. wordpress_postmeta.MYD - la table où tous les enregistrements sont stockés.
  2. wordpress_postmeta.MYI - l'index pour les tables.
  3. wordpress_postmeta.frm - le schéma de la table.


Voici l' erreur rencontrée lors de la réparation de la table :

srv1234 ~ # myisamchk -r /var/lib/mysql/wordpress/wordpress_postmeta.MYI
 
- recovering (with sort) MyISAM-table '/var/lib/mysql/wordpress/wordpress_postmeta.MYI'
Data records: 31769
- Fixing index 1
Wrong block with wrong total length starting at 94358749
myisamchk: error: Not enough memory for blob at 94358800
MyISAM-table '/var/lib/mysql/wordpress/wordpress_postmeta.MYI' is not fixed because of errors

Cela se produit parce que l'entrée de l'index invalide indique que la taille d'un champ BLOB est plus grande que celle spécifié entre parenthèse. La correction a été assez simple, il suffit d'ajouter l'option --max-record-length=0.

srv1234 ~ # myisamchk --max-record-length=0 -r /var/lib/mysql/wordpress/wordpress_postmeta.MYI

Dans le cas présent la valeur --max-record-length=0 permet de ne définir aucune limitation sur la taille du champ BLOB.

20août 2009

Suite de la présentation du datacenter Equinix

Bonjour,

Suite à mon précédent billet sur présentation du Datacenter Equinix, on savait déjà que chez Equinix c'était un endroit dont il faisait bon vivre ...

Après l'incident électrique causé par une erreur humaine Panne Electrique du 02/07/2009, cette fois ci l'incident a impacté les climatisations engendrant au pic de l'incident une température relevée de 41° au 2nd étage, il s'agit donc d'une nuit passée au Datacenter à gérer les pannes provoquées (Pour une fois le parking était complet durant la nuit) ...

Temperature critique

Si on part du principe qu'on choisi un Datacenter pour l'électricité, la climatisation et la sécurité, il ne reste que la sécurité pour laquelle aucun incident majeur n'est à signalé. On verra donc ce qui se passera dans les semaines et/ou mois à l'avenir pour ce point (pourquoi pas un salarié d'Equinix qui pète les plombs et déclenche un incendie ....)

Notre "communiqué de presse" incluant tout les détails de l'événement de cette nuit est disponible à l'adresse suivante : Incident de climatisation à Equinix St-Denis du 19/08/09

22juil. 2009

Xen installation de windows avec support VNC

Xen_logo.png
Je dispose d'un processeur supportant la virtualisation matérielle, je vais donc m'atteler à l'utilisation un système Windows en tant que DomU Xen (Je passe volontairement les pré-requis CPU/BIOS). Pour ce faire je vais devoir activer le support VNC pour Xen, le Dom0 Xen ne disposant que d'un accès SSH.

De nombreux how to 's existent sur la toile néanmoins ces derniers sont rarement à jour, le use flag "vnc" ayant par exemple disparu sous Gentoo.

Enfait rien de bien spécial à faire, le support est inclus nativement, voici la configuration que j'ai adopté :

Informations systèmes :

dom0 ~ # equery l xen
[ Searching for package 'xen' in all categories among: ]
 * installed packages
[I--] [ ~] app-emulation/xen-3.3.1-r1 (0)
[I--] [ ~] app-emulation/xen-tools-3.3.1 (0)
[I--] [M~] sys-kernel/xen-sources-2.6.21 (2.6.21)
[I--] [ ~] sys-kernel/xen-sources-2.6.30-r2 (2.6.30-r2)

Fichier de configuration DomU : /etc/xen/win2k3

import os, re
arch = os.uname()[4]
if re.search('64', arch):
    arch_libdir = 'lib64'
else:
    arch_libdir = 'lib'
kernel = "/usr/lib/xen/boot/hvmloader"
builder='hvm'
memory = 256
name = "win2k3"
vif = [ 'type=ioemu, bridge=xenbr0' ]
disk = [ 'phy:/dev/500/windows,ioemu:hda,w','file:/root/win2003.iso,hdc:cdrom,r' ]
boot = 'cd'
device_model = '/usr/' + arch_libdir + '/xen/bin/qemu-dm'
vnc=1
vnclisten="IP_Dom0"
vncdisplay=1
vncunused=0
keymap='fr'
usb='1'
usbdevice='tablet'

Fichier de configuration Dom0 : /etc/xen/xend-config.sxp

(xend-relocation-server yes)
(xend-relocation-hosts-allow '^localhost$ ^localhost\\.localdomain$')
(network-script network-bridge)
(vif-script vif-bridge)
(dom0-min-mem 196)
(enable-dom0-ballooning yes)
(dom0-cpus 0)
(vnc-listen '0.0.0.0')
(vncpasswd 'azerty')

L'accès au serveur crée sur le DomU Xen se fera au travers de VNC le temps de l'installation, le port à utiliser sera alors 5900 + vncdisplay soit dans le cas présent IP_Dom0:5901

Il est à noter que le lancement des DomU Xen sous Windows posait des problèmes lors du 2nd boot (après l'étape de formatage et de copie des fichiers d'installation), un upgrade vers le kernel 2.6.30-r2 a pour ma part résolu le problème.

27mai 2009

dev-util/subversion-1.6.2 Cannot allocate memory

Me voila confronté à une superbe erreur avec ma Gentoo toute neuve :)

/var/tmp/portage/dev-util/subversion-1.6.2/work/subversion-1.6.2/libtool: line 6628: /bin/sed: Cannot allocate memory
libtool: install: warning: `../../subversion/libsvn_subr/libsvn_subr-1.la' has not been installed in `/usr/lib'
libsandbox:  max_envp_len too big!
/var/tmp/portage/dev-util/subversion-1.6.2/work/subversion-1.6.2/libtool: line 6669: /bin/sed: Cannot allocate memory
/usr/bin/install -c  /var/tmp/portage/dev-util/subversion-1.6.2/image//usr/bin/svnadmin
libsandbox:  max_envp_len too big!
/var/tmp/portage/dev-util/subversion-1.6.2/work/subversion-1.6.2/libtool: line 6691: /usr/bin/install: Cannot allocate memory
make: *** [install-bin] Error 126
 * 
 * ERROR: dev-util/subversion-1.6.2 failed.
 * Call stack:
 *               ebuild.sh, line   49:  Called src_install
 *             environment, line 5883:  Called die
 * The specific snippet of code:
 *       emake -j1 DESTDIR="${D}" local-install || die "Installation of core of Subversion failed";
 *  The die message:
 *   Installation of core of Subversion failed

Tout d'abord je vérifie que ma version de sed est bien à jour, mais c'est le cas.

srv1 tmp #  eix sys-apps/sed
[I] sys-apps/sed
     Available versions:  4.1.5-r1 ~4.2 {acl nls static}
     Installed versions:  4.1.5-r1(14:31:27 08/06/08)(nls -static)
     Homepage:            http://sed.sourceforge.net/
     Description:         Super-useful stream editor

Puis l'erreur libsandbox attire mon attention, je me décide de mettre à jour sandbox qui en avait besoin.

srv1 tmp # emerge -av sandbox
 
These are the packages that would be merged, in order:
 
Calculating dependencies... done!
[ebuild     U ] app-misc/pax-utils-0.1.19 [0.1.17] USE="-caps" 76 kB
[ebuild     U ] sys-apps/sandbox-1.6-r2 [1.2.18.1-r2] 300 kB

Et voila le problème est résolu, probablement un oubli dans l'ebuild qu'il me reste à remonter ;)

11avr. 2009

Xen creation d'un reseau prive via un bridge

Xen_logo.png
Depuis le début, j'utilise les adresses IPs publique des DomU Xen pour les communications internes comme par exemple Mysql <=> Web.

Je me suis donc enfin penché sur la question de la mise en place d'un réseau privé dédié et facilement déployable entre plusieurs serveurs Dom0.

Voici pour rappel la configuration par défaut en bridge :

dom0: ----------------- bridge -> real eth0 -> the network
                           |
domU: fake eth0 -> vifN.0 -+

En plus du bridge par défaut, le but est de disposer de cette configuration pour eth1 :

dom0: ----------------- bridge -> real eth1 -> Not connect
                           |
domU: fake eth1 -> vifN.1 -+

Ceci me permettra donc en cas d'ajout d'un nouveau Dom0 Xen, de raccorder les interfaces eth1 de mes Dom0 et de laisser mes DomU communiquer entre eux comme si de rien n'était, mais bon je n'en suis pas encore là ;)

Voici donc comment procéder pour la création d'un bridge, c'est très simple :

1) On crée le bridge :

brctl addbr private

2) On ajoute une interface au bridge :

brctl addif private eth1

3) Et enfin on monte cette interface avec une IP :

ifconfig private 192.168.0.1/24 up

Il ne nous reste qu'a configurer le DomU de manière classique et la communication Dom0 <=> DomU ou DomU <=> DomU devrait se faire :)

Cette configuration est par contre volatile, au redémarrage elle sera alors perdu je vous conseil donc de mettre en place un script dans les rc.d ou de modifier le script de démarrage de Xen pour prendre en compte ces commandes au lancement.

10avr. 2009

Fixing broken portage installations

J'ennoncais dans mon précédent article l'utilisation d'un portage recovery, permettant de continuer à utiliser la commande en cas de problème.

Le script get_portage_back.sh automatisant la mise en place du portage recovery disponible sur la page officielle Gentoo Manually fixing broken portage installations redirigeant à présent vers une erreur 404, voici la source de ce script :

#!/bin/bash
 
python_version=$(python -c 'import sys; print "%02d%02d" % sys.version_info[:2]')
unpack_dir=/var/tmp/portage-unpack
 
die() {
	echo $@
	exit 1
}
 
case "$python_version" in
	0202)
		portage_version=2.0.51.22
		portage_dir=/usr/lib/portage
		;;
	0203)
		portage_version=2.1.1
		portage_dir=/usr/lib/portage
		;;
	0204|0205)
		portage_version=2.1.4
		portage_dir=${HOME}|>/portage-recover
		;;
	0201|0200)
		die "your python version is too old"
		;;
	*)
		die "unknown python version: $python_version"
		;;
esac
 
echo ">>> Found python version ${python_version}, using portage-${portage_version}"
 
tarball="portage-${portage_version}.tar.bz2"
mypath=$(readlink -f $0)
[ -z "${DISTDIR}" ] && DISTDIR=${mypath%/*/*}
mkdir -p "$portage_dir" "$unpack_dir"
 
[ -d "$DISTDIR" ] || DISTDIR=/var/tmp
 
wget -O "${DISTDIR}/${tarball}" "http://distfiles.gentoo.org/distfiles/${tarball}"
 
tar xfj "${DISTDIR}/${tarball}" -C "$unpack_dir" 
unpack_dir=${unpack_dir}|>/portage-${portage_version}|>
 
cp -r "${unpack_dir}"/{pym,bin} "${portage_dir}/"
if [ ! -e /etc/make.globals ]; then
	echo ">>> Restoring /etc/make.globals"
	cp "${unpack_dir}/cnf/make.globals" /etc
fi
 
if [ -e "${unpack_dir}/cnf/sets.conf" -a ! -e /usr/share/portage/config/sets.conf ]; then
	echo ">>> Restoring /usr/share/portage/config/sets.conf"
	mkdir -p /usr/share/portage/config/
	cp -r "${unpack_dir}/cnf/sets.conf" /usr/share/portage/config/
fi
 
echo ">>> Testing if rescue portage works and trying to remerge portage"
export PYTHONPATH="${portage_dir}/pym" 
export PATH="${portage_dir}/bin:${PATH}"
emerge --version > /dev/null && emerge --oneshot portage
if [ "$?" -ne 0 ]; then
	echo "!!! Portage was not remerged correctly"
fi
if [ "${portage_dir}" != /usr/lib/portage ]; then
	echo ">>> The rescue portage has been installed in \$HOME/portage-recover. You can access it"
	echo "    with the following command:"
	echo "    PYTHONPATH=${portage_dir}/pym PATH="${portage_dir}|>/bin:\$PATH" emerge"
	echo "    Of course you can also remove that directory if you've sucessfully remerged portage"
	echo "    and don't need the rescue version anymore."
fi
echo ">>> Cleaning up"
rm -rf "$(dirname ${unpack_dir})"



Script : get_portage_back.sh

10avr. 2009

Emerge IOError: [Errno 21] Is a directory [sys-apps/portage]

J'ai procédé à un upgrade apparemment sans problème de sys-apps/portage-2.1.4.5 vers sys-apps/portage-2.1.6.7.

Finalement au bout de quelques jours j'ai eu besoin d'installer et de mettre à jour un paquet et c'est là que tout ce complique, la fameuse erreur IOError: [Errno 21] Is a directory est apparu.

raga ~ # emerge -av tcpdump
 
These are the packages that would be merged, in order:
 
Calculating dependencies
Traceback (most recent call last):
File "/usr/bin/emerge", line 40, in <module>
retval = _emerge.emerge_main()
File "//usr/lib/portage/pym/_emerge/__init__.py", line 14670, in emerge_main
myopts, myaction, myfiles, spinner)
File "//usr/lib/portage/pym/_emerge/__init__.py", line 13587, in action_build
mydepgraph = depgraph(settings, trees, myopts, myparams, spinner)
File "//usr/lib/portage/pym/_emerge/__init__.py", line 4373, in __init__
pkg_cache=self._pkg_cache)
File "//usr/lib/portage/pym/_emerge/__init__.py", line 1074, in __init__
real_dbapi.flush_cache()
File "//usr/lib/portage/pym/portage/dbapi/vartree.py", line 368, in flush_cache
self._owners.populate() # index any unindexed contents
File "//usr/lib/portage/pym/portage/dbapi/vartree.py", line 748, in populate
self._populate()
File "//usr/lib/portage/pym/portage/dbapi/vartree.py", line 774, in _populate
owners_cache.add(cpv)
File "//usr/lib/portage/pym/portage/dbapi/vartree.py", line 698, in add
contents = self._vardb._dblink(cpv).getcontents()
File "//usr/lib/portage/pym/portage/dbapi/vartree.py", line 1162, in getcontents
myc = open(contents_file,"r")
IOError: [Errno 21] Is a directory

Cette erreur ne donnant rien de concret sur les moteurs de recherches, je me suis tourné vers le chan officiel Gentoo, un problème de compilation avec python a été évoqué, néanmoins je reste sceptique à cette hypothèse, en effet le portage recover en version 2.1.4.5 fonctionne parfaitement. Cependant en l'utilisant je reste limité à l'utilisation de paquet dans la branche EAPI=1.

Je me suis donc intéressé de plus près au fameux dossier /var/db/pkg contenant toutes les informations sur les paquets installés nécessaires à portage. Après suppression de ce dossier (un backup a été effectué), emerge a l'air de fonctionner néanmoins je ne valide pas l'installation du paquet.

En procédant par élimination (d'où l'intérêt du backup), je remonte jusqu'au dossier /var/db/pkg/sys-libs/timezone-data-2006a, après suppression de ce dernier et une réinstallation de sys-libs/timezone-data-2009b, tout fonctionne parfaitement.

30mars 2009

Centralisation des sessions Magento en cluster

magento_logo.jpg
Après avoir effectué quelques recherches sur la centralisation des sessions Magento en cluster, 2 modes ont retenu mon attention.

Le premier mode avec une centralisation par base de données, et le second via un serveur Memcached.

Voici pour les développeurs la syntaxe à adopter pour l'utilisation d'un serveur Memcached via Magento :

<session_save><![CDATA[memcache]]></session_save>
 <session_save_path><![CDATA[tcp://XXX.XXX.XXX.XXX:11211?persistent=1&weight=2&timeout=10&retry_interval=10]]></session_save_path>
 <session_cache_limiter><![CDATA[]]></session_cache_limiter>
 <cache>
     <backend>memcached</backend>
     <memcached>
  <servers>
      <server>
   <host><![CDATA[XXX.XXX.XXX.XXX]]></host>
   <port><![CDATA[11211]]></port>
   <persistent><![CDATA[0]]></persistent>

Je ne suis pas du tout développeur donc si vous avez des améliorations, des conseils n'hésitez pas ;) Par ailleurs je rappel que Magento est une vraie usine à gaz et qu'il existe sur la toile une foule de conseils afin de l'optimiser.

Lien :

Session-cache-limiter

26mars 2009

Solutions Linux 2009

Information de dernière minute, nous ne devions pas être présent au salon en tant qu'exposant mais finalement nous avons en dernière minute changé d'avis.

SD-France sera donc cette année encore de la partie.

Je vous donne donc rendez vous au salon Solutions Linux qui aura lieu le 31 mars, 1er et 2 avril 2009 à la Porte de Versailles, nous exposerons au stand A10 situé à l'entrée du salon ainsi vous n'aurez aucune excuses pour ne pas passer nous voir ;)

Demandez donc votre badge dès maintenant : Pré-enregistrement

23févr. 2009

Présentation du datacenter Equinix

Bonjour,

Une partie de nos serveurs dédiés sont situés sur le datacenter Equinix Saint-Denis mais régulièrement on me pose la question suivante :

Où sont hébergés vos serveurs ?

Je vous propose donc de consulter ce lien détaillant de manière assez brèves nos baies présentes sur le Datacenter Equinix Saint-Denis.

Il est à noter que nous disposons d'un total de 3 suites privatives, ces photos proviennent de notre dernière suite dans laquelle il ne reste que peu de disponibilité au vu des tarifs proposés.

N'hésitez donc pas à me contacter si vous désirez une offre d'hébergement (U, 1/4 de baie, 1/2 Baie, Baie).

Lien : Baie SD-France Datacenter Equinix St-Denis

- page 3 de 4 -