CalimeroTeknik's Blag - informatique

Really used memory on GNU/Linux

2014-06-19T00:16:00+01:00

For a few months now I've been rebuffed, being told “there's no single answer” when asking for a way to calculate the “really used memory” on my GNU/Linux system.

Obviously `free` wasn't giving what I wanted, since I was reaching OOM conditions when it said I was using 14% of my RAM (hint: big tmpfs). Of course, that's if you look at the “±buffers/cache” line. If however you look at the first line, it seems you're always almost out of memory! (hint: disk cache)

Not very satisfying, but today I finally got it right.

Thanks to Munin's memory graphs, which helped me make sense of some variables in /proc/meminfo, so that I knew how to count the used RAM.

On my machine, imagine that Shmem is a few centimeters higher. So it looks a bit more like this:

Turns out it's the free RAM that's easy to count, so the answer is:

Used RAM = MemTotal - (MemFree+Buffers+SReclaimable+Cached-Shmem)

Here's a shell script that does correctly what `free` does wrong:

#!/bin/sh
div=1
unit=K
[ "${1}" = '-m' ] && unit=M && div=1024
[ "${1}" = '-g' ] && unit=G && div=$((1024*1024))
eval "$(sed 's/^\([^:]*\):[[:space:]]*\([0-9]*\).*$/\1=\2/;s/(//;s/)//' /proc/meminfo)"
echo "total $((MemTotal/div))${unit}   used $(( ( MemTotal - (MemFree+Buffers+SReclaimable+Cached-Shmem) ) / div ))${unit}"

Implementation in C is here

And here's a conky patch:

--- conky-1.9.0/src/linux.c.old	2014-06-18 11:05:42.965999512 +0200
+++ conky-1.9.0/src/linux.c	2014-06-18 23:57:32.601326864 +0200
@@ -159,7 +159,8 @@
 	FILE *meminfo_fp;
 	static int rep = 0;
 
-	/* unsigned int a; */
+	unsigned long long shmem, sreclaimable;
+
 	char buf[256];
 
 	info.mem = info.memmax = info.swap = info.swapfree = info.swapmax = info.bufmem =
@@ -186,6 +187,11 @@
 			sscanf(buf, "%*s %llu", &info.buffers);
 		} else if (strncmp(buf, "Cached:", 7) == 0) {
 			sscanf(buf, "%*s %llu", &info.cached);
+
+		} else if (strncmp(buf, "Shmem:", 6) == 0) {
+			sscanf(buf, "%*s %llu", &shmem);
+		} else if (strncmp(buf, "SReclaimable:", 13) == 0) {
+			sscanf(buf, "%*s %llu", &sreclaimable);
 		}
 	}
 
@@ -193,7 +199,16 @@
 	info.memeasyfree = info.memfree;
 	info.swap = info.swapmax - info.swapfree;
 
-	info.bufmem = info.cached + info.buffers;
+	/* Reclaimable memory: does not include shared memory, which is part of cached but unreclaimable.
+	   Includes the reclaimable part of the Slab cache though.
+	   Note: when shared memory is swapped out, shmem decreases and swapfree decreases - we want this.
+	*/
+	info.bufmem = (info.cached - shmem) + info.buffers + sreclaimable;
+
+	/* Now (info.mem - info.bufmem) is the *really used* (aka unreclaimable) memory.
+	   When this value reaches the size of the physical RAM, and swap is full or non-present, OOM happens.
+	   Therefore this is the value that the user wants to monitor, regarding their RAM.
+	*/
 
 	fclose(meminfo_fp);
 	return 0;

Edit: reported, pull-requested, merged.

Here we go! I don't know if a patch for `free` would be envisionable, but probably for such a system tool it wouldn't make sense.

For those wondering: this post is in English because I wanted English-speaking developers and users to be able to read it.

Enregistrer un domaine .eu.org

2013-09-15T00:05:00+01:00

Je dois dire que j’ai galéré un tantinet à comprendre leur affaire, donc voici comment s’y prendre pour enregistrer un nom de domaine .eu.org.

C’est mélodie qui m’a suggéré d’écrire cet article.
Je remercie tout de suite captnfab, qui m’a aidé à comprendre les exigences de eu.org pour les DNS.

Dans la suite de l’article, remplacez bien « ce-que-vous-voulez », « 1.2.3.4 » et « 5.6.7.8 » par votre domaine voulu, l’IP du serveur DNS que j’explique comment configurer, et l’IP de votre serveur où doit pointer le domaine.
Sinon, ça pourrait bien ne pas fonctionner. ^^

Configurer votre serveur DNS

Eh oui !
Ça, je l’ai compris assez rapidement quand j’ai regardé leur formulaire d’inscription : il faut avoir un serveur DNS (bind, par exemple), qui se fera déléguer la gestion de votre ce-que-vous-voulez.eu.org.

Bref donc, installez bind, et créez une entrée dans votre fichier /etc/named.conf :

zone "ce-que-vous-voulez.eu.org" IN {
        type master;
        file "ce-que-vous-voulez.eu.org.zone";
};

Notez que vous n’êtes pas obligé d’appeler le fichier de zone « ce-que-vous-voulez.eu.org.zone », c’est juste moi qui fais comme ça, parce que c’est facile de s’y retrouver.
En revanche, dans la première ligne, « zone "ce-que-vous-voulez.eu.org" IN », c’est très important de bien mettre le nom de votre domaine.
Car c’est ce que vous mettez là, qui remplacera les @ dans le fichier de zone.

Le fichier de zone, donc.
À placer dans le dossier indiqué par la directive « directory » de la section « options » de /etc/named.conf.
Nommez-le bien comme vous l’avez indiqué plus haut, dans la ligne « file "ce-que-vous-voulez.eu.org.zone"; »

$TTL 86400
@       IN      SOA     ns1 votre-email.votre-fai.fr. (
                        2013091401      ; serial number YYMMDDNN
                        28800           ; Refresh
                        7200            ; Retry
                        864000          ; Expire
                        86400           ; Min TTL
                        )

@       IN      NS      ns1
@       IN      NS      ns2
ns1     IN      A       1.2.3.4
ns2     IN      A       1.2.3.4

@       IN      A       5.6.7.8
www     IN      A       5.6.7.8

Ici, 1.2.3.4 est l’IP du serveur qui héberge le serveur DNS que nous sommes en train de configurer.
5.6.7.8 est l’IP du serveur qui hébergera les services que vous voulez rendre accessibles pour le domaine.
Mais ces deux dernières lignes sont fournies à titre d’exemple. C’est de la bête configuration de base de fichier de zone, vous pouvez faire ce que vous voulez à la place.

Le formulaire d’inscription eu.org

C’est là : http://www.eu.org/fr/form_n.html.

Je vous aide pour les champs pas clairs :

Nom de domaine complet : entrez ce cher ce-que-vous-voulez.eu.org (facile).
Notez que si vous êtes, par exemple, une association, ils vous recommandent de mettre quelquechose.asso.eu.org, etc. Voyez la liste.
Contact administratif : allez ici https://eu.org/arf/contact/create/ pour créer un compte sur le site.
La procédure est facile, il y aura un e-mail de validation.
Vous devez ensuite entrer dans le champ "Contact administratif" l’identifiant que vous avez reçu, du genre « KG60-FREE ».
Contact technique : pareil. À vous de voir si vous voulez réutiliser le même compte, ou en créer un deuxième.
Informations techniques : dans Nom1, entrez « ns1.ce-que-vous-voulez.eu.org », et en face dans IP1, « 1.2.3.4 »
Dans Nom2, entrez « ns2.ce-que-vous-voulez.eu.org », et en face dans IP2, « 1.2.3.4 »

Cliquez sur Envoyer.
Vous allez recevoir un e-mail pour confirmer. Comme indiqué, il faudra répondre à cet e-mail (envoyez simplement une réponse vide).

Attendez

En quelques heures, ce-que-vous-voulez.eu.org devrait pointer sur l’IP demandée.
Ils sont un peu lents sur la mise en place de la délégation DNS à votre serveur, mais une fois en place, comme c’est lui qui répond directement, vos modifications du fichier de zone seront prises en charge très vite.

N’oubliez pas d'augmenter le serial quand vous mettez à jour le fichier de zone, on ne le répète jamais assez !

Le nom Linux

2011-07-07T11:20:00+01:00

J'entends souvent « Les logiciels libres ? Tu veux dire, LINUX ? »
Et autres expressions « Linux c'est compliqué » ou encore « Le bureau Linux », flagrantes de cette confusion.

Si on comparait une distribution de bureau avec une voiture…
Linux serait le moteur, GNU le châssis, X.org le volant et les pédales, et l'environnement de bureau serait l'habitacle et la carrosserie.

Alors arrêtez de me dire linux à tout bout de champ ! Appelez un chat un chat !
Sinon, je vais vous expliquer que mon véhicule est un X20XEV.

Sauf que ça, c'est le modèle du moteur. Ça ne vous dit pas s'il est monté dans une voiture, un camion, un trike ou (même si c'est un peu gros pour ça) une moto.
Bref, ça ne vous dit rien d'intéressant, c'est déplacé, c'est nul, je passe pour un snob.

Alors s'il vous plaît, quand vous dites “linux”, assurez-vous que vous parlez bien de linux. Évitez d'irriter le monde…

J'entends souvent, « Linux c'est compliqué ».
C'est totalement vrai. Moi-même, je ne sais pas (totalement) comment ça marche.

Mais je n'en ai pas besoin ! On s'en contrefiche !
Ce qu'on utilise (surtout les utilisateurs se considérant comme peu avancés qui disent ça), c'est un environnement de bureau.

Je pourrais vous remplacer Linux par freeBSD (il n'y aurait plus *du tout* de linux dans votre installation, mettons, d'Ubuntu), que vous n'y verriez que du feu : GNOME serait toujours pareil.

Et vous continueriez à dire “Linux”, à propos d'un truc qui ne l'est pas. Même pas un tout petit peu.

PS : le prochain qui me demande de lui installer linux, je suivrai ses instructions méthodiquement. J'installerai Linux, uniquement.

Article publié sous licence WTFPL.

Le fonctionnement des live

2011-04-07T22:10:00+01:00

Vous ne vous êtes jamais demandé comment fonctionnait un live-cd ?
Qu'est-ce qui se cachait derrière ce système qui parvient à tourner sur un CD où il ne peut pas écrire, et à stocker ses changements en mémoire vive ?

Au risque de vous décevoir, c'est très simple !

Si vous n'avez pas encore connaissance du fonctionnement général du boot d'un système avec initramfs, je vous conseille la lecture de cet article.
Ce n'est pas indispensable, mais aidera pour la suite.

Le principe est le même sur toutes les distributions, ça ne s'arrête pas à Arch. Seuls les détails de mise en forme varient.

Au début, tout se passe comme d'habitude. Tout comme votre disque dur, le CD contient un chargeur de démarrage, un noyau et un initramfs (directement dans l'iso).
Le chargeur copie le noyau et son initramfs en mémoire vive, et passe la main au noyau.
Celui-ci, comme d'habitude, trouve son initramfs, l'extrait et exécute le fichier /init qui se trouve dedans.

C'est là que le scénario diffère du boot sur disque dur : le script /init (ou exécutable binaire, mais c'est plus pratique de faire un script avec le shell pour le lancer juste à coté) ne fait pas la même chose.

Dans le cas d'un boot sur disque dur, /init charge les modules pour trouver la partition (passée en argument au noyau avec root=), la monte dans /new_root et switch_root (chroot) dedans en y lançant /sbin/init.

Dans le cas d'un live, on va, de même, trouver la partition voulue (par son label, couramment), puis monter l'archive squashfs qui contient tous les fichiers de la racine (la partition racine, si vous voulez) dans /ro_branch.

Montage de l'iso : mount /dev/disk/by-label/mon-live /iso
Montage du squashfs : mount -o loop /iso/racine.sqfs /ro_branch

Ce n'est pas fini : on ne peut pas déjà booter sur la racine en lecture seule !
Rien que le fait de lancer X nécessite de créer des petits fichiers (sockets, verrous) dans le système de fichiers.

On monte donc un système de fichiers tmpfs (en RAM) dans /rw_branch : mount -t tmpfs none /rw_branch

Et maintenant ?
On va utiliser une petite merveille développée spécialement pour cet usage : un « unioning filesystem ». Par exemple UnionFS ou AUFS.
Comment ça marche ? L'idée est de fusionner plusieurs dossiers (appelés branches) en un seul (la destination).
En lecture, il n'y a qu'à gérer les priorités : l'ordre dans lequel on a monté nos dossiers sur le dossier de destination détermine lequel passe en premier si un fichier est présent dans plusieurs branches.

En écriture (si on modifie/crée un fichier dans notre fameux dossier “assemblé”, où doit-il aller ?), on a résolu le problème simplement : on a désigné au départ l'un des dossiers comme LA branche lecture-écriture de l'union.

On va donc d'abord monter /rw_branch comme branche rw (read-write, lecture-écriture) de /new_root : mount -t aufs -o dirs=/rw_branch=rw none /new_root

Ensuite, on rajoute /ro_branch où est montée l'image squashfs du CD comme branche ro (read-only, lecture seule) de /new_root :
mount -t aufs -o remount,append:/ro_branch=ro none /new_root

Et maintenant, on peut switch_root (c'est à dire chroot) dans /new_root pour y lancer /sbin/init !

Le système est comme sur un disque dur.
La seule différence, c'est que les fichiers modifiés iront dans le tmpfs, pas dans l'iso (impossible : lecture seule !)

J'en entends déjà me dire “et quand on supprime des fichiers ?”
Eh bien, AUFS crée un fichier .wh.nomdufichier dans sa branche rw (ici /rw_branch) pour se souvenir que ce fichier ne doit pas apparaître dans l'union. (évidemment, on ne peut pas le supprimer du CD…)

Si vous êtes intéressé par AUFS, sachez que ses fonctions sont bien plus étendues que ça…Voyez son site. :)

Article publié sous licence GFDL.

Nettoyer un écran plat

2010-05-09T16:16:00+01:00

Bon, c'est beau c'est sympa les écrans plats, mais quand un visiteur malappris a bien postillonné dessus ou posé ses sales doigts dessus, c'est moins beau.

J'ai la méthode !

C'est très simple : prenez deux morceaux de papier toilette, humectez-en un à l'eau. (mouillé lègèrement, pas dégoulinant)

Essuyez doucement (en tournant) une petite zone sale de l'écran avec le papier humide et frottez immédiatement et vite cette zone (en tournant si possible), sans appuyer, avec le papier sec, jusqu'à ce qu'elle soit sèche.
S'il reste de la grosse saleté, recommencez.

Pour fignoler (si le frottage a laissé quelques traces), on souffle doucement sur l'écran pour y déposer un peu de buée et on frotte immédiatement, vite et sans appuyer, avec le papier sec.

Après ça, l'écran est propre et net, comme quand il sort de l'emballage, neuf.

La structure du contenu de votre disque dur

2010-04-29T13:28:00+01:00

Partitionnement, MBR, bootloader, tout ce bataclan rapport à votre disque dur (ou autres périphériques bloc, mémoires flash…) vous laisse parfois perplexe ?

Clarifions tout cela.

Cette description est valable uniquement sur les ordinateurs compatible IBM PC — soyons précis —, ça en fait tout de même un bon paquet : les "PC" du commerce, et plein d'autres appareils qui en sont, mais ne sont pas officiellement décrits comme tels.

Je vous ai fait un petit schéma bleu pour suivre les explications ci-dessous.

Ceux qui n'aiment pas le bleu, vous ferez avec. ☺

Le contenu du disque (pas les fichiers hein, le contenu brut) est géré par le BIOS. Le BIOS est la puce de la carte mère qui démarre le PC jusqu'à ce que le bootloader puis l'OS prenne le relais.
Le BIOS le découpe en « secteurs » : des parts de 512 octets. C'est comme ça, vous ne pouvez pas faire autrement, c'est écrit dans cette puce sur la carte mère.

● Le premier secteur, le MBR, est très important : il contient le bootloader, et la table de partitions.

Ses 446 premiers octets servent à mettre un chargeur de démarrage que doit lancer le BIOS. Par exemple GRUB, Lilo, ou encore un programme d'amorçage (datant de DOS), qui lance le bootloader du premier secteur de la première partition qui est marquée bootable. (voir flags plus bas)

Ensuite, 64 octets servent pour la table de partitions. On ne peut avoir que 4 partitions, avec 64 pauvres octets.
On a donc 4 partitions appelées primaires.
Elles peuvent avoir un type, et divers « flags », dont le flag "bootable" : il sert à demander au chargeur de démarrage (si celui-ci en tient compte), de lancer le bootloader situé dans le premier secteur de la partition (aussi appelé secteur de démarrage).
Une partition est décrite par son début et sa taille, en 16 octets on ne peut pas faire plus !

Suivent deux octets « magiques », qui disent au BIOS qu'il peut booter ce disque. Le compte est bon, on a 512 octets.

● Les secteurs qui suivent contiennent généralement des systèmes de fichiers (ext, reiserfs, zfs, xfs, jfs, vfat, …), dans les zones décrites par la table de partitions, ces zones qui sont les partitions.
On peut caser un chargeur de démarrage dans leurs 512 premiers octets.

Il existe un type spécial de partition primaire : la partition étendue. (type 05 pour info)
Elle peut contenir des partitions secondaires (aussi appelées logiques), autant qu'on veut, c'est à dire d'autres partitions !
Comme on ne pouvait en faire que 4 primaires, il a bien fallu trouver un truc pour ceux qui en voulaient davantage.
Le nombre de partitions possible est illimité, car les EBR (équivalent du MBR en début de partition étendue) appellent le suivant, etc...

Le contenu d'une partition, qui est généralement un système de fichiers, est une archive, finalement. Comme les .tar : un bloc, une arborescence dedans. (sauf que la partition a une taille fixe et de l'espace libre, pas une archive)

Un détail croustillant pour la fin : vous pouvez créer une partition étendue dans une partition étendue, et ainsi de suite.
Ça ne sert à rien bien sûr, puisque vous pouviez créer autant de partitions que voulu dans la première partition étendue. De plus, ça ne sera pas reconnu par beaucoup de systèmes…

Bon, votre disque dur doit vous paraître tout aussi fouillis qu'avant, mais maintenant, vous savez pourquoi et comment !

Article publié sous licence GFDL.