Autoblog de Mitsukarenai

Ce site n'est pas le site officiel de Mitsukarenai
C'est un blog automatisé qui réplique les articles de suumitsu.eu

HTML5: petit test de compression vidéo

Fri, 28 Dec 2018 18:45:50 +0000 - (source)

Pour le prochain standard vidéo NETVC, l’un des principaux candidats proposés à l’IETF est le format AV1, développé par le consortium AOMedia.

AV1 profite de nombreuses avancées du VP10 (Google), Daala (Xiph, Mozilla) et Thor (Cisco). Parmi ses contributeurs on peut citer quelques poids lourds du multimédia en ligne tels que Facebook, Microsoft, Netflix, Amazon Video, ainsi que des fabricants de puces tels qu’Intel, AMD, ARM, Broadcom, … Last but not least: l’association VideoLAN, développant notamment le lecteur multimédia VLC (et dont je recommande cet article par Jean-Baptiste Kempf, président de l’association)

AV1 fait son petit bonhomme de chemin, l’implémentation principale version 1.0 utilisant désormais le bitstream fixé, et le développement se focalise à présent sur l’optimisation de l’encodage/décodage logiciel, tandis que les premières puces de décodage matériel pourraient sortir en 2019.

Les premiers tests objectifs et subjectifs placent AV1 directement face (ou au dessus) à son concurrent à brevets HEVC, et distance les communs VP9 et H.264 AVC.

Côté navigateurs, AV1 peut être lu avec Chrome 70+ ou Firefox 64+, et VLC à partir de 3.0.5.

Bref, je voulais jeter un coup d’œil à ses performances.

Protocole technique

Pour ce test subjectif à la louche, j’ai utilisé:

La vidéo « Sundance in 4k (Ultra HD)« , récupérée depuis YouTube selon la meilleure qualité disponible (le code 313: vidéo seule au format VP9 résolution 3840×2160 pixels).

De cette source, j’en extrais un dixième de seconde à la position 20s avec ffmpeg, en utilisant en format de sortie la compression sans pertes ffv1:

ffmpeg -ss 00:00:20 -i Sundance\ in\ 4k\ \(Ultra\ HD\)-4pSzhZ76GdM.webm -t 0.1 -c:v ffv1 zsource.mkv

Cet extrait, ffmpeg en compose 3 frames. Je sélectionne la 2e frame. (ps: pour toutes les images ci-après j’utilise la compression sans pertes PNG)

Cette scène me semble pas mal pour mon comparatif, car elle associe une grande variété de nuances de couleurs, et la caméra effectue un mouvement vers la gauche. Je cible une zone en particulier avec Imagemagick:

convert zz0002.png -crop 700x500+1200+1200  z.png

Cette zone montre en premier plan des branches d’arbres que je prédis très difficiles à compresser, en second plan des cimes d’arbres aux couleurs variées, et un arrière plan plus flou en dégradés de couleurs.

J’effectue un premier test avec les différents codecs, le but étant de parvenir à un poids de fichier très proche. J’adapte alors le paramètre du bitrate jusqu’à obtenir des poids assez homogènes.

Si j’y suis parvenu avec tous les autres, x265 m’a posé soucis: quel que soit le bitrate exigé, le poids de fichier demeure 93.7 ko (contre ~45 ko pour mon étalon). J’inclurais son résultat tout à la fin à titre d’info, mais il n’est pas comparable aux autres.

Theora · libtheora

Premier sur le ring, le premier format sans brevets supporté par Firefox pour le HTML5, développé par Xiph.

ffmpeg -i zsource.mkv -b:v 100k -c:v libtheora z_theora.mkv

H.264 AVC · libx264

Face au toujours immensément populaire H.264, du MPEG-LA ?

ffmpeg -i zsource.mkv -b:v 750k -c:v libx264 z_x264.mkv

VP8 · libvpx

Le second format sans brevets VP8, développé par On2/Google

ffmpeg -i zsource.mkv -b:v 100k -c:v libvpx z_vp8.mkv

VP9 · libvpx-vp9

Son successeur VP9, développé par Google

ffmpeg -i zsource.mkv -b:v 1480k -c:v libvpx-vp9 z_vp9.mkv

AV1 · libaom-av1

Et AV1. J’insiste: l’encodeur est loin d’être optimisé, il a fallu près de 5 minutes de traitement là où les autres codecs ont bouclé en moins d’une seconde.

ffmpeg -i zsource.mkv -c:v libaom-av1 -b:v 1460k -strict experimental -threads 8 z_av1.mkv

Et donc HEVC qui a eu droit au double bitrate parce que réticent à mes paramètres…

ffmpeg -i zsource.mkv -b:v 60k -c:v libx265 z_x265.mkv

VP9 vs AV1

Faut vraiment y aller à la loupe, mais AV1 fait légèrement mieux que VP9 🙂

Espérons que les codecs AV1 seront sensiblement optimisés !

Fichiers encodés


(fini!) Appel: recherche de fichiers rares

Sun, 19 Aug 2018 11:01:46 +0000 - (source)

update 17 octobre 2018:  j’ai pu récupérer tous les fichiers manquants!


Peut-être que d’ancien·nes habitué·es de Fansub Streaming liront ceci, alors je lance une bouteille à la mer..

Alors voilà: en voulant récupérer mes archives depuis hubiC, j’ai droit à une vilaine surprise: de nombreux fichiers retournent une erreur « Object Not Found » ou « IO Exception in Server FileStorage Communication ».

Alors oui hubiC repose sur des systèmes de fichiers poussés dans leurs derniers retranchements, mais voilà après plus d’un mois ma boucle rclone n’a pu récupérer que de rares fichiers, et tourne en vain depuis. Le support hubiC ? Mailé il y a 15 jours, pas de réponse. Bref.

J’ai pu récupérer la plupart des fichiers parce qu’ils étaient encore trouvable par BitTorrent, XDCC, HTTP. Mais il m’en reste pour 7,2 Go de fichiers coincés sur hubiC et introuvables, et ça me crève le cœur car ils ont une valeur nostalgique/sentimentale.

Si vous avez un ou plusieurs de ces fichiers dans vos archives, merci de me contacter au plus vite par tous moyens !

De plus, si comme moi vous aviez religieusement téléchargé les émissions de Nolife depuis Noco en utilisant youtube-dl, voilà ce qui me manque 🙁

——————

Même si vous n’avez qu’un seul de ces fichiers, foncez me contacter 😢

Update: récupéré de hubiC

Update: merci à Bouzig !

Update:  Merci à 0xF4F et aux seeders !

Update: merci aux anonymes !


Désactiver le chiffrement Android

Wed, 20 Dec 2017 12:49:33 +0000 - (source)

Contexte: en tentant de passer de LineageOS à LineageOS+microG, je me suis foiré·e: le système a juste été wipé et les GApps étaient encore là (Open GApps-Pico). Mon téléphone est débloqué, rooté, ADB activé, et utilise TWRP comme recovery (bref, il a déjà subi mille outrages depuis sa sortie d’usine il y a moins de 2 mois, et cet article peut ne pas du tout être utile à votre situation).

Or à la config les GApps sont un peu traîtres, et peuvent utiliser votre schéma/code de déverrouillage comme schéma/code de chiffrement. C’est pas vraiment ce que je voulais. Et après quand j’ai enfin pu proprement effacer tout le système et installer LineageOS+microG pour réduire au maximum les dépendances à Google, bah le chiffrement est encore là et ne peut être désactivé dans Paramètres > Sécurité.

Étape 1: désactiver tout schéma/code de verrouillage

Je ne l’avais pas fait et du coup après retrait du chiffrement le système perd la correspondance et refuse de déverrouiller votre téléphone; dans ce cas j’ai pu supprimer « à la dure » le verrouillage en démarrant sur TWRP et supprimant les fichiers suivants dans /data/system:

Source de l’astuce

Donc vaut mieux proprement retirer tout code de verrouillage avant de passer à la suite:  Paramètres > Sécurité > « aucun »

Étape 2: faire une sauvegarde

J’ai redémarré le téléphone sur le recovery TWRP, entré le code de déchiffrement et fait un backup des partitions « system » et « data » vers la carte MicroSD (bien choisir la destination de sauvegarde « sdcard », pas internal storage). Bah oui j’ai vraiment pas envie de devoir réinstaller mon système et toutes les apps, tout reconfigurer etc. TWRP fait une copie « à la dd » donc ça peut mettre quelques minutes.

Étape 3: supprimer la partition chiffrée

(source de l’astuce)

J’ai redémarré le téléphone sur le recovery TWRP, mais sans entrer le code de déchiffrement (appuyer sur « cancel » à la demande du code de déchiffrement). Ainsi TWRP travaille sur les partitions principales, et non les volumes chiffrés LUKS-dmcrypt.

Ensuite:  Wipe > Advanced, cocher « data », et procéder à la suppression de la partition.

Redémarrer le téléphone, sur le recovery TWRP.

Étape 4: restaurer la sauvegarde

Déjà bonne nouvelle: TWRP ne demande plus de code de déchiffrement, confirmant que l’en-tête LUKS-dmcrypt n’est plus présent. Ni aucune data.

Aller dans Restore, sélectionner la sauvegarde précédemment faite sur la carte MicroSD, et patienter les quelques minutes nécessaires à la restauration de partition, redémarrer, et voilà: plus de chiffrement, aucune perte de données 🙂


Régimes, économies et gouvernements du futur

Thu, 26 Oct 2017 13:36:49 +0000 - (source)

L’une des réponses de Stephen Hawking sur son AMA Reddit d’il y a 2 ans qui me travaille beaucoup dernièrement est celle-ci:

If machines produce everything we need, the outcome will depend on how things are distributed. Everyone can enjoy a life of luxurious leisure if the machine-produced wealth is shared, or most people can end up miserably poor if the machine-owners successfully lobby against wealth redistribution. So far, the trend seems to be toward the second option, with technology driving ever-increasing inequality.

La technologie

L’année 2017 touchera bientôt à sa fin, et je crois pouvoir dire que le premier mot de sa réponse est obsolète: ce n’est plus « if », c’est « when ».

Ce questionnement s’est ravivé quand j’ai commencé à regarder l’émission La Faute à L’Algo, diffusée par la chaine Nolife. Notamment son épisode 8, sur l’évolution du travail.

Parallèlement, il ne se passe pas une semaine sans qu’un industriel n’annonce une « percée » tantôt sur les voitures sans chauffeur, tantôt sur la livraison par drone, tantôt sur la vidéosurveillance à identification comportementale, tantôt sur la capacité d’un algorithme à surpasser les meilleurs joueurs humains sur les jeux (vidéo et non) les plus complexes.

Les progrès de l’apprentissage machine sont exponentiels. Algorithmes déjà capables de créer de l’art dans un style « façon Van Gogh » à partir d’un gribouillis, déjà capables d’identifier vos animaux de compagnie, … L’évolution est si rapide que la plasticité cérébrale humaine est insuffisante pour imaginer aujourd’hui ce qui sera possible dès 2018.

Prenez Le 5e élément, le film de Luc Besson. Le fait qu’en 2263, Korben Dallas conduise manuellement un taxi est déjà absurde, fut-il aérien, à peine 20 ans après la sortie de ce film quand Uber et consorts disruptent le système du taxi, et que des premiers véhicules roulent sans intervention humaine.

Et alors que Minority Report, qui date de 2002, imagine des capsules magnétiques de transport urbain sans chauffeur pour 2054, je pense que cela sera réalité autour de 2025 déjà. Ou du moins, en version à roues sans déplacement vertical.

Comme l’impression que même la science-fiction est disruptée, rendant très difficile d’imaginer la société du siècle prochain..

Bref, partons du principe que tous les secteurs d’activité soient majoritairement voire totalement robotisés dès 2030.

La politique

La Faute à l’Algo mentionne souvent « l’algorithme-président ». Ce qui est bien sûr ironique n’est sur le fond pas absurde: la gestion politique d’un pays entier étant/devenant beaucoup trop compliquée pour un·e président·e quel que soit le nombre de ministres autour, le pays se verrait dirigé par un algorithme (soit directement, soit encore un humain assisté par ordinateur). Et sachant que les politiciens confient déjà aux algorithmes la planification de leur campagne électorale et des éléments  de langage à placer pour « faire mouche », ils n’y seraient pas réfractaires.

Quoique: si je prends par exemple Donald Trump, un pays et sa population a beaucoup à gagner à déléguer le pouvoir à un algorithme plutôt qu’à un humain émotif et irrationnel.

« Déléguer » ? Comment est-ce que le principe démocratique pourrait-il être appliqué à ce modèle politique ? Le peuple élit un algorithme parmi plusieurs, ou élit l’un des programmes projets présentés par un même algorithme ? Et fondamentalement, qui serait à l’origine de cet algorithme ? Un parti ? Une entreprise ? Des développeurs sur Github ? Toute la population à travers une « auto-programmation » via l’actualité et des sondages d’opinion en ligne ?

L’économie

Quand est-ce qu’arrivera l’année-charnière, où la majorité de la population d’un pays devient inemployable, à la manière des chevaux de trait après l’invention de la Ford T ? Mon estimation au doigt mouillé: 2030.

Ce qui laisse très peu de temps pour arrêter de stigmatiser les chômeurs (« c’est des fainéants, des parasites, des traîtres envers la France qui se lève tôt » etc etc -c’est un discours qui ne choque pas aujourd’hui), et développer un modèle économique tenant compte de la robotisation massive du travail.

Je vois plusieurs options radicales:

J’ai du mal à anticiper l’effet de la démocratisation des cryptomonnaies (Bitcoin, Monero, Ethereum,..), puisque leur effet émancipateur de la monnaie étatique rend leur aspect fondamentalement démocratique mais d’autant plus compatible avec l’option numéro 1.

L’option 2, je sens encore une énorme opposition de la part de la population, surtout plus âgée de 40 ans, qui sont majoritaires et qui ne veulent pas voir « leur labeur de toute une vie » être distribué à tout le monde sans contrepartie. Le système du salaire de base peut apparaître comme un compromis, mais quelle serait la valeur d’un travail d’un humain (même non-marchand) dès lors qu’un robot le fait mieux ? En tout cas, le simple fait que ce n’est pas au centre de toutes discussions politiques en fin 2017 m’indique que les humains n’auront pas mis ça en place d’ici 2030.

L’option 3 enfin, repose sur un principe plus simple: l’algorithme à la tête de l’Etat gère tout, de l’urbanisation à la production de la moindre tomate-cerise, pour exploiter au mieux les ressources disponibles afin de maintenir et améliorer le confort de vie de toute la population. Cela peut être très radical, jusqu’à la planification de la natalité, le traitement médical du sentiment de colère et de haine des humains pour pas qu’ils s’entre-tuent, et l’auto-défense contre le luddisme. Un communisme nouveau, en gros.

Stephen Hawking, pessimiste ou réaliste ?

Stephen Hawking constate avec raison que la robotisation actuelle s’accompagne d’un accroissement des inégalités sociales. Des réformes profondes sont donc urgentes, avant que les algorithmes ne soient plus crées par des ingénieurs altruistes, au risque sinon de voir des « guerres civiles robotiques » ou l’annihilation du « rustre surplus de population » en faveur d’une élite minoritaire et privilégiée.

Et ce, dans les toutes prochaines décennies.


Lave-vaisselle DIY

Sat, 30 Sep 2017 17:07:50 +0000 - (source)

Une des caractéristiques communes des personnes qui travaillent dans le numérique est celle de la haine envers les tâches périodiques et répétitives à effectuer manuellement.

Et avec un brin de fibre hacker, la problématique de cette tâche répétitive devient un défi avec comme résultat une solution efficiente voire originale.

Contexte: je vis dans un appartement de petite taille, avec un emplacement en cuisine qui force à faire un choix: machine à laver, ou lave vaisselle. C’est ce premier équipement qui occupe la place. Donc jusqu’à récemment, j’ai été dans la contrainte de devoir laver manuellement ma vaisselle, une fois par semaine. Une tâche très répétitive et vraiment peu passionnante qui me prenait plus d’une heure, surtout à cause du couple couteau + fourchette (~4 par jour = 28 objets à frotter).

Ma quête pour un lave-vaisselle format mini a été de courte durée: vu sa taille, c’est mon combi four+micro-ondes qui aurait dû être relégué ailleurs. Vu que c’est surtout les couverts qui m’empoisonnent la vie, quid d’une nettoyeuse aux ultrasons ? Si telle machine est tout indiquée pour nettoyer lunettes, verres de montre et autres pièces de monnaie, je n’en ai pas trouvé de taille suffisante pour y mettre des couverts.

Bref, il me fallait hacker le système et créer mon propre lave vaisselle.

Lave vaisselle: the basics

Un lave vaisselle est une machine qui:

Puisque j’ai de l’eau chaude (à ~60°C selon mes mesures), que je peux trouver sans difficulté du détergent dans le commerce (et il y a pléthore de recettes de produit vaisselle DIY sur le net), et que je dispose d’un lavabo pouvant faire office de compartiment lave-vaisselle, il me fallait un appareil convertissant de l’énergie électrique (prise 230V) en énergie cinétique (courant d’eau pour nettoyer la vaisselle). Créer un maelstrom.

Faut que ça bouge

Mon idée initiale était simple: les bateaux utilisent le principe d’action-réaction pour avancer, en propulsant de l’eau au moyen d’une hélice afin de bouger dans le sens inverse.

Un ventilateur ? Non, il me fallait un truc submersible, un mini-moteur hors-bord. … autant dire que ce qui s’en approchait le plus sur Amazon c’était une turbine à pile pour bateau Playmobil, à l’hélice 10 fois trop petite pour actionner un volume d’eau suffisant.

Par la magie des objets similaires de la catégorie aquariophilie, Amazon me suggérait une pompe submersible.

Ça me séduisait: je vérifiais débit d’eau, alimentation, longueur de câble, usage « prévu », résistance à l’encrassage,…  Et ça tenait la route. Ce genre de pompe est normalement utilisé pour propulser l’eau hors d’un étang pour créer une fontaine, ou remonter l’eau au sommet d’une petite cascade, drainer des conduits, ….  avec une pression jusqu’à 2 bar. J’achetais.

Test et résultat

Mode opératoire:

  1. mettre dans le lavabo les couverts sales
  2. remplir le lavabo d’eau chaude jusqu’à immerger tous les couverts
  3. placer la pompe contre une paroi, mettre en marche
  4. ajouter le détergent
  5. laisser la magie opérer durant quelques heures

Et ça fonctionne ! La vaisselle en ressort plus brillante que jamais et il me suffit de les prendre par poignées entières et les rincer à grande eau, puis laisser sécher à l’air. Plus propre qu’avec une éponge surtout dans tous les petits interstices.

Mon eau chaude étant moins chaude que dans un lave-vaisselle « mainstream », je compense par une durée de lavage plus longue et une dose un peu plus forte en détergent (conso moindre en électricité contre surdosage en détergent, je pense que ça reste écologiquement avantageux face à un lave vaisselle).

La pompe étant conçue pour résister à des débris végétaux et autres impuretés d’aquarium, elle résiste sans mal aux quelques miettes détachées (et au delà du grain de riz c’est stoppé par le filtre de l’entrée d’eau).

En orientant bien la pompe je crée un tourbillon/maelstrom qui fait passer le détergent dans les moindres recoins et amène les miettes et autres saletés dans son milieu pour qu’ils s’y posent, loin de la vaisselle.

Au fil de mes utilisations, j’ai observé que les ventouses de la pompe adhères parfois mal aux parois (moins lisses que du verre), et donc la pompe repose au fond du lavabo. Afin de palier à tout risque d’inondation, je veille à remplir suffisamment le lavabo pour que, dans l’éventualité où la pompe se détacherait et s’orienterait jet d’eau vers le haut, le flux soit amorti et ne parvienne pas hors du lavabo. En plaçant la pompe contre le fond, je lui laisse virtuellement aucune chance à ce que le flux soit vertical en cas de détachement.

Voilà, à la prochaine et restez hackers 😉


Le futur de hubiC ?

Fri, 16 Jun 2017 23:52:13 +0000 - (source)

Il y a près d’un mois, j’envoyais le mail suivant au support de hubiC:

Bonjour,

Un récent évènement m’oblige à redéfinir ma politique de sauvegarde et archivage sur les services de stockage cloud: la décision unilatérale par Amazon Drive de révoquer l’accès API au logiciel libre rclone.

J’utilise hubic depuis longtemps (peu après sa création), et hubic reste un service au rapport quantité/prix imbattable (hormis concurrence à stockage « illimité »).

Cependant, hubic évolue peu: la mise en avant commerciale est faible, et l’offre elle-même stagne, me faisant gravement douter de la pérennité du service.

Mais surtout, hubic souffre depuis longtemps de problèmes très handicapants face à la concurrence:

  • débit de transfert limité à 10 Mb/s par IP (en contraste du 360 Mb/s atteint avec Amazon Drive) alors que la fibre optique se démocratise
  • le renommage ou la suppression de grandes quantités de fichiers est extrêmement long (supprimer un dossier de 10000 fichiers: une demi-seconde chez la concurrence, plus d’une heure chez hubic)
  • un hash MD5 ou SHA1 fait cruellement défaut dans l’interface web quand on veut valider l’intégrité des données
  • chaque requête à hubic web déclenche une connexion avec Xiti (alors qu’OVH dispose d’un Piwik maison !), c’est classe uBlock qui signale 850 connexions bloquées quand on veut juste renommer un dossier…
  • un forum de support noyé sous les spams et ressenti comme étant à l’abandon
  • de manière générale, un support focalisé sur le maintien en condition opérationnelle plutôt que sur l’amélioration visible du service

Tout cela est très dommageable pour hubic, alors qu’il reste une excellente solution pour ne pas confier ses données privées à Google/Amazon/Microsoft/Apple/Dropbox et nettement moins cher que Yandex Disk ou Backblaze.

Dans ce contexte, quelles sont les ambitions futures d’OVH au sujet de hubic ? Faites-moi rêver 😉

À ce jour, aucune réponse 🙁  je crois bien qu’ils ont /dev/null.

N’empêche: hubiC a réellement du potentiel, et les défauts que j’ai listé sont loin d’être insurmontables. Sauf que voilà: un service qui ne titille pas la concurrence depuis un certain temps, c’est un service dont on peut se dire « un beau matin ils vont vouloir se focaliser sur un truc plus rentable/stimulant, et donc mettre fin à ce service, peut-être même sans prévenir ».

Cette incertitude me fout franchement des sueurs froides. Depuis des semaines j’ai un VPS qui copie mes archives de hubiC vers Backblaze B2, mais cette copie n’est pas encore finalisée.

Autant pour mes sauvegardes les plus critiques, j’ai 6 exemplaires disponibles (dont 3 hors site)…  mais mes archives titillant les 2 To de poids, bah là elles sont que chez hubiC. Et je serais super triste si je les perdais: de la japanimation difficile à trouver de nos jours, des ISOs, mes jeux GOG/Humble Bundle, …

Et… bruit oblige, si je voulais tout fourrer dans mon NAS, il me faudrait des disques 2.5 pouces bien gras… et chers. Minimum 4 To, soit autour de 250 € l’unité actuellement, et il m’en faut deux pour mon RAID 1. Ça pique trop, et il me faudrait ré-investir rapidement à cause du volume croissant (comparé aux 10 To confortables de hubiC, et le tarif progressif de B2).

Bref, je souhaite que hubiC fasse un petit geste pour confirmer qu’ils sont encore là, et pour encore un bon bout de temps.


EDIT:

EDIT 29/05/2018:

OVH a fermé les nouvelles inscriptions de hubiC, et stoppé son développement.


Caméra de sécurité avec smartphone

Mon, 07 Nov 2016 10:57:51 +0000 - (source)

Après avoir lu l’article de Numérama à propos de AtHome, une app Android permettant de faire une caméra de sécurité avec un smartphone, j’ai fait quelques tests et… n’ai pas été très satisfait·e. J’y vois surtout l’utilité pour « garder un œil » sur Bébé pendant son dodo dans sa chambre tout en restant sur le canapé au salon. Les fonctions d’enregistrement etc sont payantes, bien sûr.

Alors j’ai cherché et testé d’autres applications, et ce qui répondait le mieux à mes attentes est IP Webcam couplé avec Filoader.

La configuration est relativement facile mais très complète, il faut nécessairement tester (notamment pour vérifier si la batterie tient la charge !). Tout dépend du smartphone, donc je ne peux que détailler ma config:

L’application  intègre un serveur web, on peut donc consulter la caméra avec un navigateur web, ou VLC, ou plein d’autres options. C’est notamment très pratique pour tester le calibrage de la détection de mouvement ou audio. Flash, vision nocturne, focus, zoom, capture photo, … très pratique. NB: l’accès n’est pas protégé par mot de passe !

 

dfgs

Bon, étape suivante. L’application découpe les enregistrements en séquences de 60 minutes horodatées. Quel est mon besoin ? Je veux mettre en place un dispositif contre les cambriolages. Le flux est trop lourd pour un envoi via internet (j’ai pas la fibre), ça fait du ~100 ko/s montant en permanence, et surtout… une caméra d’intérieur, on veut vraiment pas que ça atterrisse sur un serveur extérieur qu’on ne contrôle pas.

J’ai un serveur NAS, mais dans l’hypothèse d’un cambriolage il se ferait embarquer aussi. Et laisser les enregistrements sur le téléphone implique devoir périodiquement le manipuler. La meilleure solution: .. la Freebox. Il y a de bonnes chances qu’un cambrioleur s’en désintéresse, et elle contient un serveur FTP, et un contrôle parental pour refuser tout accès internet au téléphone. Très bien ! Toutes les heures, le téléphone envoie les enregistrements par FTP sur la Freebox.

À raison de ~300 Mo par heure de jour, et ~50 Mo par heure de nuit, ça nous fait… environ 6 Go d’enregistrements par jour en moyenne. Avec 240 Go dispo dans la Freebox, ça nous fait facilement 1 mois d’archives.

En outre, j’intègre dans mon script de sauvegardes une petite fonction à base de curlftpfs et find pour supprimer les fichiers de plus de 6 jours. Vu que j’exécute ce script manuellement, j’ai pas à craindre de vidange automatique malheureuse d’enregistrements intéressants.

Enfin… dissimuler le téléphone. Pour ce faire, j’ai utilisé un petit carton dans lequel j’ai percé un trou pour l’objectif, et dans sa face intérieure j’ai collé une pochette bricolée dans laquelle je glisse le téléphone. J’ai aussi coupé un « canal » au cutter pour faire passer le câble du chargeur en dessous et derrière le carton, d’où il descend un meuble jusqu’à la prise électrique. Discret, anodin, efficace 🙂  Période d’observation et test, vérifier si le téléphone surchauffe pas, s’il consomme moins que la vitesse de charge de la batterie, …

Et voilà ^^

Note de fin: c’est un sentiment un peu bizarre, je me sais « observé » par une caméra même si c’est moi qui en ai le contrôle. J’ai mis cela en place dans l’hypothèse d’un cambriolage sachant que je m’en voudrais d’avoir eu la possibilité technique d’avoir la tronche de l’auteur, le cas échéant. Et pourtant. Je sais mon sentiment complètement irrationnel, sachant que tout smartphone allumé est un potentiel micro-caméra espion contenant pléthore de capteurs divers et données pouvant servir à traquer la vie privée de l’utilisateur, et un smartphone allumé, bah.. j’en ai un de toute manière.


Sur la haine

Mon, 01 Aug 2016 20:49:10 +0000 - (source)

CNGBcioXAAA8IBE


Du nécessaire débat sur la réduction du labeur humain

Sat, 27 Feb 2016 16:59:03 +0000 - (source)

Sentiment étrange que de voir une corrélation entre le prolongement de l’état d’urgence en France, et la présentation d’un avant-projet de loi de réforme du code du travail quelques jours plus tard. Entre d’un côté l’interdiction possible de manifestations publiques même pacifiques, et de l’autre un texte au contenu proprement hallucinant, porté par une ministre déjà écornée dans « l’opinion publique » par sa méconnaissance du nombre de renouvellements possibles d’un contrat à durée déterminée.

Mais passons. Je laisse à mes confrères et consœurs blogeurses le soin d’entrer dans les détails de cet avant-projet de loi travail, expliquant en quoi il s’agit d’un recul des droits sociaux, un renforcement de la précarité des classes pauvres et moyennes, un suicidaire message politique, et surtout un non-sens économique même dans les modèles du XXe siècle. Et ce d’autant plus que je n’aurais pas à en subir les conséquences directes, mes dépendances financières étant peu rattachées à la santé commerciale et industrielle du pays. Je tenais à prendre de la hauteur, avoir une vue d’ensemble du présent, et pouvoir regarder vers les futurs possibles.

L’évolution technologique peut être motivée par deux grands objectifs, à des proportions variables: l’intérêt économique, et l’intérêt humain. Le capitalisme est souvent associé exclusivement (à tord) au progrès technologique, plaçant l’intérêt humain comme étant la conséquence de l’intérêt économique. On peut parfois voir de manière très explicite cette conception des choses, par exemple lorsqu’un producteur de disques affirme que sans vente de musique, les artistes ne pourraient pas en vivre et donc qu’il n’y aurait pas d’artistes. Mais c’est souvent ce producteur de disque là qui refuserait fermement les concepts comme les licences Creative Commons, alors que celles-ci renforcent les pouvoirs des artistes tout en donnant des libertés et droits au public.

Nous vivons une époque formidable. Car à défaut d’être joyeuse, elle nous amène à penser, à réfléchir, à remettre en question, à réinventer. Sous l’impulsion d’entreprises privées souvent, mais pas que. Régulièrement, je vois apparaitre ici une étude sur la proportion d’emplois qui seraient assurés par des robots, là une actualité sur les progrès réalisés par les concepteurs de voitures sans chauffeurs ou de drones de livraison. Le progrès technologique est exponentiel, au-delà d’une courbe suivant la loi de Moore, posant des défis bien plus difficiles et complexes qu’une simple mission habitée sur la planète Mars. Car c’est de modèles économiques et sociaux qu’il s’agit, touchant 8 milliards de créatures individuellement avides.

Je souriais récemment encore du conflit opposant l’entreprise Uber et ses chauffeurs VTC à l’entreprise G7 et ses taxis parisiens. L’entreprise Uber ne se développe pas bien du tout au Japon, vous savez pourquoi ? Parce que la clientèle est satisfaite du service des taxis pré-existant. Il n’y a donc pas de « rupture », pas de progrès sensible possible dans l’immédiat. Tandis qu’à Paris… je pourrais consacrer un article entier sur le nombre et la variété des critiques communément adressées aux taxis. Mais il ne faut surtout pas perdre de vue qu’Uber gère ses finances exactement comme Google, Amazon, etc: dégager une rentabilité maximale au plus vite, et réinvestir un maximum des bénéfices. Ainsi, l’entreprise paye peu d’impôts et peut développer de nouveaux produits. Un concept économique qui semble mieux marcher que le « modèle français » où pour développer un produit précis, une entreprise est choisie et touche des financements publics. Oui je pense à toi, feu « Cloud Souverain ». Toujours est-il qu’Uber investit tout ce qu’il peut dans la conception de voitures sans chauffeur, et bien qu’ils communiquent peu dessus (contrairement à Google), je pense vraiment qu’ils peuvent réussir à mettre au point un produit très fonctionnel et appuyer la modification de la législation pour permettre son usage, mieux que ce que pourrait faire Google ou Tesla ou Toyota. Ou plutôt: les uns la conception de la voiture, les autre la conception du logiciel. IBM et Microsoft. Une recette qui a déjà marché par le passé, pour un produit que le grand public attend impatiemment.

Ce matin, j’ai eu droit à une énième déception causée par La Poste. Et vous n’êtes épargnés de lire de lourdes injures publiques envers cette société que parce qu’ils effectuent, à l’heure actuelle, des essais de livraison par drone. Alors je voyais plus tôt ce jeune galérant sur son vélo jaune chargé de sacoches pleines de courriers non électroniques tandis qu’il montait une côte, et je me suis dit: « encore un petit boulot bientôt remplacé par des drones, capables de vous livrer courriers et colis à toute heure, directement chez vous, en moins de 10 minutes, à la demande de l’utilisateur ». Et puis Amazon qui conçoit aussi des drones et s’intéresse à tout ce qui est alimentaire, je me dis que livreur de pizzas est aussi un petit boulot appelé à disparaitre. Peut-être même que des géants tels McDonalds se retrouveraient avec des pieds d’argile…

Je regarde autour de moi, et je peine à trouver des boulots qui ne pourraient pas être assurés aussi bien voire mieux par des robots et l’IA. Même ce qui est artistique. Même ce qui est médical. Même ce qui est sexuel. Même ce qui est politique. Même ce qui est juridique. Même le présent blog pourrait être rédigé par une IA, reposant sur un réseau neuronal ayant analysé mes opinions passées voire la structure-même de mon cerveau afin d’en imiter et surpasser ma pensée. Tournis.

La logique du capitalisme repose sur la réduction des coûts. Les entreprises peuvent remplacer les employés humains par des employés d’IA, et elles vont le faire, massivement, très bientôt. À court terme, voici l’équation envisageable:

  1. le produit est crée, avec des coûts minimisés grâce à la robotique
  2. le produit est vendu très peu cher au grand public
  3. le grand public dépend financièrement d’un revenu universel réparti équitablement
  4. le revenu universel est alimenté par une taxe
  5. la taxe s’applique sur les revenus (et non les bénéfices) générés par l’entreprise faisant travailler des robots

Voici les éléments qui vont forcer l’application de ce genre de modèle:

L’inconnue là dedans, c’est la réaction de la population. En effet, « papy boom » oblige, de nombreuses personnes vont atteindre bientôt l’âge de la retraite. Or, il y aura (et il y a déjà) bien trop peu d’employés (et donc de cotisants) pour maintenir les caisses d’assurance retraite, et le renflouement par un Etat déjà déstabilisé par la baisse des impôts (notamment sur le revenu, décroissant) et des taxes (notamment la TVA, alors que les prix baissent). Pire: l’espérance de vie étant croissante et progrès médical aidant (cellules souches, tout ça), un papy-boomer peut raisonnablement s’attendre à passer la moitié de sa vie à la retraite. Le modèle actuel est catastrophique. Or, et c’est là que ça va faire mal:

Oui, la transition sera ressentie comme étant injuste envers eux. Malheureusement je ne vois pas beaucoup d’autres alternatives plus acceptables. Je vous laisse imaginer la conséquence d’une saisie arbitraire de tous les livrets d’épargne, par exemple, alors que les papy-boomers sont « assis dessus » en vue d’en faire un héritage pour leurs descendants, alors que l’héritage est un patrimoine très inéquitable. Or celles et ceux qui ont les livrets les mieux garnis sont aussi ceux qui touchent le plus de pension retraite, donc c’est peut-être par cette piste-là que le revenu universel de base serait accepté.

Quid du labeur humain donc, remplacé avantageusement par des robots ? Risque t-on de se retrouver dans une société fainéante et incompétente, dépendante des robots, gouvernée par les robots ? Question complexe.

Que les humains vont soudainement ne plus rien faire après que les robots soient capables de s’auto-améliorer, j’y crois pas un seul instant: les humains ne supportent pas l’ennui. À divers degrés, les humains ressentent le besoin d’apprendre, de découvrir, de créer notamment de l’art. N’étant plus enchainés au besoin économique, je prophétise que les humains auront le temps et l’envie d’apprendre, toujours davantage, et la robotique sera là pour développer toujours de nouvelles technologies qu’on pourra admirer et apprendre au quotidien. Ce qu’on y perdrait ? Disparition des prix Nobel, car plus d’humains à récompenser. À moins que le prix Nobel pourra récompenser des algorithmes, féliciter des robots. La profusion de connaissances et technologies sera telle que les humains vont se spécialiser d’eux-même par préférence personnelle, et donc l’humanité sera plus compétente que jamais, capable de restaurer toute son infrastructure en très peu de temps suite à un vent solaire ayant fait griller tous les robots par exemple, exactement comme une fourmilière qui répare les dégâts avec une efficacité déconcertante quand un enfant humain donne un coup de pied dedans.

Les humains, gouvernés par des robots ? Ne rigolez pas, on en a eu très récemment un prémisse en la personne de Jean-Luc Mélenchon, utilisateur et promoteur de NationBuilder. Si NationBuilder est à peine une IA d’assistance aux politiciens en campagne, l’idée d’un gouvernement entièrement IA est plausible… voire souhaitable. J’en ferais presque un slogan: imperium ex silicium.

Est-ce que notre génération saura relever ce défi ? Humains, surprenez-moi !


Sauvegardes incrémentielles avec Attic Deduplicating Archiver

Sun, 09 Aug 2015 23:05:06 +0000 - (source)

Attic est un programme Python développé par Jonas Borgström. Il permet de réaliser des sauvegardes incrémentielles, compressées, chiffrées et morcelées. Concrètement ça se passe ainsi:

  1. une première sauvegarde complète
  2. la seconde sauvegarde ne contient que les fichiers changés depuis la sauvegarde complète
  3. la troisième sauvegarde ne contient que les fichiers changés depuis la seconde
  4. la sauvegarde N ne contient que les fichiers changés depuis la sauvegarde N-1

Lors du processus de restauration, on peut choisir quelle sauvegarde restaurer. Un fichier a été effacé par erreur jeudi, la sauvegarde a lieu tous les vendredis, et on est samedi ? Pas de souci: on peut récupérer le fichier depuis la sauvegarde du vendredi de la semaine précédente.

Une sauvegarde, on en a quasiment jamais besoin. Mais c’est quand on en a besoin qu’on enrage de ne pas avoir fait de sauvegarde. Heureusement pour moi j’utilise différentes méthodes de sauvegarde afin de me donner une redondance double, je n’ai eu à faire appel à Attic qu’une seule fois, précisément pour une question de fichier effacé 3 semaines avant (sachant que mes sauvegardes locales sont des anti-hardware-crash hebdomadaires).

Mon cas

Dans ma stratégie actuelle, Attic a le rôle suivant:

/home → Attic → disque dur secondaire → Attic → DD sauvegarde 1 → DD sauvegarde 2
···································  → hubiC
···································· → Mega

Les dossiers utilisateur me sont en effet absolument précieux, il me les faut donc décompressés sur mes 2 disques durs externes de sauvegarde locale et chiffrés sur le DD secondaire et 2 services de stockage en cloud différents (pour pallier au risque d’arrêt du cloud).

Le détail sur les sauvegardes

Attic traite les données et les stocke dans un dépôt (repository). Ça peut être un dossier local, ou distant (avec sshfs, ou de Attic à Attic via ssh). Attic y stocke 3 fichiers importants:

X étant un chiffre que je devine être le nombre de morceaux traités. hints et index sont des blobs binaires sans doute chiffrés. Il s’agit ici des fichiers d’indexation des sauvegardes, Attic les inclut dans le dépôt ce qui est un bon procédé (contrairement à Duplicity qui les stockait dans .cache, ce qui provoque beaucoup de drames car sans ces index les sauvegardes sont difficilement exploitables)

Et puis il y a un dossier data, un/des sous-dossiers, et là dedans les morceaux des sauvegardes, avec comme nom des chiffres. Blobs binaires, de 5 Mo par défaut.

Usage de base

La documentation de Attic est très complète, sauf que.. en anglais seulement. Concrètement les commandes:

Quelques recommandations et incidents

Si vous envoyez vos sauvegardes sur un/des services externes, il est indispensable de les chiffrer. Pensez-y avant car cela est défini à l’étape d’initialisation du dépôt. Attic chiffre en AES-256 donc si vous avez une phrase de passe solide (20 caractères ou plus) ou un fichier-clé qui ne risque pas la corruption, vous êtes tranquille.

Les noms des points de sauvegarde: je vous recommande fortement d’indiquer la date.

Le dossier « data » et son contenu ne doivent pas être modifiés par d’autres programmes que Attic. Exemple: j’ai mentionné précédemment que j’utilise Mega, via le logiciel MegaSync (qui fait une synchro à double sens). Et bien puisque Attic prune (supprime) les points de sauvegarde anciens alors que MegaSync n’est pas lancé, ce dernier va au lancement suivant retélécharger les fichiers des points de sauvegardes supprimés ! Attic vous signalera une corruption du dépôt. Heureusement c’est facilement corrigé avec check –repair, Attic supprime les fichiers en trop et nettoie. Par rapport à ça, j’ai inclus dans mon script de sauvegarde un contrôle bloquant: tant que MegaSync n’est pas lancé et prêt à synchroniser les modifications qui seront apportées par Attic, Attic n’est pas exécuté.

Le chiffrement: l’utilisation d’un fichier-clé peut être dangereuse, car ce fichier doit impérativement ne jamais être altéré du moindre bit.. et si ce fichier est nommé « chiffrement-attic » ou autre truc explicite, n’importe qui ayant accès au PC devinera à quoi il sert et pourra accéder aux sauvegardes. C’est pourquoi je préfère les phrases de passe. Cependant j’automatise cela au sein du script avec la commande export ATTIC_PASSPHRASE, donc le script lui-même devient le point faible.

Mon exemple de script de sauvegarde

Il est exécuté par un script-maitre appelé par crontab, et procède tous les 6 jours.

#!/bin/bash
# restore: attic extract $REPOSITORY::(date)
# list: attic list $REPOSITORY(::date)
locker='~/Bureau/attic_cron.lock'
locker1='~/Bureau/please_start_megasync.lock'
locker2='~/Bureau/attic_working.lock'
timermaxage="518400"
sourcefolder='~/'
ATTIC_PASSPHRASE="Entrer ici une phrase de passe solide"
export ATTIC_PASSPHRASE
REPOSITORY='/tmp/home.attic'
timer="$REPOSITORY/timer"
curdate=$(date +%s)
if [ -f $timer ]; then
lastexec=$(stat -c %Y $timer)
echo "timer trouvé, lastexec: $lastexec"
else
lastexec="0"
echo "timer non trouvé"
fi
calcdiff=$(($curdate-$lastexec))
if [ -f $locker ]
then exit
else
touch "$locker"
if [ $calcdiff -gt $timermaxage ]; then
touch "$locker1"
ps ax | grep -v grep | grep megasync > /dev/null
while [ $? != 0 ]; do
sleep 1
ps ax | grep -v grep | grep megasync > /dev/null
done
rm "$locker1"
sleep 13 # on laisse un peu de temps pour connexion MegaSync
touch "$locker2"
attic create --stats $REPOSITORY::`date +%Y%m%d` $sourcefolder
attic prune -v $REPOSITORY --keep-daily=4
rm "$locker2"
touch "$timer"
fi
rm "$locker"
fi

Si vous n’utilisez pas MegaSync, vous pouvez zapper tout ce qui le concerne. Le timer et les verrous (locks) aussi si vous exécutez le script manuellement. Le timer de 518400 secondes ça correspond à 6 jours (le délai entre 2 points de sauvegarde).

Pour ce qui est d’Attic, il crée des points de sauvegarde nommés par exemple « 20150809 ». Avec la commande « attic list » il affiche pour chaque point de sauvegarde la date et l’heure précise, mais bon. Si les noms sont cohérents et prévisibles, faire des trucs comme l’extraction automatisée ça devient plus facile (ce qui se passe chez moi, la sauvegarde la plus récente (attic list $REPOSITORY | tail -n1 | head -c8) étant extraite vers mes disques durs externes  -au passage ça teste donc l’intégrité de la sauvegarde)

« attic prune » avec comme paramètre –keep-daily=4. J’ai besoin d’expliquer ? Cette commande supprime tous les points de sauvegarde précédents SAUF les 4 plus récents. Ce qui dans mon cas me donne une marge jusqu’à 4*6 = 24 jours d’historique, ça me convient.

Adaptez à votre sauce !


Powered by VroumVroumBlog 0.1.31 - RSS Feed
Download config articles