Pour la première année de lancement de Windows 10, les utilisateurs de Windows 7 ou 8.1 ont pu bénéficier d’un upgrade gratuit. La promotion avait concerné les particuliers, mais pas pour l’édition Entreprise de Windows 10.

Cette mise à niveau gratuite a pris fin lors de la sortie de la mise à jour anniversaire de Windows 10 à l’été 2016. Cependant, la gratuité de l’upgrade a perduré pour les utilisateurs ayant recours à des technologies d’assistance.

En pratique, Microsoft ne vérifie pas si l’utilisateur a effectivement recours à des outils d’accessibilité, et n’importe qui peut donc profiter de  » l’astuce. «  Elle prendra fin dans quelques jours.

La date d’expiration a été fixée au 31 décembre 2017. C’est un rappel dans la mesure où cette date d’expiration avait déjà été communiquée il y a plusieurs semaines. En 2018, ce sera donc terminé.

Sur ordinateur, Windows 7 est encore la version de Windows la plus utilisée devant Windows 10.

Source : generation-nt.com

Une permanence sera assurée pendant ces jours de fête le 24 et le 25 décembre ainsi que le 1er janvier 2018 de 14h00 à 17h00.

Je vous souhaite de bonnes fêtes de fin d’année.

Si vous avez connu l’évolution du Micro ordinateur Personnel et en particulier des machines x86, vous avez été un jour ou l’autre confronté au bel écran bleu d’un BIOS. Ce petit bout de code qui servait de relais entre le matériel installé dans votre machine et système d’exploitation que vous alliez utiliser.

Ce BIOS a depuis quelques années quasi disparu des machines récentes, enfin presque. Un nouveau système baptisé UEFI a pris sa place et prend désormais en charge ces actions. Il reste néanmoins une option spécifique liée à l’existence du BIOS. Un mode “Legacy BIOS” qui permet de piloter sans trop de soucis certains matériels ou systèmes récalcitrants à l’UEFI.

Intel prévoit la disparition de ce mode Legacy BIOS d’ici 2020 puisque  les systèmes de la marque opteront alors pour le mode UEFI class 3 qui ne prévoit plus un support de ce mode Legacy BIOS. L’intérêt de cette transition est une augmentation de la sécurité de la machine. Ce mode UEFI demande une signature de chaque élément d’un PC avant de l’autoriser à fonctionner. Une option qui est sur le papier très intéressante car cela évite d’installer un périphérique qui pourrait corrompre vos données, par exemple.

Mais une option qui a un effet pervers, elle empêche de continuer à utiliser un ancien matériel parfaitement fonctionnel mais non signé. Typiquement, une vieille carte son PCI par exemple, datant d’une époque où les composants n’étaient pas signés numériquement, ne fonctionnerait pas sur un PC équipé d’un UEFI Class 3. Il lui faut un mode Legacy BIOS pour continuer à tourner.

Beaucoup de détracteurs de ce système 100% UEFI indiquent également que le fait d’avoir un materiel signé numériquement n’est en rien une garantie contre un piratage de la machine, il s’agit juste d’une vérification de la part des fabricants que leur matériel est conforme à la production mais ne protège en rien contre les failles. Enfin, il a été fait mention de piratages complexes de solutions reprenant à leur compte des signatures de marques pour des matériels contrefaits. Certaines clés RSA de chiffrement matériel étaient clairement sous dimensionnées et des marques comme Infineon Technologies se sont fait tirer les oreilles pour leurs choix jugés peu efficaces. Des cartes mères ont été modifiées pour outrepasser des fonctions UEFI et des matériels ont également patiemment choisi pour offrir des compatibilités inhabituelles et inattendues avec d’autres en mode UEFI pour pouvoir les exploiter sous MacOS sur des PC classiques. Bref la solution 100% UEFI est encore à perfectionner d’un point de vue sécurité.

Le Legacy BIOS pose trois problèmes selon Intel, le premier concerne la sécurité, le second la validation matérielle des équipements et le troisième la compatibilité entre nouvelles technologies et matériels anciens

L’autre grande crainte liée à cette évolution vers  un mode 100% UEFI Class 3 vient du monde du logiciel Libre. Car si un système peut refuser un matériel non signé numériquement, il peut également n’autoriser que les systèmes d’exploitations de son choix. Une carte mère ou un portable pourrait refuser non seulement l’installation d’un système Linux ou MacOS mais il serait possible de faire en sorte qu’un Windows 10 soit limité dans ses évolutions et qu’il soit, par exemple, impossible d’installer une nouvelle version du système sur une machine. Ou de revenir à un Windows 7 ou 8.1.

Trois avantages, un code plus petit, une validation et un support plus aisé et l’utilisation de nouvelle technologies

Intel travaille donc avec ses partenaires  pour retirer de la vente tous les périphériques n’ayant pas une compatibilité UEFI parfaite d’ici 2020. Date à laquelle le fondeur pourrait décider de n’activer ses puces uniquement que sur des systèmes équipés d’un UEFI Class 3. L’utilisateur lambda y gagnerait sans doute en sécurité et améliorerait sensiblement le contrôle des matériels signés mais l’effet de bord le plus vraisemblable serait la mise au rebut de matériels fonctionnels devenant soudain incompatibles et la grosse tentation des fabricants de produire des machines compatibles avec des générations limitées de système d’exploitation.

Dans un premier temps, cela empêcherait également un constructeur de vendre une machine en FreeDOS par exemple.

Source : minimachines.net

L’Arcep lance son service « J’alerte l’Arcep » afin que chacun puisse donner son avis sur son FAI ou son opérateur. Le but est bien sûr de pousser les acteurs concernés à s’améliorer.

Comme annoncé un peu plus tôt ce mois-ci, l’Arcep, l’Autorité de Régulation des Communications Électroniques et des Postes, vient de lancer « J’alerte l’Arcep », un service permettant de signaler les dysfonctionnements que l’on peut rencontrer avec une offre fixe, mobile, internet ou postale. Le but est de pousser les opérateurs et FAI à améliorer leur réseau dans les zones à problèmes.

Grâce au site jalerte.larcep.fr, il est désormais possible de signaler tout problème de surfacturation, de raccordement, de téléphone coupé, d’internet, de réseau mobile ou même de réception de courrier et de colis. Il ne s’agit cependant que d’une alerte et non d’une saisie. N’y espérez pas un suivi personnalisé de votre dossier ou un quelconque dédommagement, les litiges individuels relèvent du champ de compétence de la DGCCRF.

En quantifiant correctement les dysfonctionnements, l’Arcep compte en réalité sur nous pour cibler son action auprès des opérateurs fixes, mobiles, internet et postaux. De quoi permettre à ces derniers de s’améliorer en priorité dans les zones réellement problématiques.

Rappelons que l’Arcep cherche avant tout à protéger les utilisateurs et faire en sorte qu’ils profitent du meilleur service possible. Même quand l’autorité reproche à un opérateur de déployer son service trop rapidement.

Source : FrAndroid

Temps d’installation sans fin, écrans bleus, redémarrages intempestifs… Le patch KB4041676 ne fait pas que des heureux chez les utilisateurs de Windows 10.

Source : 01.net

L’entreprise, basée à Paris, a développé un logiciel intégré à une cinquantaine d’applications mobiles, dont celles du Figaro, de L’Equipe et de Closer.

Si vous êtes allé au restaurant hier soir, Teemo (anciennement Databerries) le sait probablement. La start-up parisienne ignore votre nom, peut savoir que deux jours plus tôt vous aviez préféré rester chez vous. Et que vous allez souvent chez un ami qui vit à Quimper. Comme le révèle une enquête de Numerama, Teemo récupère en fait la géolocalisation de dix millions de Français grâce à leurs smartphones. Elle l’actualise même toutes les trois minutes.

Le consentement flou des utilisateurs. 

Pour parvenir à ses fins, elle n’a eu qu’à développer un logiciel, lui-même intégré dans un logiciel publicitaire. Les deux ont ensuite été vendus à une cinquantaine d’applications célèbres, dont celles du Figaro, de L’Équipe, Météo France, Télé Loisirs ou Closer. 

L’une des premières questions qui se pose, est celle du consentement des utilisateurs. Car comme Numerama l’explique, les applications demandent bien un accord pour recueillir vos données personnelles liées à votre localisation, mais ne semblent pas vous dire clairement qu’elles les revendent à un tiers. Le média prend l’exemple du Figaro, dont les conditions générales d’utilisation ne mentionnent effectivement pas cet élément. Contacté, le quotidien n’a pas donné suite à nos sollicitations. Teemo, de son côté, se défend en expliquant que les termes de l’accord doivent être définis par les applications « de manière directe. » La start-up n’a pas, sur son site, de conditions générales d’utilisation (CGU) à proprement parler. On y trouve malgré tout quelques informations, comme le fait que les données sont conservées jusqu’à treize mois après la date de leur collecte, et anonymisées.

Cela n’en est pas moins problématique. Selon Numerama, Teemo se vanterait ainsi de pouvoir retrouver à qui appartiennent des données grâce, par exemple, à leur IDFA, c’est-à-dire une suite de numéros servant à l’identification publicitaires des iPhone. « Mieux encore: sans l’IDFA, et seulement avec l’adresse et le lieu de travail d’une personne, retrouver n’importe quel Français prendrait 5 secondes à une équipe de 20 personnes », est-il ajouté dans l’article.

Un contrôle de la CNIL, mais pas de sanction pour l’instant

Des contrôles semblent bien avoir été effectués par la Commission nationale de l’informatique et des libertés (CNIL). Ils n’ont pour l’instant pas eu de suites. Pourtant la CNIL, de même que le Conseil d’Etat, avait déjà condamné une entreprise pour des faits similaires. Il s’agissait de Pages Jaunes. La firme avait récupéré les données d’utilisateurs grâce à un partenariat avec les réseaux sociaux. Elle avait défendu son procédé en expliquant que les utilisateurs avaient bien donné leur accord aux réseaux sociaux pour partager certaines informations. Pas convaincant pour le Conseil d’Etat et la CNIL, qui avaient estimé qu’un consentement donné expressément à Pages Jaunes était nécessaire avant toute collecte d’informations personnelles.

Teemo peut également craindre l’arrivée au printemps prochain du règlement européen sur la protection des données (RGPD). Il prévoit que les collectes d’informations personnelles devront être licites, loyales et transparentes. Ce qui implique notamment d’informer correctement l’utilisateur sur ce qu’il sera fait de sa vie privée et de réaliser une collecte qui ne soit pas excessive ou disproportionnée. Pas certain que le fait de traquer 10 millions de personnes toutes les trois minutes entre dans cette dernière catégorie.

Pour rappel, il est possible de désactiver sa géolocalisation dans les paramètres de votre smartphone. Si vous ne souhaitez pas être pisté en permanence, n’hésitez pas à le faire dès lors que ce service ne vous est pas nécessaire.

Source : lexpansion.lexpress.fr

Kaspersky est désormais disponible en version gratuite. Selon les explications d’Eugene Kaspersky, fondateur de la société, il s’agit d’un produit parfaitement complet et fonctionnel. Baptisé Kaspersky Free, le nouveau logiciel ne propose cependant que les fonctionnalités de base comme le scan antivirus, la protection des emails… Il faudra basculer en version payante pour pouvoir bénéficier des options plus « musclées ».

Par ce geste, l’enseigne informatique russe veut conquérir le marché international et voler la vedette à des concurrents de taille comme Avast ou encore Windows Defender. Le nouveau produit a d’ailleurs déjà été déployé dans plusieurs pays à travers le monde dont les États-Unis.

La nouvelle a cependant été accueillie assez froidement par le gouvernement américain qui soupçonne des intentions cachées de la part de Kaspersky Lab.

Un logiciel complet mais limité

Sur son blog, Eugène Kaspersky a expliqué que cet antivirus gratuit n’était pas destiné à concurrencer les versions payantes de la société. Ce nouveau produit ne présente en effet que les fonctionnalités « essentielles ». Il ne pourra ainsi assurer qu’une protection de base, mais qui n’en restera pas moins efficace. Pour s’en assurer, les ingénieurs ont planché dessus pendant un an et demi, réalisant des tests en Russie, en Ukraine ou encore en Chine.

Aujourd’hui, Kaspersky Free s’apprête à conquérir le monde. L’antivirus est déjà disponible aux États-Unis, mais aussi au Canada ainsi que dans plusieurs pays asiatiques. L’Europe devra, quant à elle, attendre encore en octobre avant de pouvoir en profiter à son tour.

Kaspersky Free, un cheval de Troie ?

Si Kaspersky ne cherche qu’à étendre son business, les services secrets américains ne voient pas l’initiative d’un bon œil. La CIA pense que cette version soi-disant gratuite du logiciel pourrait bien être un stratagème d’espionnage de la part du gouvernement russe.

Ce dernier pourrait en effet se servir du logiciel pour espionner les réseaux informatiques des États-Unis.

Cela fait plusieurs années que l’Oncle Sam suspecte Kaspersky Lab d’être étroitement lié au service fédéral de sécurité de la fédération de Russie. Avec de telles suspicions, les tensions entre la Maison Blanche et Kremlin ne sont pas près de s’apaiser.

Source fredzone.org

Le mot de passe est une des grandes vulnérabilités du net. Même à force de répéter qu’il faut que le mot de passe soit long, unique, avec des majuscules et minuscules  avec des chiffres et des caractères spéciaux… rien n’y fait, on apprend de temps en temps que tel ou tel compte s’est fait hacké comme celui de l’AFP en 2013 qui a tout de même provoqué une dépréciation de 136 milliards de dollars de capitalisation! *** (source lemonde.fr). Il est clair, que les pauvres internautes que nous sommes n’ont pas forcément les mêmes responsabilités, mais il faut tout de même prendre quelques précautions.  J’ai refait un état des lieux pour tester la force d’un mot de passe.

Une des techniques pour accéder à un compte et d’essayer toutes les formules possibles d’un mot de passe s’appelle ça la force brute, où un programme va tester toute une série de mots de passe qu’il possède dans une bibliothèque. Dans cette bibliothèque on a les mots de passe les plus connus comme les noms de chien, prénom, 123456, abcdef…, puis les variantes avec les noms date d’anniversaire, les dico…

Déjà en bref  évitons  

• 123456 et toutes les variantes.
• bonjour, hello, test, google…
• abcdef, aaaaaa, a1b2c3d4,
• titi2000.
• azerty et querty .
• admin password .

Après allons sur le  site  comparitech.com privacy-security-tools password-strength-test et faisons un test avec notre mot de passe (par précaution, on utilisera une variante de notre vrai mot de passe et je n’ai pas besoin de dire pourquoi.

Mot de passe à 1 caractère : temps pour craquer le mot de passe entre 1 et 9 nanoseconde

Il faut entre 1 et  9 nono secondes pour craquer le mot de passe :  On s’aperçoit déjà que si on met un mode de passe comme « à » c’est déjà 9 fois plus compliqué qu’un le mot de passe « 1 »

Mot de passe à 2 caractères :temps pour craquer le mot de passe entre 10 nonosecondes  et 1 microsecondes :

Le mot de passe « àù » mérite la mention spéciale avec 1 microsecondes soit 0,0000001 seconde contre le mot de passe « 11 » avec 10 nanosecondes. On a déjà une première indication que si on mets des mots de passe avec des accents, c’est déjà mieux.

Mot de passe à 3 caractères  : entre 100 nanosecondes et 80 microsecondes

Mot de passe à 4  caractères  : entre zéro secondes et 7 millisecondes

On apprend que si on répète une série de caractère, que le truc met moins de temps à trouver le mot de passe exemple « 1111 »

Mode de passe à 5 caractères : entre rien et 1 seconde

« àùéùè » est déjà une bonne facture pour un mot de passe, mais ce n’est pas suffisant encore, car une seconde c’est peu.  Evitons bien sûr le mot de passe « 12345 »

Mode de passe à 6 caractères : entre rien et 23  minutes!

«  »é »‘(-è » » est déjà un départ au bon mot de passe, car 7 minutes c’este bien, mais il faudra se souvenir d’une telle séquence ». Mais évitons des mots de passe comme « azerty ». Un bon compromis serait »Th12@i » qui nécessite 21 secondes à craquer.

On peut conclure tout de même qu’un mot de passe à 6 chiffres bien choisi permet déjà d’avoir une bonne sécurité surtout pour des sites qui se bloque pendant 5 minutes si on mets 3 mots de passe consécutifs faux ou qui nous propose un captcha .

Mode de passe à 7 caractères : 2 jours!

Bien choisi ça monte jusqu’à 2 jours. L’histoire ne dit pas combien de mot de passe un système de craquage de mot de passe essaye par secondes. mais si c’est 1000 mots de passe par seconde c’est déjà astronomique. Cela dit 1000 mots de passe par seconde sur un serveur, ça commence à être peinible pour le serveur.

Mode de passe à 8 caractères :  5 minutes à 5 ans!

7 mois pour un mot de passe du style  » Th_-ù1p » est un must, mais qui va taper un mot de passe pareil ! Un mot de passe plus facile à retenir comme « 3run0ùé » ça met 17 heures, mais un mot de passe comme titi2000 c’est 5 minutes et « Titi2000 » c’est 6 heures. I

Mode de passe à 9 caractères :  dix mil ans!

« Th-ù1p »à@ » 10 000 ans bingo, mais « Titi20000 » c’est 2 semaines

Mode de passe à 10 caractères :  180 mil ans!

« Th-ù1p »à@t » 180 000 ans, mais toto200000 c’est 4 jours!  » et pire 0123456789 c’est 1 secondes

Mode de passe à 11 caractères :  c’est bon jusqu’à 35 millions d’années

« DanielRoget » c’est 24 ans, « Dan1elR0g&t » c’est 2 miilions d’année et « Th-ù1p »à@t& » c’est 35 millions d’années

Mode de passe de 12 caractères  entre 1000 ans et 7 milliards d’années

ThierryRoget c’est 1000 ans et « Th-ù1p »à@t&* » c’est 7 milliard d’années

Autre site qui fait la même chose  howsecureismypassword.net

Avec cette démonstration, vous pouvez peut-être envisager de penser à un mot de passe plus correct.  Reprenons mon mot de passe thierry1905 et créons plusieurs variantes.

1. thierry1960 : instantané car 1960 est une année de naissance, on commence par les années quand on veut hacker un compte par la force brute.
2. Thierry1960 : je mets une majucucule ! déjà dans ce cas je passe à une durée de 6 heures. Juste parce que j’ai changé une minuscule par une majuscule.
3. ThierrY1960 : la durée est aussi de 6 heures, mais quelque part on peut sentir que ce mot de passe est un peu plus fort que le numéro 2
4. ThierrY1905  : il est peu probable que l’internaute soit né en 1905, alors la probabilité passe à 3 mois pour craquer le mot de passe, mais trois mois ne sont pas suffisants et une petite modification pourrait apporter plus de sécurité.
5. Thierry1905@ : j’ajoute  un caractère spécial @ et là c’est parfait, je passe la probabilité à 8 ans. (l’autre service donne 26 millions d’années)
6. Th!erry1905@ : je change le « i » en « ! ». Un technique qui nous évite d’oublier le mot de passe car « ! » ressemble à « i ». Dans ce cas, je passe à 10 ans!
7. Th!erry1960@ ! : notons que si on mettait 1960 au lieu de 1905, il faudrait 1 semaine pour craquer le mot de passe! On comprend mieux que 1960 est à exclure totalement.
8. Th!erry1905@! : ajoutons un autre point d’exclamation à la fin du mot de passe  et là ça donne 336 ans. Cela dépasse, notre espérance de vie, c’est donc un mot de passe tout à fait sécurisé.
9. un mot de passe unique par service, ajouter les deux premiers mot de l’url à la fin du mot de passe. Exemple pour votre compte gmail, votre mot de passe pourrait être Th!erry1905@!gm : on passe à 27 mille ans et un mot de passe unique par service. 

La tendance est aujourd’hui d’opérer une double authentification comme avec un compte gmail. A chaque login sur un nouveau pc ou après une période de 1 mois, vous être obligé de mettre un deuxième mot de passe qui est envoyé par sms.  Je conseille tout de même d’envisager ce genre d’opération.

Sachez que malgré toutes ses précautions, tout n’est pas gagné, car le hacker peut très bien voler toutes la base de mot de passe d’un service, cela est arrivé à linkedin et twitter, il faudra donc changer régulièrement vos mots de passe. De plus si le hacker a installé un logiciel keylogger sur votre pc, vous êtes encore plus mal, car dans ce cas, il peut enregistrer en clair tout ce que vous tapez sur votre clavier!

Source : roget.biz

NB : cet article demande quelques bases en HTML et en CSS, notamment sur les concepts de balise et de classes. Ces bases peuvent néanmoins s’acquérir très rapidement, notamment en consultant le site suivant.

Introduction

La digitalisation de la société et l’essor du e-commerce engendrent chez les webmarketeurs et les managers un besoin croissant d’accéder à l’information en temps réel. Il devient de plus en plus primordial d’être capable de consulter instantanément et sur de larges volumes des informations telles que les derniers tweets de telle ou telle entreprise, ou bien les prix de tel ou tel concurrent.

C’est pourquoi le data crawling, ou collecte automatisée de données, connaît une popularité grandissante auprès des managers d’aujourd’hui. Vous pouvez notamment utiliser le data crawling et la méthode que nous allons aborder aujourd’hui pour faire du price monitoring de votre concurrence, mener très rapidement des audits SEO de sites web, être averti en temps réel de la publication d’offres d’emploi sur le site carrière d’une entreprise … les applications sont illimitées.

Au cours de ces dernières années, Google a fortement mis l’accent sur sa suite bureautique, et a réussi à séduire de plus en plus d’entreprises, non sans raisons. Cette stratégie culmine avec le récent lancement de GSuite, présenté comme un “ensemble d’applications intelligentes pour les entreprises ». Cette définition, quoique pompeuse, est tout à fait appropriée, dans la mesure où les applications de Google telles que Drive, Gmail ou encore Sheets se différencient de la concurrence de par leur faculté à se “connecter » au web, et à pouvoir interagir entre elles. Il est ainsi possible de crawler des données avec Sheets, de les stocker sur Drive, puis de les envoyer automatiquement par mail via Gmail.

Nous allons aujourd’hui nous concentrer sur la possibilité de crawler des données via Sheets, qui est l’équivalent SaaS par Google de Microsoft Excel.

1 – La fonction IMPORTXML

D’après le support de Google, la fonction IMPORTXML “importe des données depuis des types de données structurées tels que XML, HTML, CSV, TSV et des flux RSS et ATOM XML. »

Bien plus que cela, cette formule importe les données et les rafraîchit en live si leur valeur change sur la page que vous crawlez !

Sa syntaxe est la suivante : IMPORTXML("url", "requête_xpath")

Avec :

• URL : adresse de la page à examiner, protocole inclus (http, https…)
• requête_xpath : requête XPath à exécuter sur les données structurées.

Ne prenez pas peur, malgré son nom peu avenant, l’utilisation du XPath est assez simple à appréhender : c’est une sorte “d’adresse » qui permet de naviguer entre les éléments d’une page web. De plus, nous allons voir qu’il est très facile à obtenir.

2 – Les choses sérieuses commencent

Sans plus attendre, mettons en application ! Pour commencer, nous allons crawler le dernier article de la liste des articles “en continu » du Monde.

Retrouvez tous les exemples de cet article en cliquant ici : http://bit.ly/2n4Kx5m

Rendez-vous à l’adresse sur Google Drive, connectez vous à l’aide de votre compte Google, et créez une nouvelle Sheets (bouton bleu “Nouveau » > Sheets en haut à gauche de l’écran).

Maintenant que votre fichier de travail est ouvert, positionnez-vous dans la cellule A1. Pour que notre fonction IMPORTXML fonctionne, nous avons besoin de deux éléments : l’adresse de la page à visiter, et le XPath de l’élément à crawler.

Pour l’adresse, il s’agit de http://www.lemonde.fr, nous allons donc maintenant chercher le XPath.

Rendez-vous sur Le Monde, de préférence à l’aide de Google Chrome (ce tutoriel se basera sur ce navigateur, qui est le plus utilisé aujourd’hui). La liste des articles “en continu » est située à droite de l’image principale de la page.

• Positionnez votre souris sur le premier lien de cette liste et effectuez un clic droit > Inspecter.

  

• Le code HTML de la page s’affiche, et le code du lien est en surbrillance (en bleu).
• Positionnez votre souris sur cette surbrillance bleue et effectuez un clic droit > Copy > Copy XPath.

  

• Nous avons désormais tout ce dont nous avions besoin ! Retournez sur Google Sheets, positionnez-vous dans la case A1, et inscrivez-y la formule :

=IMPORTXML("http://www.lemonde.fr";"//*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li[1]/a")

NB : La partie //*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li[1]/acorrespond au XPath que vous avez copié dans votre presse-papier.

Appuyez sur entrée, et après une petite séquence de chargement, le résultat s’affiche : félicitations, vous avez crawlé vos premières données avec Google Sheets !

Si vous obtenez une erreur, c’est très probablement car vous avez des guillemets dans votre XPath, et ceux-ci posent un problème avec les guillemets de la formule. Remplacez-les par des apostrophes et tout devrait marcher !

Exemple : [@id="habillagepub"] devient [@id='habillagepub']

3 – Allons plus loin

Comme vous l’aurez remarqué, nous n’avons crawlé que le dernier article de la liste. Il serait bien plus intéressant d’avoir la liste entière.

Ceci nécessite de jongler un peu avec le XPath. Vous aurez remarqué les numéros entre crochets dans celui-ci : ils signifient que nous sélectionnons l’élément qui porte ce numéro dans l’arborescence de la page. Par exemple, « div[2] » signifie que nous sélectionnons le 2e élément <div>.

En étudiant un peu le code, on remarque que tous les liens des articles “en continu » sont contenus dans des éléments <a>, eux-même contenus dans des éléments <li>. Or, si l’on regarde dans le XPath, nous y avons uniquement sélectionné le premier élément <li> :

//*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li[1]/a

Si nous voulons sélectionner tous les liens, il suffit donc de supprimer ce numéro, et IMPORTXML crawlera par défaut tous les éléments.

Essayons donc avec la formule suivante :

=IMPORTXML("http://www.lemonde.fr";"//*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li/a")

Vous l’avez sans doute compris, lors de vos propres tentatives, les difficultés que vous rencontrerez seront principalement dues au XPath, qui est un outil peut-être compliqué à aborder à première vue, mais néanmoins très logique, et extrêmement puissant. Il est utilisé dans de très nombreux domaines et je ne peux que vous conseiller de vous documenter sur ses subtilités. Il est possible que vous ne réussissiez pas à obtenir le résultat souhaité du premier coup, il faudra alors essayer de l’obtenir en modifiant le XPath (ce qui peut s’avérer hardu au premier essai, j’en conviens).

Pour plus d’informations sur le XPath, c’est par ici : http://www.w3schools.com/xml/xpath_intro.asp.

4 – Allons encore plus loin

Imaginons que nous voulons récupérer la liste de tous les articles du blog Crème de la Crème et leur titre. La liste de tous les articles est assez facile à trouver, il suffit de se rendre sur le sitemap de Crème de la Crème(le fichier qui contient toutes les adresses du site, afin que Google puisse les indexer). Cependant, le titre de l’article est une information qui se trouve ailleurs, sur chacune des pages d’article. Nous allons donc devoir crawler cette information sur chacun des articles du blog.

Le fichier sitemap des posts de Crème de la Crème se situe à cette adresse. Nous allons donc tout d’abord crawler la liste de toutes les adresses d’articles à l’aide de la formule :

=importxml("http://blog.cremedelacreme.io/sitemap-posts.xml";"//*[local-name() ='url']/*[local-name() ='loc']")

Puis, en observant le code d’une page d’article, on se rend compte que le titre est une balise <h1> portant la classe « post-title ». Autre force du XPath, nous allons donc crawler ces titres en les sélectionnant par classe :

=importxml(A1;"//h1[@class='post-title']")

Etendez la formule jusqu’au bas de la liste d’articles, et le tour est joué ! Si vous voulez crawler plusieurs informations distinctes sur la même page en une seule formule, c’est possible aussi avec IMPORTXML ! Vous n’avez qu’à inscrire plusieurs XPath à la suite en les séparant par une barre verticale « | ».

Par exemple, si vous voulez aussi, en plus de son titre, crawler les tags de chaque article, utilisez la formule suivante :

=importxml(A1;"//div[@class='tag-links']/a|//h1[@class='post-title']")

Cependant, ici les données s’affichent les unes en dessous des autres et nous empêchent d’étendre la formule. On utilisera donc la formule TRANSPOSE qui permet de transformer une colonne en ligne (et inversement), ce qui donne finalement la formule :

=transpose(importxml(A1;"//div[@class='tag-links']/a|//h1[@class='post-title']"))

5 – Repousser les limites

IMPORTXML est une fonction très puissante pour collecter les données du web. Comme nous l’avons vu, elle se base essentiellement sur le XPath, et il est primordial que vous vous documentiez un peu plus en détail à son sujet si vous souhaitez pouvoir crawler toutes les données que vous souhaitez.

Cette fonction fera le travail souhaité et vous donnera pleinement satisfaction dans la grande majorité des cas. Cependant, il faut lui reconnaître des limites, notamment en terme de vitesse de crawl sur les très grands volumes de données. Un simple copier-coller du XPath ne marchera pas toujours non plus, il faudra parfois le modifier un peu avec pour obtenir le résultat souhaité.

Il devient alors beaucoup plus intéressant de développer ses propres fonctions pour Google avec Sheets avec GScript, le langage de programmation de Google. Ce langage quasi-jumeau de Javascript vous permettra de développer des API et des applications très rapides pour Sheets, Drive, Doc, Gmail… à la manière des macros sur Excel.

Il devient alors notamment possible de manipuler en profondeur les données, de programmer des actions dans le temps, de créer dynamiquement des feuilles de calculs, voire même d’envoyer par mail leur résultat de manière automatique … ce que nous verrons dans un prochain article !

Source de ce bel article : cremedelacreme.io