NB : cet article demande quelques bases en HTML et en CSS, notamment sur les concepts de balise et de classes. Ces bases peuvent néanmoins s’acquérir très rapidement, notamment en consultant le site suivant.

Introduction

La digitalisation de la société et l’essor du e-commerce engendrent chez les webmarketeurs et les managers un besoin croissant d’accéder à l’information en temps réel. Il devient de plus en plus primordial d’être capable de consulter instantanément et sur de larges volumes des informations telles que les derniers tweets de telle ou telle entreprise, ou bien les prix de tel ou tel concurrent.

C’est pourquoi le data crawling, ou collecte automatisée de données, connaît une popularité grandissante auprès des managers d’aujourd’hui. Vous pouvez notamment utiliser le data crawling et la méthode que nous allons aborder aujourd’hui pour faire du price monitoring de votre concurrence, mener très rapidement des audits SEO de sites web, être averti en temps réel de la publication d’offres d’emploi sur le site carrière d’une entreprise … les applications sont illimitées.

Au cours de ces dernières années, Google a fortement mis l’accent sur sa suite bureautique, et a réussi à séduire de plus en plus d’entreprises, non sans raisons. Cette stratégie culmine avec le récent lancement de GSuite, présenté comme un “ensemble d’applications intelligentes pour les entreprises ». Cette définition, quoique pompeuse, est tout à fait appropriée, dans la mesure où les applications de Google telles que Drive, Gmail ou encore Sheets se différencient de la concurrence de par leur faculté à se “connecter » au web, et à pouvoir interagir entre elles. Il est ainsi possible de crawler des données avec Sheets, de les stocker sur Drive, puis de les envoyer automatiquement par mail via Gmail.

Nous allons aujourd’hui nous concentrer sur la possibilité de crawler des données via Sheets, qui est l’équivalent SaaS par Google de Microsoft Excel.

1 – La fonction IMPORTXML

D’après le support de Google, la fonction IMPORTXML “importe des données depuis des types de données structurées tels que XML, HTML, CSV, TSV et des flux RSS et ATOM XML. »

Bien plus que cela, cette formule importe les données et les rafraîchit en live si leur valeur change sur la page que vous crawlez !

Sa syntaxe est la suivante : IMPORTXML("url", "requête_xpath")

Avec :

• URL : adresse de la page à examiner, protocole inclus (http, https…)
• requête_xpath : requête XPath à exécuter sur les données structurées.

Ne prenez pas peur, malgré son nom peu avenant, l’utilisation du XPath est assez simple à appréhender : c’est une sorte “d’adresse » qui permet de naviguer entre les éléments d’une page web. De plus, nous allons voir qu’il est très facile à obtenir.

2 – Les choses sérieuses commencent

Sans plus attendre, mettons en application ! Pour commencer, nous allons crawler le dernier article de la liste des articles “en continu » du Monde.

Retrouvez tous les exemples de cet article en cliquant ici : http://bit.ly/2n4Kx5m

Rendez-vous à l’adresse sur Google Drive, connectez vous à l’aide de votre compte Google, et créez une nouvelle Sheets (bouton bleu “Nouveau » > Sheets en haut à gauche de l’écran).

Maintenant que votre fichier de travail est ouvert, positionnez-vous dans la cellule A1. Pour que notre fonction IMPORTXML fonctionne, nous avons besoin de deux éléments : l’adresse de la page à visiter, et le XPath de l’élément à crawler.

Pour l’adresse, il s’agit de http://www.lemonde.fr, nous allons donc maintenant chercher le XPath.

Rendez-vous sur Le Monde, de préférence à l’aide de Google Chrome (ce tutoriel se basera sur ce navigateur, qui est le plus utilisé aujourd’hui). La liste des articles “en continu » est située à droite de l’image principale de la page.

• Positionnez votre souris sur le premier lien de cette liste et effectuez un clic droit > Inspecter.

  

• Le code HTML de la page s’affiche, et le code du lien est en surbrillance (en bleu).
• Positionnez votre souris sur cette surbrillance bleue et effectuez un clic droit > Copy > Copy XPath.

  

• Nous avons désormais tout ce dont nous avions besoin ! Retournez sur Google Sheets, positionnez-vous dans la case A1, et inscrivez-y la formule :

=IMPORTXML("http://www.lemonde.fr";"//*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li[1]/a")

NB : La partie //*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li[1]/acorrespond au XPath que vous avez copié dans votre presse-papier.

Appuyez sur entrée, et après une petite séquence de chargement, le résultat s’affiche : félicitations, vous avez crawlé vos premières données avec Google Sheets !

Si vous obtenez une erreur, c’est très probablement car vous avez des guillemets dans votre XPath, et ceux-ci posent un problème avec les guillemets de la formule. Remplacez-les par des apostrophes et tout devrait marcher !

Exemple : [@id="habillagepub"] devient [@id='habillagepub']

3 – Allons plus loin

Comme vous l’aurez remarqué, nous n’avons crawlé que le dernier article de la liste. Il serait bien plus intéressant d’avoir la liste entière.

Ceci nécessite de jongler un peu avec le XPath. Vous aurez remarqué les numéros entre crochets dans celui-ci : ils signifient que nous sélectionnons l’élément qui porte ce numéro dans l’arborescence de la page. Par exemple, « div[2] » signifie que nous sélectionnons le 2e élément <div>.

En étudiant un peu le code, on remarque que tous les liens des articles “en continu » sont contenus dans des éléments <a>, eux-même contenus dans des éléments <li>. Or, si l’on regarde dans le XPath, nous y avons uniquement sélectionné le premier élément <li> :

//*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li[1]/a

Si nous voulons sélectionner tous les liens, il suffit donc de supprimer ce numéro, et IMPORTXML crawlera par défaut tous les éléments.

Essayons donc avec la formule suivante :

=IMPORTXML("http://www.lemonde.fr";"//*[@id='habillagepub']/div[1]/div/div[2]/div[1]/div[1]/ul[1]/li/a")

Vous l’avez sans doute compris, lors de vos propres tentatives, les difficultés que vous rencontrerez seront principalement dues au XPath, qui est un outil peut-être compliqué à aborder à première vue, mais néanmoins très logique, et extrêmement puissant. Il est utilisé dans de très nombreux domaines et je ne peux que vous conseiller de vous documenter sur ses subtilités. Il est possible que vous ne réussissiez pas à obtenir le résultat souhaité du premier coup, il faudra alors essayer de l’obtenir en modifiant le XPath (ce qui peut s’avérer hardu au premier essai, j’en conviens).

Pour plus d’informations sur le XPath, c’est par ici : http://www.w3schools.com/xml/xpath_intro.asp.

4 – Allons encore plus loin

Imaginons que nous voulons récupérer la liste de tous les articles du blog Crème de la Crème et leur titre. La liste de tous les articles est assez facile à trouver, il suffit de se rendre sur le sitemap de Crème de la Crème(le fichier qui contient toutes les adresses du site, afin que Google puisse les indexer). Cependant, le titre de l’article est une information qui se trouve ailleurs, sur chacune des pages d’article. Nous allons donc devoir crawler cette information sur chacun des articles du blog.

Le fichier sitemap des posts de Crème de la Crème se situe à cette adresse. Nous allons donc tout d’abord crawler la liste de toutes les adresses d’articles à l’aide de la formule :

=importxml("http://blog.cremedelacreme.io/sitemap-posts.xml";"//*[local-name() ='url']/*[local-name() ='loc']")

Puis, en observant le code d’une page d’article, on se rend compte que le titre est une balise <h1> portant la classe « post-title ». Autre force du XPath, nous allons donc crawler ces titres en les sélectionnant par classe :

=importxml(A1;"//h1[@class='post-title']")

Etendez la formule jusqu’au bas de la liste d’articles, et le tour est joué ! Si vous voulez crawler plusieurs informations distinctes sur la même page en une seule formule, c’est possible aussi avec IMPORTXML ! Vous n’avez qu’à inscrire plusieurs XPath à la suite en les séparant par une barre verticale « | ».

Par exemple, si vous voulez aussi, en plus de son titre, crawler les tags de chaque article, utilisez la formule suivante :

=importxml(A1;"//div[@class='tag-links']/a|//h1[@class='post-title']")

Cependant, ici les données s’affichent les unes en dessous des autres et nous empêchent d’étendre la formule. On utilisera donc la formule TRANSPOSE qui permet de transformer une colonne en ligne (et inversement), ce qui donne finalement la formule :

=transpose(importxml(A1;"//div[@class='tag-links']/a|//h1[@class='post-title']"))

5 – Repousser les limites

IMPORTXML est une fonction très puissante pour collecter les données du web. Comme nous l’avons vu, elle se base essentiellement sur le XPath, et il est primordial que vous vous documentiez un peu plus en détail à son sujet si vous souhaitez pouvoir crawler toutes les données que vous souhaitez.

Cette fonction fera le travail souhaité et vous donnera pleinement satisfaction dans la grande majorité des cas. Cependant, il faut lui reconnaître des limites, notamment en terme de vitesse de crawl sur les très grands volumes de données. Un simple copier-coller du XPath ne marchera pas toujours non plus, il faudra parfois le modifier un peu avec pour obtenir le résultat souhaité.

Il devient alors beaucoup plus intéressant de développer ses propres fonctions pour Google avec Sheets avec GScript, le langage de programmation de Google. Ce langage quasi-jumeau de Javascript vous permettra de développer des API et des applications très rapides pour Sheets, Drive, Doc, Gmail… à la manière des macros sur Excel.

Il devient alors notamment possible de manipuler en profondeur les données, de programmer des actions dans le temps, de créer dynamiquement des feuilles de calculs, voire même d’envoyer par mail leur résultat de manière automatique … ce que nous verrons dans un prochain article !

Source de ce bel article : cremedelacreme.io

C’est la revanche de Windows XP. Le bon vieux système d’exploitation, dont Microsoft a officiellement cessé le support le 8 avril 2014 (ce qui n’est pas tout à fait vrai dans les faits), a pourtant bénéficié d’une mise à jour exceptionnelle ce vendredi 12 mai. L’éditeur a en effet mis en ligne un correctif à destination de Windows XP, ainsi que pour Windows 8 et Windows Server 2003 (toutes les infos sont ici), et ça n’est pas pour la galerie : cette mise à jour est absolument indispensable pour éviter l’attaque Wanna Decryptor, ou WannaCrypt.

C’est le petit nom du rançongiciel qui se déploie massivement à travers le monde depuis hier. Une centaine de pays sont touchés et, selon les chercheurs en sécurité, WannaCrypt aurait infecté plus de 100 000 PC. Microsoft explique que Windows 10 n’est pas concerné.

Le système de santé britannique fait partie des victimes les plus touchées, et depuis hier des histoires horribles nous parviennent d’outre-Manche de patients qui n’ont pas pu se faire opérer ; il faut dire que 90% du National Health Service fonctionne encore sous Windows XP… Mais le Royaume-Uni n’est pas le seul pays infecté : c’est le cas aussi de l’Allemagne avec la Deutsche Bahn (voir capture ci-dessus), en Russie ou encore en Asie. Le New York Times a mis en ligne une carte interactive où l’on peut voir la propagation du rançongiciel.

La France aussi est frappée. Le CERT, Centre de veille et d’alerte de l’ANSSI (agence de la sécurité des systèmes d’information) a posté un bulletin d’alerte prévenant de la propagation d’un ransomware qui affecte les systèmes d’exploitation Windows. Renault a été touché, rapporte l’AFP, mais le constructeur automobile « fait le nécessaire pour contrer cette attaque ». L’inquiétude est de mise pour lundi alors que de nombreuses entreprises — en particulier les PME — vont revenir au travail.

La propagation semble toutefois se ralentir : non seulement Microsoft a pris rapidement les choses en main, mais encore le chercheur en sécurité MalwareTech a, un peu par hasard, trouvé le moyen de bloquer le déploiement du logiciel malveillant. Ce dernier se connecte à un site web (dont l’URL est présente dans son code) et s’il n’y parvient pas, la diffusion se poursuit. En achetant le nom de domaine, ce chercheur a tout simplement fermé le robinet de la propagation.

Rappelons que WannaCrypt, qui se propage au travers de courriels, exploite une vulnérabilité qui faisait partie de l’arsenal de la NSA. Les Shadow Brokers, un groupe de pirates qui entretiendrait des liens avec la Russie, sont parvenus à subtiliser ces informations en avril. Ce ransomware chiffre les données du PC infecté et réclame 300 $ en bitcoin pour les libérer.

Pour éviter ces graves problèmes de sécurité, il faut mettre constamment à jour ses machines, ce qui dans des grandes infrastructures comme le NHS anglais peut poser des problèmes logistiques ; et aussi mettre en place une stratégie de sauvegarde de ses données, de telle sorte de pouvoir réinstaller une version antérieure propre en cas d’infection.

Source : MacGeneration

Microsoft a profité de sa conférence dédiée à l’éducation pour dévoiler Windows 10S, une nouvelle variante du système.

Microsoft tient actuellement une conférence de presse à New York pour présenter de nouveaux produits visant le marché de l’éducation.

Windows 10 S est au centre de cette nouvelle stratégie, pensée pour répondre au succès grandissant de ChromeOS et des Chromebook dans les écoles. Le nom Windows 10S est justifié par Microsoft par une volonté de renforcer la simplicité et de sécurité.

LE VRAI WINDOWS 10, MAIS LIMITÉ AU WINDOWS STORE

Windows 10 S est compatible avec l’ensemble des ordinateurs actuellement prévus pour Windows 10. La démonstration durant la conférence était faite sur un Surface Book, un PC portable qui est commercialisé avec Windows 10 Pro. Cette nouvelle version est basée sur Windows 10, Microsoft annonce donc qu’il sera compatible avec les mêmes périphériques externes que la version classique.

Windows 10 S est toutefois limité aux applications du Windows Store. Il ne sera pas possible de télécharger et installer un logiciel en .exe ou .msi, comme c’est le cas habituellement sous Windows.

Depuis l’été dernier, Microsoft autorise les développeurs à publier des logiciels classiques Windows sur le Windows Store grâce à Project Centennial. La firme a d’ailleurs profité de la conférence pour annoncer l’arrivée prochaine d’Office 2016 sur le Windows Store. En revanche, un navigateur comme Chrome n’est pas présent sur le Store : il sera absent de Windows 10 S jusqu’à ce que Google se décide à le sortir…

WINDOWS 10 S EST TOUTEFOIS LIMITÉ AUX APPLICATIONS DU WINDOWS STORE

La différence entre les applications du Windows Store et les logiciels que l’on installe habituellement est que Windows garde les applications dans une sandbox, qui lui permet de garantir une meilleure stabilité des performances dans le temps. Windows 10 S ne devrait donc pas s’encrasser avec le temps, comme cela peut-être le cas des autres versions de Windows 10.

7 FABRICANTS PARTENAIRES DE MICROSOFT

Microsoft annonce avoir déjà convaincu sept fabricants de concevoir des produits sous Windows 10S.

Dans le lot, on retrouve les partenaires habituels de Microsoft, à savoir Acer, Asus, Dell, Fujitsu, HP, Samsung et Toshiba. Ils proposeront dès cet été des produits sous Windows 10 S à partir de 189 dollars pour les écoles.

Source : Numerama

La télévision en France n’est pas gratuite. Déjà si vous possédez une télévision, vous devez payer la redevance télévision. La TNT soi-disant proposée gratuitement vous coûte 138€ par an.

Sur toutes les chaînes de télévision, il y a de la publicité. C’est grâce à cela que vous avez l’impression de ne rien payer.

Enfin, dans votre abonnement triple-play (Internet – Téléphone et Télévision) vous payez pour les chaînes de télévision.

VOUS NE PAYEZ PAS ASSEZ SELON TF1 ET M6 !

Les fournisseurs d’accès payent des droits de diffusions aux chaînes notamment TF1 et M6. Actuellement, le prix fixé est de 10 millions d’euros par an. Ce ne serait pas assez puisque TF1 voudrait 100 millions, soit 10 fois plus, rien que ça !

Pour arriver à leur fin, ils menacent de suspendre la diffusion de leurs chaînes sur les box. Cela pourrait arriver très rapidement avec une suspension de l’accès sur les applications mobiles des fournisseurs. Dès le mois prochain, il ne sera plus possible de voir TF1 sur l’ordinateur, sur votre smartphone ou tablette via les applications des opérateurs. Et la menace de suspension de diffusion sur les box est prévue pour cet été.

ET SI ON BOYCOTTAIT TF1 ET M6 !

Il est clair que l’on ne peut pas faire grand-chose contre la décision de nos fournisseurs d’accès internet. S’ils accèdent à la demande de TF1 et M6, en augmentant un peu les droits de diffusions, cela va se répercuter sur l’utilisateur. Clairement votre abonnement triple-play va augmenter. Pourquoi ? Parce que ces deux groupes sont trop gourmands. Les programmes ne vont pas être meilleurs pour autant.

Si on ne regarde plus les chaînes du groupe TF1 et M6, les audiences vont baisser. Cela influera sur leurs campagnes publicitaires. Et ils se rendront bien compte que l’on paye déjà assez cher pour leur service. Cela permettra d’ailleurs à certains de se rendre compte que l’on peut se passer de la télévision. Sans parler de piratage, depuis que j’ai Netflix, je regarde de moins en moins les programmes à la télévision. D’ailleurs, il arrive régulièrement que les films du dimanche soir proposé sur TF1 soient déjà disponibles sur Netflix. L’avantage est que l’on peut regarder le film lorsqu’on le souhaite et sans coupure publicitaire !

Voici les chaînes des deux groupes si vous voulez arrêter de les regarder temporairement. Cela évitera peut-être l’augmentation de votre abonnement à votre fournisseur.

Source : Psy4Tech.com

La commune de Roullours, près de Vire (Calvados) est confrontée à un problème de réseau. Chaque jour, dès que les cloches de l’église sonnent, Internet plante ! Précisions.

Source : actu.fr

Un générateur de places de cinéma ? Le business Internet des entrées de cinéma à moindre coût piège les internautes crédules.

Je vous racontais, il y a quelques semaines, le business des places de cinéma pas chéres dans le black market. Des pirates proposaient des places pour les Cinémas Gaumont Pathé pour moins de 2 euros alors que le tarif initial avoisine la dizaine d’euros.

Plusieurs de ces pirates m’avaient proposé d’expliquer la méthode utilisée … par leurs concurrents afin de préserver leur technique personnelle, et donc leur business. Bref, à les écouter, il y aurait plusieurs possibilités de générer des places de cinéma à moindre frais.

Dans la foulée, des arnaques ont été montées autour de ce business. Des générateurs de billets de cinéma seraient accessibles comme l’explique un site web dédié à cette vente pas comme les autres :  « Vous en avez marre de payer vos places trop cher ? Vous ne pouvez pas sortir au cinéma car vous n’avez pas les moyens ? Maintenant c’est fini ! » explique l’escroc.

Il indique posséder un logiciel capable de générer des places : « Choisissez une date d’expiration, la version du générateur actuel permet de générer des codes valables jusqu’en 2020 ! » En quelques clics de souris, sa démonstration semble génèrer un code qui serait utilisable sur le site http://www.cinemasgaumontpathe.com.

Son outil produirait des codes tirées de cartes des cinémas Gaumont Pathé.

Pour télécharger cet outil, il est réclamé de s’inscrire sur des services télématiques, celui de Blinko ou de Chilicel. Bref, les « pigeons » pensent récupérer un logiciel et se retrouve avec un abonnement téléphonique à 4, 5, 6€ par semaine si leur option Internet+ n’est pas bloquée.

Le prélèvement se fait directement sur la facture téléphonique.

Qui derrière cette arnaque ? Très certainement un affilié aux différentes régies proposant des « jeux » et autres applications pour téléphones portables… ou alors une méthode marketing agressive et mensongère des sociétés proposant des services pour smartphones.

Une méthode que je vous dénonçais, il y a peu, avec un faux outil de piratage des photos sur Snapchat. Une fausse application web proposée par une contrefaçon du site de BFM Tv.

Bref, la prudence est de mise ! N’oubliez pas d’utiliser l’option proposée par votre fournisseur d’accès à Internet afin d’empêcher les prélèvements bancaires à partir de votre smartphone et ordinateur via un SMS ou Internet+. Des achats multimédia et SMS+ à bloquer.

Dernier point, la meilleure méthode pour ne pas être piégé est de cesser de tout vouloir gratuitement, quitte à voler des entreprises comme des cinémas et ses employés.

Source : zataz.com

Lancé en 1987, Illustrator est aujourd’hui utilisé pour produire plus de 180 millions de visuels par mois, affirme Adobe. Un anniversaire retracé au fil de 16 évolutions de sa palette d’outils.
Source : macg.co

Réalisation du design de 3 banderoles pour le (super) club Résine & Silex (Impression par MacFly Val-de-Reuil)

• 2 banderoles de 4 x 1m
• 1 banderole de 1 x 1 m

Création de flyers pour l’épicerie Angkor à Pont de l’arche. 

Google a décidé de réagir face au décret empêchant de nombreuses personnes avec une double nationalité de franchir les frontières des États-Unis. Sundar Pichai a notamment annoncé la création d’un fonds de 4 millions de dollars pour aider tous les immigrants.

Face aux mesures radicales de Trump sur l’immigration, qui pourraient impacter fortement la Silicon Valley, Google a décidé de réagir. Le géant de la recherche sur le web a décidé de créer un fond de 4 millions de dollars pour lutter contre la mesure et protéger les personnes affectées. Un montant historique dans une cause humanitaire pour Google.

L’implication de Sundar Pichai

Dans un mémo interne, le PDG de Google a critiqué la mesure de Trump. La mesure empêche pour rappel de nombreux citoyens à la double nationalité de passer les frontières des États-Unis. Sont spécialement visés les citoyens venant de Syrie, d’Iran, d’Irak, du Yémen ou du Soudan, de la Libye et de la Somalie. Évidemment, pour les immigrants de la Silicon Valley, comme Sundar Pichai justement — qui vient d’Inde –, ce n’est pas acceptable. Il a donc annoncé un fond pour aider tous les immigrants concernés par la mesure. Il a de plus ajouté qu’il était particulièrement touché par « la douleur provoquée par le décret présidentiel » de Donald Trump ainsi que l’impact que cela pouvait avoir sur « les familles de ses collègues ».

La plus grande action humanitaire de Google

Ce fonds est financé à hauteur de 2 millions de dollars en propre par l’entreprise, et jusqu’à 2 millions par les salariés. Il constitue la mesure la plus importante que Google ait jamais prise dans le domaine humanitaire. Google n’est d’ailleurs pas le seul à s’impliquer directement dans la bataille. Reed Hastings, PDG de Netflix, Mark Zuckerberg de Facebook ou bien encore Brian Chesky, PDG de AirBnB ont tous faire part de leur consternation. Le PDG d’AirBnB a notamment annoncé par un tweet qu’il proposait un hébergement gratuit aux réfugiés et à tout le monde qui ne serait plus accepté aux États-Unis. On a également pu apercevoir le cofondateur de Google, Sergey Brin, prendre part aux manifestations, « à titre personnel » a-t-il indiqué aux médias.

Source : frandroid.com