COLLECTE de données avec Ethnos DAta
Démarrer avec EthnosData
EthnosData permet de traiter vos données d’enquêtes mais aussi les compléter en récupérant et analysant très facilement des données multi-sources et multi-formats : pages Web, réseaux sociaux, forums, sources Open Data, bases de données d’entreprise (Hadoop, SQL), comptes de messagerie…
Grâce à EthnosData, il vous est désormais possible de charger des fichiers d’enquêtes en provenance de différents supports, d’importer des fichiers de données aux formats usuels, de vous connecter à des bases de données, de récupérer de façon dynamique des bases de données web et réseaux sociaux et de prendre en charge des données textuelles pour analyse de contenu. Les connexions aux sources de données et la production de résultats peuvent être automatisées pour se déclencher à fréquence définie (toutes les heures, tous les jours, chaque semaine ou mois…). Les résultats peuvent être publiés sur le web ou être consultés en temps réel via des applications de web-reporting dynamiques (avec l’option Web Reports).
Utilisation d’EthnosData
Pour choisir une source BigData, lancez le module de Traitement, puis cliquez sur l’icône BigData du menu Données.
La fenêtre « Choix d’une source BigData »s’affiche :
Vous avez la possibilité de choisir entre différents connecteurs :
- Ressources Web : OpenData, Fichiers, Page web, Capture Web avançée, Goole, Google Analytics, MS OData, Bing, Bourse, Comparateur, YouTube
- Réseaux sociaux : Twitter, Facebook, Google +, Forums, Sites marchands, Fluw RSS
- Fichiers utilisateur : Fichier TXT, Feuille Excel, Fichier CVS, Base Access, Document Word, Document PDF, Fichier XML
- Bases de données : Hadoop, SQL Server, SQL Lite, MySQL
- Messageries : Gmail, Outlook
OpenData
Le gouvernement met à notre disposition une pléthore de données, pourquoi ne pas en profiter ?
Avec la fonctionnalité OpenData, découvrez une multitude de sources gratuites et récupérez facilement les données qui vous intéressent.
Chargement d’une source Open data
Cliquez sur « Source OpenData ».
Sélectionnez dans la liste (1) la source OpenData désirée ou écrivez directement l’adresse web (2).
Lorsque vous avez sélectionné votre source Open data, plusieurs options s’offrent à vous :
- Vous avez identifié un fichier de données qui vous intéresse : ouvrez ce fichier dans l’outil et cliquez sur « Valider aperçu »(3). Si l’ouverture du fichier s’est effectuée sur votre poste et non dans l’outil, vous pouvez copier le contenu du fichier dans le presse papier et cliquer sur le bouton « Coller » (4).
- Vous avez identifié des données intéressantes mais non structurées dans un fichier : vous pouvez sélectionner celles-ci et cliquer sur l’option « Capturer la sélection » (5).
Notez qu’il vous est possible de définir un séparateur de vos colonnes et un délimiteur dans le cas de formats spécifiques.
Restructuration des données
La possibilité de procéder à une codification des variables ainsi générées vous est également offerte.
Pour cela, cliquez sur le bouton « Restucturer » (6). Vous pourrez alors modifier le type de chacune des variables par mise en surbrillance de celles-ci et par affectation à l’aide des boutons « Numérique », « Texte », « Qualitative », « Date », « Heure ».
Cliquez sur « OK » pour générer votre fichier et revenir au module « Données » pour procéder aux analyses.
Fichiers
La fonctionnalité « Fichiers de données » vous permet de trouver des fichiers de données en ligne au format « Classeur ».
Identification des fichiers
Pour cela, renseignez les mots clés de votre recherche (1) et sélectionnez le format de fichier à récupérer dans la liste déroulante (2).
Cliquez ensuite sur le bouton « Chercher » (3).
La liste des fichiers qui comportent le format, les mots clés spécifiés, et qui sont disponibles sur le web va alors s’afficher dans la zone prévue à cet effet (4).
Capture du contenu
Lorsque vous avez identifié un fichier de données intéressant, vous pouvez mettre en surbrillance l’Url de celui-ci et cliquer sur le bouton « Ouvrir le fichier » (5).
Une fois ce dernier ouvert sur votre poste, copiez son contenu, retourner sur EthnosData et cliquez sur l’option « Coller depuis le Presse-Papier » (6).
Pour générer le fichier de données, cliquez sur « Ok » (7).
Pages web
EthnosData vous offre la possibilité de récupérer en quelques clics le contenu textuel de pages web.
Liste des pages web à analyser :
Identifiez la ou les page(s) web à analyser et listez le ou les lien(s) dans la zone «URLs à analyser » (1).
Capture des données textuelles
Cochez les éléments à récupérer sur les différentes pages et cliquez sur le bouton « Lancer la recherche » (2).
Le résultat de la recherche s’affiche dans la partie « Aperçu des données » (3).
Lorsque la capture est terminée, cliquer sur le bouton « OK » (4) pour créer le fichier et retourner au module « Données » d’EthnosData.
Bing
La recherche Bing d’EthnosData vous permet de générer un fichier de données structuré autour de l’utilisation d’un mot clé chez différentes sources.
Paramétrage de la capture
Si vous avez déjà configuré une capture que vous avez sauvée, referez-vous au point 2.
Sélectionnez le ou les champ(s) qu’il vous semble utile de récupérer pour agrémenter votre fichier de données (1).
Déterminez ensuite le nombre maximal de sources à récupérer (2), choisissez la langue (3), et enfin un type de fichier si nécessaire (4).
Renseignez ensuite le mot clé (5) et lancez la recherche (6).
Enregistrement/Chargement de la capture
Une fois votre recherche terminée, si l’aperçu du fichier de données vous convient, vous avez la possibilité d’enregistrer le paramétrage de votre recherche en cliquant sur « Sauver profil » (7).
De même, il vous est également possible de charger un paramétrage que vous aviez effectué afin de gagner du temps, à l’aide du bouton « Charger profil » (8).
Cliquez sur « OK » (9) pour générer votre fichier et revenir au module « Données » d’EthnosData.
Bourse
EthnosData vous offre la possibilité de récupérer un historique des cours boursiers de la société que vous souhaitez observer.
Pour cela, renseignez le mnémonique de la société que vous souhaitez observer, configurez un intervalle de dates si nécessaire et lancez la recherche.
Cliquez sur « OK » pour générer le fichier et revenir dans le module « Données » d’EthnosData.
YouTube
EthnosData vous permet de récupérer le contenu de vidéos au format texte, à l’aide des traductions disponibles ou des traductions automatiques générées par YouTube.
Pour cela, renseignez le ou les mots clés relatifs à votre recherche (1) et lancez la recherche (2).
Cliquez ensuite sur la vidéo qui vous intéresse (3) (pour capturer son contenu de manière textuelle), et cliquez sur le bouton « OK » (4).
Une fenêtre va alors s’ouvrir : « La génération du fichier a été effectuée ».
Cliquez sur « OK », puis sur le bouton « Fermer » localisé dans le coin inférieur droit de votre écran pour revenir au module « Données » d’EthnosData.
Soft concept met à votre disposition des clés d’identification qui vous permettent d’utiliser le module Twitter. Toutefois, afin de profiter pleinement d’EthnosData et de ses fonctionnalités liées à Twitter, il est nécessaire de créer une application.
Se connecter à son compte Twitter :
Vous devez au préalable vous connecter à votre compte Twitter : https://twitter.com
Pensez à renseigner un numéro de téléphone dans les paramètres de votre compte, car vous ne pourrez pas créer d'application dans le cas contraire. Vous trouverez ce champs dans « Paramètres » (accessible depuis l’icône de votre avatar), puis « Mobile ».
Créer une application Twitter :
Rendez-vous sur la page https://apps.twitter.com/app/new
Remplissez les champs Name, Description, Website comme vous le souhaitez. Le champs Callback URL n'est pas à remplir. Acceptez les termes du contrat puis validez.
Récupérer les clés d'identification
Sur la page de vos applications , apparaît l'application que vous venez de créer.
Cliquez dessus et placez-vous dans l'onglet Keys and Access Tokens. Vous y trouverez la Consumer Key (API Key) et Consumer Secret (API Secret) qui vous sont demandées dans la fenêtre d'EthnosData.
Paramétrer la fonctionnalité Twitter d’EthnosData
Vous pouvez désormais utiliser pleinement cette fonctionnalité.
Dans un premier temps, spécifiez les mots-clés, hashTags, ou auteurs à rechercher dans les Tweets.
Puis, sélectionnez les champs à récupérer, c'est-à-dire les champs qui vont composer votre fichier de données.
Déterminez ensuite le nombre de Tweets à récupérer en fonction de la popularité, de la fraîcheur (ou bien des deux paramètres combinés) et de la langue (ne sélectionnez pas de langue pour avoir la totalité des langues).
Cliquez enfin sur le bouton « Lancer la recherche » pour déclencher la récupération des Tweets.
Notez que vous pouvez conserver tout ou partie des Tweets à l'aide de l'aperçu, lorsque la recherche a pris fin.
Vous pouvez également spécifier un chemin pour l'enregistrement des fichiers générés par votre requête.
Pour finir, cliquez sur « Ok » pour créer le fichier de données résultant de votre recherche Twitter.
Le rapport automatique
EthnosData vous propose de générer un rapport automatique, qui va se positionner à la suite des pages déjà créées.
Celui-ci vous permet d’identifier les « influenceurs » relatifs à votre recherche et la tonalité de leur tweet (positive ou négative).
Vous pourrez également suivre l’évolution quotidienne du volume des tweets Notez que cette courbe peut être plus ou moins visible en fonction des paramètres définis sur la fonctionnalité Twitter. Une récupération de 100 tweets seulement sur un mot clé qui fait polémique n’affichera qu’un seul point : celui de la date du jour.
Un zoom sur les mots négatifs vous est aussi proposé. Vous pouvez affiner cette liste par exclusion de mots « inutiles » ou par la génération d’un dictionnaire précis, propre à l’univers de la recherche. Par exemple, le mot « frais » peut être positif quand il est rattaché à l’alimentaire, mais négatif lorsqu’il est relatif à un aspect financier.
EthnosData vous propose de récupérer dans un fichier de données structuré les commentaires et likes de pages, de groupes ou de profils utilisateurs (publics), en relation à une recherche portant sur un ou plusieurs mots clés.
Connexion à Facebook
Vous devez dans un premier temps vous connecter à Facebook afin de pouvoir profiter des fonctionnalités de l’outil. Saisissez votre identifiant et mot de passe.
Paramétrage de la capture Facebook
Renseignez le(s) mot(s) clé(s) dans la recherche (1).Puis sélectionnez l’objet de votre recherche (page, groupe,…) (2) et cliquez sur le bouton « Rechercher » (3).
Un aperçu des objets identifiés vous est proposé (4) et des détails supplémentaires (nombre de likes, commentaires,…) vous sont présentés à l’aide d’un double clic sur chacun des items (5).
Vous avez alors la possibilité de générer un fichier de données en cliquant sur « OK » (6), puis revenir dans le module « Données » d’EthnosData.
Forums
Récupérer massivement des commentaires sur un forum n’est pas une tâche aisée. Il s’agit généralement d’une procédure fastidieuse mêlant des « copier / coller » indénombrables.
La fonctionnalité Forums d’EthnosData vous permet de récupérer ces informations de manière automatique à travers la création d’une procédure paramétrée en quelques clics.
Capture d’un Forum
La liste des forums déjà capturés vous est proposée dans votre « Journal » (1).
Il peut s’agir de forums capturés par Soft Concept où par vos soins.
Deux possibilités s’offrent à vous :
Le forum ciblé a déjà été capturé, il ne vous reste qu’à cliquer sur le bouton « Capturer » (2) et à sélectionner ce que vous voulez capturer.
Cliquez sur le bouton « Lancer la recherche » (1). EthnosData liste tous les sujets du forum sélectionné. Lorsque vous le souhaitez, arrêtez la capture en cliquant sur le bouton « Arreter » (2). Une fenêtre vous donne le nombre d’éléments détectés (3), validez la fenêtre en cliquant sur « Ok ».
EthnosData présente maintenant les éléments sous forme de tableau. Vous pouvez alors sélectionner les éléments que vous souhaitez garder (1). Une fois la sélection réalisée, cliquez sur « Capturer le détail » (2).
Vous pouvez à tout moment cliquer sur « Arrêter la capture » (1) et sur « Terminer » (2). Après un clic sur le bouton « Terminer », votre fichier de données structuré va apparaître dans le module « Données » du traitement. Il ne vous reste plus qu’à mener les analyses.
Le forum n’a pas été capturé, vous pouvez alors créer la vôtre depuis le bouton « Capture assistée »
Paramétrage d’une procédure de capture
Cliquez sur le bouton «Capture assistée ». La fenêtre « cliquez sur le titre du PREMIER produit/sujet » va apparaître. Sélectionnez de cette manière le nom du premier sujet (après avoir appuyé sur « Ok ») par exemple. Procédez de même pour la sélection du deuxième sujet.
Lorsque vous aurez effectué ces manipulations, la fenêtre « Assistant » va apparaître.
Vous pourrez alors identifier la variable générée par votre produit dans l’aperçu situé dans la partie inférieure (1).
Par ailleurs, cette fenêtre vous offre la possibilité d’alimenter votre fichier de données avec du contenu supplémentaire.
Pour ce faire, sélectionnez une nouvelle zone sur le forum (auteur, date, etc..). Vous verrez le contenu récupéré apparaître dans le cadre « Texte récupéré » (2). Il vous est alors possible de lui donner un titre, de caractériser le champ (type de la variable : texte, qualitative, date…), et de supprimer les préfixes ou suffixes inutiles en les ajoutant dans les zones prévues à cet effet.
Lorsque vous avez paramétré correctement votre contenu supplémentaire, cliquez sur « Ajouter ».
Procédez de même pour chacune des nouvelles variables que vous souhaitez intégrer, puis cliquez sur « Repérer la page suivante » (3), afin de permettre à l’outil d’identifier le bouton qui va permettre cette action.
Une fois le bouton «page suivante » désigné, vous pouvez cliquer sur « Terminer ».
Donnez alors un nom à la procédure créée et cliquez sur « OK ».
Il ne vous reste plus qu’à lancer la capture à l’aide du bouton « capturer ».
Sites marchands
Récupérer rapidement des informations relatives à une catégorie de produits sur un site marchand n’est pas une tâche aisée. Il s’agit généralement d’une procédure fastidieuse mêlant des « copier / coller » indénombrables.
La fonctionnalité sites marchands d’EthnosData vous permet de récupérer ces informations de manière automatique à travers la création d’une procédure paramétrée en quelques clics.
Capture d'un site marchand :
Placez-vous sur le site marchand cible, à l’aide d’une recherche Google depuis le logiciel.
Trois possibilités s’offrent ici à vous :
- La procédure a déjà été générée par Soft Concept, vous pourrez alors la récupérer sur le site www.soft-concept.com, à l’aide du bouton « Capturer », puis cliquez sur l’option « Rechercher cette procédure sur le site de Soft Concept ».
- Vous avez déjà configuré ce process, il ne vous reste qu’à cliquer sur le bouton « Capturer ».
- La procédure ne figure pas sur le site, vous pouvez alors créer la vôtre depuis le bouton « Paramétrer une procédure avec l’assistant de capture ».
Si vous avez récupéré les instructions de capture sur le site de Soft Concept ou si vous avez-vous-même généré la vôtre, vous pouvez directement passer au point suivant : Capture d’un site marchand.
Cliquez sur le bouton «Paramétrer une procédure avec l’assistant de capture ». La fenêtre « Cliquez sur le titre du PREMIER produit/sujet » va apparaître. Sélectionnez de cette manière le nom du premier produit par exemple (après avoir appuyé sur « Ok »), sur le site marchand. Procédez de la même manière pour la sélection du deuxième produit.
Lorsque vous aurez effectué ces manipulations, la fenêtre « Assistant » va apparaître :
Paramétrage d’une procédure de capture
Vous pourrez alors identifier la variable générée par votre produit dans l’aperçu situé dans la partie inférieure (1).
Par ailleurs, cette fenêtre vous offre la possibilité d’alimenter votre fichier de données avec du contenu supplémentaire.
Pour ce faire, sélectionnez une nouvelle zone sur le site marchand (description produit, prix, etc..). Vous verrez le contenu récupéré apparaître dans le cadre « Texte récupéré » (2). Il vous est alors possible de lui donner un titre, de caractériser le champ (type de la variable : texte, qualitative, date…), et de supprimer les préfixes ou suffixes inutiles en les ajoutant dans les zones prévues à cet effet.
Lorsque vous avez paramétré correctement votre contenu supplémentaire, cliquez sur « Ajouter ».
EthnosData 8
©Soft Concept 1999-2018 159
Notes personnelles
Procédez de même pour chacune des nouvelles variables que vous souhaitez intégrer, puis cliquez sur « Repérer la page suivante » (3), afin de permettre à l’outil d’identifier le bouton qui va permettre cette action.
Une fois le bouton « Page suivante » désigné, vous pouvez cliquer sur « Terminer ».
Donnez alors un nom à la procédure créée et cliquez sur « OK ».
Capture d’un site marchand
Cliquez sur le bouton « Capturer », sélectionnez la procédure à utiliser, et cliquez sur « OK ».
La capture des variables définies dans la procédure va alors se lancer. Vous pouvez à tout moment cliquer sur « Arrêter la capture » et sur « Terminer ».
Après un clic sur le bouton « Terminer », votre fichier de données structuré va apparaître dans le module « Données » du traitement. Il ne vous reste plus qu’à mener les analyses.
Flux RSS
Vous voulez vous tenir informé de toutes les actualités relatives à un domaine particulier ?
EthnosData vous propose de récupérer massivement et de manière structurée le contenu de flux RSS.
Télécharger un flux
Lorsque vous cliquez sur un flux, vous avez la possibilité de capturer son contenu, à l’aide de l’option « Télécharger le flux » . Vous pouvez également s’abonner au flux.
Vous pouvez alors sauvegarder son contenu dans un fichier de données ouvert ou dans un nouveau fichier de données.
S’abonner à un flux
Terminez enfin la capture en cliquant sur « OK » pour revenir au module « Données » d’EthnosData.
Fichier TXT
EthnosData offre l’opportunité d’importer des fichiers Txt internes dont vous êtes propriétaires.
Bien structurer son fichier
Avant d’importer votre fichier Txt, il est nécessaire de vérifier la structure de celui-ci : supprimez les colonnes vides, ne conservez qu’un seul titre par colonne, évitez les retours charriots et les caractères spéciaux, et privilégiez enfin les « / » ou les « ¤ » en tant que séparateur des modalités de réponses sur les variables qualitatives multiples.
La codification des variables
Une fois votre fichier Txt ouvert dans EthnosData, vous avez la possibilité de procéder à une codification des variables qu’il est judicieux d’adopter pour faciliter le traitement des données.
Pour ce faire, mettez-les en surbrillance avant de leur affecter un type.
Une particularité est à noter ici toutefois : la codification des variables multiples. En effet, après un clic sur le bouton « Qualitative », il est important de spécifier le nombre maximal de réponses possibles, et surtout de désigner un séparateur (dans la majorité des cas, un « / »). Appliquez le choix de celui-ci en cliquant sur le bouton « OK » qui lui est associé. Ceci permettra d’isoler les différentes modalités de réponses (« A », « B ») pour ne pas avoir des combinaisons (« A/B ») en modalités de réponses.
Cliquez enfin sur « Générer » pour créer le fichier de données.
Feuille Excel
EthnosData offre l’opportunité d’importer des fichiers Excel internes dont vous êtes propriétaires.
Bien structurer son fichier
Avant d’importer votre fichier Excel, il est nécessaire de vérifier la structure de celui-ci : supprimez les colonnes vides, ne conservez qu’un seul titre par colonne, et privilégiez les « / » ou les « ¤ » en tant que séparateur des modalités de réponses sur les variables qualitatives multiples.
La codification des variables
Une fois votre fichier Excel ouvert dans EthnosData, vous avez la possibilité de procéder à une codification des variables qu’il est judicieux d’adopter pour faciliter le traitement des données.
Pour ce faire, mettez-les en surbrillance avant de leur affecter un type.
Une particularité est à noter ici toutefois : la codification des variables multiples. En effet, après un clic sur le bouton « Qualitative », il est important de spécifier le nombre maximal de réponses possibles, et surtout de désigner un séparateur (dans la majorité des cas, un « / »). Appliquez le choix de celui-ci en cliquant sur le bouton « OK » qui lui est associé. Ceci permettra d’isoler les différentes modalités de réponses (« A », « B ») pour ne pas avoir des combinaisons (« A/B ») en modalités de réponses.
Cliquez enfin sur « Générer » pour créer le fichier de données.
Fichier CSV
EthnosData offre l’opportunité d’importer des fichiers CSV internes dont vous êtes propriétaires.
Bien structurer son fichier
Avant d’importer votre fichier CSV, il est nécessaire de vérifier la structure de celui-ci : supprimez les colonnes vides, ne conservez qu’un seul titre par colonne, évitez les retours charriots et les caractères spéciaux, et privilégiez enfin les « / » ou les « ¤ » en tant que séparateur des modalités de réponses sur les variables qualitatives multiples.
La codification des variables
Une fois votre fichier CSV ouvert dans EthnosData, vous avez la possibilité de procéder à une codification des variables qu’il est judicieux d’adopter pour faciliter le traitement des données.
Pour ce faire, mettez-les en surbrillance avant de leur affecter un type.
Une particularité est à noter ici toutefois : la codification des variables multiples. En effet, après un clic sur le bouton « Qualitative », il est important de spécifier le nombre maximal de réponses possibles, et surtout de désigner un séparateur (dans la majorité des cas, un « / »). Appliquez le choix de celui-ci en cliquant sur le bouton « OK » qui lui est associé. Ceci permettra d’isoler les différentes modalités de réponses (« A », « B ») pour ne pas avoir des combinaisons (« A/B ») en modalités de réponses.C
Cliquez enfin sur « Générer » pour créer le fichier de données.
Base Access
La fonctionnalité Access d’EthnosData vous permet de créer un fichier de données Ethnos à partir d’une base de données Access.
Fichier XML
EthnosData offre la possibilité d’importer un fichier XML et de le transformer en fichier de données structuré en vue de l’analyser statistiquement
Pour cela, cliquez sur le bouton « Parcourir » (1), puis sélectionnez votre fichier XML. Appuyez ensuite sur le bouton « Charger » (2).
Si le résultat généré dans l’aperçu (3) vous convient, vous pouvez cliquer sur « OK » (4). Le fichier de données va se créer, vous pouvez maintenant revenir au module « Données » d’EthnosData.
Outlook
La collecte de données Outlook proposée par EthnosData vous permet de générer un fichier de données à partir de l’ensemble des messages relatifs au(x) mot(s) clé(s) renseigné(s), ainsi que les adresses e-mails et numéros de téléphones associés.
Pour cela, sélectionnez dans un premier temps le dossier à récupérer (1), puis les éléments soumis à l’exploration (sujet, corps du message, expéditeur, …) (2), puis spécifiez votre volonté ou non de récupérer toutes les adresses e-mails et numéros de téléphones associés aux messages récupérés (3).
Renseignez enfin un ou plusieurs mot(s) clé(s) (4) et lancez la recherche (5).
Cliquez sur « OK » (6) pour générer le fichier et revenir au module « Données » d’EthnosData.