Lodex permet l’enrichissement et le traitement des colonnes du jeu de données à travers l’usage de web service. Cette fonctionnalité peut également être utilisées en “mode avancé”  pour créer de nouvelle colonne à partir des colonnes existantes, voici quelques recettes prêtes à l’emploi :

Créer une colonne avec une valeur fixe et identique

[assign]
path = value
value = fix('OK')

Ces instructions créent une colonne où chaque ligne a comme valeur “OK”

Créer une colonne avec une valeur fixe et identique (bis)

[assign]
path = value
value = OK

Ces instructions créent une colonne où chaque ligne a comme valeur “OK”

Créer un champ booléen indiquant  la présence de certaines valeurs

[assign]
path = contientAouB
value = get('value).castArray().some(v =>  ['VAL A', 'VAL B'].includes(v))

Ces instructions créent une colonne (contientAouB) contenant une valeur booléenne indiquant si certaines valeurs (VAL A ou VAL B) sont contenues dans une liste ou un tableau de chaines de caractères (value).

Créer un champ booléen indiquant  la présence de certaines valeurs (bis)

[assign]
path = contientPresqueMIL
value = get('value').castArray().some(v => String(v).search(/mil[aeiuo]+/i) !== -1 )

Ces instructions créent une colonne (contientPresqueMIL) contenant une valeur booléenne indiquant si certaines valeurs contenues dans une liste ou un tableau de chaines de caractères respectent une expression régulière particulière (/mil[aeiou]+/i).

Créer une colonne à partir de la valeur d’un objet d’une autre colonne

[assign]
path = value
value = get('value.unpaywall.is_oa')

Ces instructions créent une colonne contenant une valeur (is_oa) contenu dans l’objet d’une autre colonne (unpaywall)

Créer une colonne à partir de la valeur modifiée d’une autre colonne

[assign]
path = value
value = get('value.definition@fr', 'VIDE').toLower().prepend('PREFIX>').append('<SUFIXE')

Ces instructions créent une colonne où chaque ligne contient la valeur de la colonne “definition@fr” mise en minuscule et à laquelle est ajouté un préfixe et un suffixe. Si la colonne “definition@fr” est vide ou n’existe pas, la valeur par défaut sera “VIDE”.

Remplacer les lignes vides ou inexistantes d’une colonne par un texte prédéfini

[assign]
path = value
value = get('value.definition@en')

[swing]
test = get('value').isEmpty()

[swing/assign] 
path = value 
value = fix('non renseigné')

Ces instructions remplacent les lignes vides ou inexistantes par la chaîne “non renseigné”.

Modifier le contenu de toutes les lignes d’une colonne sans en créer une nouvelle

[assign]
path = value
value = get('value.title').capitalize()

Ces instructions transforment toutes les valeurs de la colonne “title” en s’assurant que le premier caractère sera en majuscule et que les suivants seront en minuscule.

IMPORTANT : pour modifier directement une colonne, il est nécessaire de créer un enrichissement ayant le même nom que la colonne à modifier.

Remplacer  la colonne URI générée automatiquement par une colonne préexistante

[assign]
path = value
value = get('value.UT')

Ces instructions utilisent la colonne “UT” pour remplacer la colonne “uri” générée automatiquement.

NOTE : pour modifier directement une uri, il est nécessaire de créer un enrichissement ayant comme nom “uri”.

WARNING : la colonne uri doit impérativement contenir des valeurs distinctes. Si ce n’est pas le cas, la publication et d’autres enrichissements seront impossibles.

Créer une colonne URI avec valeurs distinctes.

[identify]
path = value

Ajouter un identifiant pérenne de type ARK

[assign]
path = value
value = get('value.uri')

[expand]
size = 10
path=value
[expand/URLConnect]
url = https://ark-tools.services.inist.fr/v1/67375/stamp?subpublisher=XXX

Ces instructions vont attribuer un identifiant pérenne à chaque ligne. XXX est à remplacer par le code du “subpublisher” approprié et enregistré dans le registre de l’Inist : http://inist-registry.ark.inist.fr/

WARNING : Chaque identifiant ARK créé par ce web service est créé uniquement une seule fois. Si il n’est pas utilisé, l’identifiant est perdu.

Créer une colonne avec le préfixe d’un DOI

[assign]
path = value
value = get('value.DI').split('/').head()

Modifier et/ou corriger certaines valeurs d’une colonne

[assign]
path = value
value = get('value.Revue').replace('Nature Phys.','Nature Physics.')

NOTE : pour modifier directement une colonne, il est nécessaire de créer un enrichissement ayant comme nom le même nom que la colonne à modifier.

Créer une colonne en s’assurant que toutes les lignes contiennent un tableau (même vide)

[assign]
path = value
value = get("value.Entités nommées (Unitex).placeName", [])

Ces instructions créent une colonne à partir du sous champ “placeName” de la colonne “Entités nommées (Unitex). S’il n’y a pas de valeur, le tableau sera vide.

Créer une colonne en séparant des champs multivalués (en fonction d’un séparateur) en vue de leur enrichissement

[assign]
path = value
value = get("value.Keywords").toString().split(';').filter(Boolean)

Ces instructions créent une colonne à partir du champ “Keywords” en découpant chaque ligne en fonction du caractère “;” . Le résultat est un tableau de valeur.

 

Créer une colonne à partir de la concaténation de deux autres colonnes

[assign]
path = value
value = fix(self.value.Title, self.value.Abstract).join('>')

Ces instructions créent une colonne à partir des champs “Title” & “Abstract” en les concaténant dans une même colonne. Dans cet exemple, les 2 valeurs seront collées avec le caractère “>”

Créer une colonne à partir de la concaténation de deux autres colonnes (bis)

[assign]
path = value
value = get("value.Title").append(">").append(self.value.Abstract)

Ces instructions créent une colonne à partir des champs “Title” & “Abstract” en les concaténant dans une même colonne. Dans cet exemple, les 2 valeurs seront collées avec le caractère “>”

Créer un objet par défaut pour toutes les lignes qui contiennent la valeur n/a

[assign]
path = value
value = get("value.loterre")

[swing]
test = get('value').isEqual('n/a')
[swing/replace]
path = value.information
value = Aucune réponse

Ces instructions créent une colonne à partir du champs “loterre” et remplacent toutes cellules contenant la valeur n/a par un objet :

{ information: "Aucune réponse" }

Récupérer dans une liste d’objets deux valeurs simples

[assign]
path = value
value = get('value.concepts loterre').map(item => _.pick(item, ['prefLabel@en', 'about']))

Ces instructions créent une colonne à partir d’une liste d’objets en simplifiant chaque objet pour ne garder que 2 champs différents de chaque objet.
Dans cet exemple, seules les propriétés ‘prefLabel@en’ et ‘about’ seront conservées. Les autres champs de l’objet sont ignorés.

 

Transformer une liste d’objets en liste de valeurs simples

[assign]
path = value
value = get("value.Catégories scientifiques (Titre & Résumé)").map((item) =>`${item.rang}-${item.code.value}`))

Ces instructions créent une colonne à partir d’une liste d’objets en créant une chaîne de caractères composée par 2 champs différents de chaque objet.
Dans cet exemple, “item.rang” et “item.code.value” seront collées avec le caractère “-”. Les autres champs de l’objet sont ignorés.

Filtrer  une liste de valeurs avec une autre liste (intersection)

[assign]
path = value
value = get("value.pays").filter(x => ['ITALIE', 'ALLEMAGNE', 'FRANCE', 'BELGIQUE'].includes(x))

Ces instructions créent une colonne à partir d’une liste de  pays en s’assurant qu’ils ont présents dans une liste spécifique.
Dans cet exemple,  la liste résultant du traitement contiendra uniquement l’un des 4 pays.

Filtrer  une liste de valeurs avec une autre liste (différence)

[assign]
path = value
value = get("value.pays").filter(x => !['ITALIE', 'ALLEMAGNE', 'FRANCE', 'BELGIQUE'].includes(x))

Ces instructions créent une colonne à partir d’une liste de  pays  en excluant les pays présents dans une liste spécifique.
Dans cet exemple, les 4 pays seront exclut de la liste résultant du traitement.

Nettoyer une liste de termes

[assign]
path = value
value = get('Termes génériques').map(v =>_.chain(v).deburr().replace(/[^\w]/, ' ').replace(/\s+/, ' ').trim().lowerCase().value())

Ces instructions appliquent une série de transformation sur l’ensemble des termes d’une liste.
Dans cet exemple deburr supprimera les caractère accentués, replace supprimera tous les caractères non alphanumériques et remplacera tous les espaces doubles par des espaces simples, trim supprimera les espaces en fin et début de mot, et lowerCase mettra tous les mots en minuscules.

Créer une colonne avec une valeur JSON

[assign]
path = value
value = get('value.jsonValue').thru(JSON.parse)

Ces instructions créent une colonne à partir d’une autre colonne (nommée jsonValue) contenant des valeurs formatées en JSON.

Pour aller plus loin

Les recettes Lodex sont composées d’une série d’instructions qui s’enchaînent séquentiellement pour chaque ressource du dataset.
Les instructions ont un  nom entre crochet, exemple :

[assign]

Chaque instruction possède ou non plusieurs paramètres. Chaque paramètre a un nom et une valeur, exemple:

[assign]
path = doi 
value = 0.1007/s00300-012-1156-9

la valeur d’un paramètre peut être dynamique, c’est à dire calculé à partir de chaque ressource, ces calculs sont réalisés par un enchaînement de fonctions, une fonction se reconnaît par un nom suivi de parenthèses, exemple:

[assign]
path = doi
value = get("value.crossrefID")

La liste des instructions utilisables dans lodex et leurs paramètres associés est disponible ici : https://inist-cnrs.github.io/ezs/#/plugin-core

La liste des fonctions utilisables dans les paramètres est disponible ici: https://lodash.com/docs/4.17.15