2023/05/31 | Notion

Mapping OMID-OpenAlexID: abbiamo le tabelle

Esempio

omid	openalex_id	type
meta:br/060209	W3081582674	report
meta:br/060100	W4234406162 W4211128081	reference book
meta:br/060562	W3094786550	report
meta:br/060629	W3110358918	report
meta:br/060593	W3209100775	report
meta:br/06030	W2058776352	journal article

Numeri

DOIs/OA Works	145 771 340
PMIDs/OA Works	35 428 718
PMCIDs/OA Works	6 961 907
OAIDs/OA Works (total)	153 644 983
OMIDs/OA Works (OMID mappati ad almeno 1 OAID)	74 567 082
Work OAIDs/Meta	74 586 242
“multi-mapped” OMIDs (one OMID for multiple OAIDs)	tot: 17 897
	reference book	69
	series	1
	standard	7
	book series	1
	journal	241
	journal article	10 001
	book	7 247
	proceedings article	106
	reference entry	108
	book chapter	95
	report	12
	web content	4
	proceedings	4
	dataset	1

Pipeline

1. Preprocess delle tabelle:

META: per ogni riga del dump, ne viene prodotta una versione ridotta e adattata, con tre campi: omid, ids, e type. I file in uscita sono CSV, divisi secondo la stessa identica struttura input.

omid ids type

meta:br/06402983462 doi:10.1109/cts.2014.6867571 proceedings article
OpenAlex Works: per ogni entità nel dump (JSON-L), per ogni identificativo che sia anche supportato in META (doi, pmid, pmcid), viene prodotta una riga CSV che mappa il singolo PID all’OAID dell’entità, con i campi supported_id e openalex_id. I file in uscita sono salvati nella stessa struttura di directory del dump in input. Così com’è ora, pre-processare il dump di OA richiede più di 8 ore!

supported_id openalex_id

doi:10.1086/351287 W4244689552

omid	ids	type
meta:br/06402983462	doi:10.1109/cts.2014.6867571	proceedings article

supported_id	openalex_id
doi:10.1086/351287	W4244689552

2. Creazione del DB per i dati in OA Works

Vengono create tre tabelle in un database con sqlite, una per ciascuno dei tre tipi di identificativo che sono stati mantenuti nella fase di preprocess (doi, pmid, pmcid). Il processo (eseguito tre volte, una per tipo di ID), funziona così:
- per ogni file in OA Works, viene creato un dataframe
- il dataframe viene filtrato per il tipo di ID specificato come parametro in input
- il dataframe filtrato viene aggiunto alla relativa tabella SQL (automaticamente creata se ancora non esiste); i dataframe vengono aggiunti al DB passandoindex=False
Le tabelle, dopo essere state create, vengono indicizzate (questo processo ha richiesto dai 5 ai 9 minuti a tabella). Per ciascuna tabella, viene creato un index costruito sul valore di supported_id.

3. Mapping OMID-OAID

Per ogni entità nelle tabelle di Meta “ridotte”, per ogni suo ID, se l’ID è doi|pmid|pmcid , viene cercato sulla relativa tabella per trovarne l’OAID corrispondente. Se viene trovato, è aggiunto al set degli OAID che sono mappati all’OMID dell’entità (questo comporta che se due DOI che sono associati alla stessa entità in Meta sono invece associati a due diverse entità in OpenAlex, il set degli OAID avrà due item al suo interno. Per ogni entità in input viene prodotta una riga CSV in output, salvata su file con la stessa struttura/nomenclatura di quelli in input.

<aside> ℹ️ “Creating OMID-OpenAlexID map took: 451.97471783955893 minutes”. Il programma così com’è (cioè eseguito in modo seriale) viene eseguito in circa 7 ore e mezza.

</aside>