Archivi tag: database

Arenati sullo Step B

Lascia una risposta

Sull’onda di entusiasmo dello Step A siamo partiti con il successivo Step B ovvero l’integrazione delle generazioni dalla 9 alla 12. Non è servito molto tempo ad arenarsi di fronte ai soliti problemi di false omonimie, ambiguità nei nomi, mancate corrispondenze, tutte difficoltà dovute alla mancanza di un identificativo univoco dei soggetti che saranno risolte dal database relazionale. 
Se le competenze e gli strumenti per affrontare questi problemi non mancano, quello che manca è, come al solito, il tempo. Soprattutto da parte mia. 
Le pause pranzo (tempo principe per la ricerca ormai da diversi anni) sono state occupate da un MOOC dell’Université de Bourgogne su un argomento decisamente lontano dalla genealogia (l’enologia) ma, al momento, necessario per affrontare il concreto problema della vinificazione in modo almeno un po’ più consapevole. 
Anche l’attività musicale, ripresa quasi per gioco, ha cominciato ad assumere tratti interessanti e, anche se non assorbe troppo tempo, occupa in modo significativo le risorse mentali ed emotive altrimenti destinate al progetto. Inoltre sembra che anche sul piano della ricerca musicologica si stiano aprendo prospettive interessanti ed a breve sarò chiamato a scrivere (e magari pubblicare) qualche intervento che mi riporti su quel fronte del mondo accademico che mi vede inattivo da oltre dieci anni. 
Sicuramente, però, in questo variegato scenario, Hochadelsdorf mantiene il suo posto di progetto accademico prioritario, sempre più consapevoli che la costruzione di questa base dati ma soprattutto la sua divulgazione possa essere un importante contributo non solo allo studio delle genealogie ma anche a quello dei metodi della fisica applicati alle scienze umane. 

Step A

Lascia una risposta

Si potrebbe pensare che Hochadelsdorf sia scomparso nel nulla e invece ha raggiunto, in questi ultimi mesi, un primo traguardo. Quello che ho denominato Step A, ovvero il popolamento del database relazionale con le prime 9 generazioni, è completato.
Quindi non solo la struttura del database ma anche una parte dei dati pressoché definitivi è stata consolidata e adesso sto lavorando allo Step B ovvero le generazioni dalla 9 alla 12.
Certamente il cammino è ancora lungo anche perché viene percorso con una lentezza estenuante anche se inevitabile.
Nel frattempo (o meglio da un po’ di tempo ma me ne sono accorto solo in questi giorni) è uscito sui Quaderni Storici editi da Il Mulino, un articolo di Paolo Rossi e Roberto Bizzocchi dal titolo “La genealogia come disciplina ausiliaria della genetica”1 che presenta in maniera ampia il mio lavoro di tesi come conferma empirica del modello di Chang2 e come apertura verso ulteriori approfondimenti nell’ambito della genealogia quantitativa e della dinamica delle popolazioni. Uno stimolo in più a completare (in tempi brevi) la base dati.

1. Paolo Rossi, Roberto  Bizzocchi, La genealogia come disciplina ausiliaria della genetica, in “Quaderni storici, Rivista quadrimestrale” 1/2018, pp. 265-278, doi: 10.1408/91127
2. J.T. Chang, Recent common ancestors of all present-day individuals, Advances in Applied Probability 31 (1999) pp. 1002-1026

Leaving the comfort zone

Lascia una risposta

Due mesi fa, dopo 15 anni, ho lasciato l’azienda per cui lavoravo come sviluppatore software. È capitata una occasione interessante ed ho pensato che fosse arrivato il momento di mettersi alla prova. Sono molto soddisfatto della scelta. Certo non è stato facile ma un amico (e mentore da un punto di vista professionale) mi ha sempre mostrato l’immagine seguente. Ed io ho deciso di lasciare la mia zona di comfort per andare a vedere la magia là dove essa accade. 

Anche dal punto di vista della ricerca ho dovuto lasciare la zona di comfort. Dopo interventi infruttuosi e vicoli ciechi, abbiamo deciso di cambiare completamente approccio. Fino ad adesso abbiamo considerato Genealogics come la fonte dati principale ed utilizzato le altre (Roglo e Geneagraphie) come integrazione. Questo ha portato ad una serie di interventi che, se da una parte correggevano un’incongruenza, da un’altra parte ne inserivano di nuove con nuovi problemi di grafia dei nomi e di legami mancanti. Con oltre tre milioni di record è facile perdere il filo dopo un po’.
Così, dopo una non breve consultazione via Skype (ormai non vado quasi più in dipartimento), abbiamo deciso di ripartire… da capo! Esatto, dai file di testo estratti (a mano) dalle tre basi dati ed elaborati con una versione migliorata degli script in C# che ho usato, ormai oltre tre anni fa, per la tesi.
Da una parte dispiace che tre anni di lavoro siano serviti solo a creare know-how ma dall’altra è un sollievo uscire dalle pastoie di approcci sbagliati e dalla rigidità di una impostazione dei dati che se, all’epoca della tesi, è stata vincente perché ha permesso di individuare alcuni risultati e di intravederne altri, alla lunga ha dimostrato tutti i suoi limiti. Giusto per fare un esempio, all’epoca decisi di usare il nome come identificativo di ciascun soggetto: niente identificativi numerici univoci o cose simili. Avete idea di che significhi fare una ricerca su milioni di righe usando una stringa di trenta o quaranta caratteri come filtro?
In questa revisione della base dati (eviterò di chiamarla Hochadelsdorf 2.0) abbiamo deciso di adoperare da subito un approccio relazionale: più tabelle, una per ciascuna entità o relazione, collegate tra di loro mediante identificativi numerici. Sulla struttura del database tornerò in seguito perché è ancora in fase di definizione. Al momento sto estraendo i dati dai file di testo e popolando delle tabelle provvisorie; da esse dovrò generare un tracciato dati che metta a confronto le tre fonti e su cui determinare i soggetti corretti da importare nel database relazionale (“il relazionale” è ormai il nome comune per questo oggetto che stiamo andando a creare). La roadmap è definita, il tempo, al solito, è poco ma con le idee chiare sul da farsi si lavora meglio. Speriamo di aver imboccato la strada giusta che dalla comfort zone ci porti a incontrare la magia che in questo progetto, sono sicuro, è ancora tutta da scoprire.