Archivi tag: base dati

Mese sabbatico

Questo lungo periodo di silenzio sul blog ha corrisposto ad una fase molto prolifica sul fronte della ricerca. Ho estratto nuovamente tutti i dati dalle tre basi dati online usando nuovi criteri (e automatizzando molti dei processi), li ho allineati per permettere un confronto tra le fonti in modo da individuare (e sanare) eventuali “biforcazioni” nelle genealogie, ho creato la struttura della base dati relazionale ed ho iniziato a popolarla. Tutto sembrava andare a gonfie vele finché è arrivato Dicembre, con il suo carico di impegni, che ha imposto una battuta di arresto, un mese sabbatico appunto. 

Un carico lavorativo straordinario in vista della fine dell’anno mi ha impegnato più del solito trasformando la pausa pranzo in un momento in cui tirare il fiato più che immergersi nell’analisi dei dati. A questo si è aggiunta la decisione di riprendere l’attività musicale in orchestra, dopo oltre 11 anni di inattività. Una scelta di cui sono molto soddisfatto e che spero abbia un seguito, compatibilmente con tutto il resto. 

Nel frattempo, si è laureato il tesista a cui avevo dato alcune dritte sulle genealogie. Ci siamo incontrati per discutere del futuro del progetto Hochadelsdorf e di come avremmo potuto collaborare per unire le due basi dati: quella a cui sto lavorando e quella da lui usata per la tesi. Abbiamo deciso delle linee comuni in modo che, pur lavorando, al momento, separatamente, possiamo poi, con un minimo di sforzo necessario, unire i dati. Hochadelsdorf a questo punto allarga il suo team di lavoro e questo non può che farmi piacere. 

Ancora una volta mi trovo a fare buoni propositi per il nuovo anno. Questa volta sarò molto cauto: l’aspettativa è quella di finire di popolare il database relazionale. Sarebbe già un traguardo! 

Delusioni

Quando sembrava che il lavoro di disambiguazione della base dati fosse concluso, un nuovo processo di analisi basato questa volta non sulle coppie ma sugli “orfani” (soggetti con genitori sconosciuti) ha messo in luce una serie consistente di buchi nelle genealogie. In pratica alcuni soggetti, e non pochi, hanno i genitori noti nella maggior parte delle occorrenze nel database ma non in tutte. Queste occorrenze nelle quali il soggetto risulta figlio di ignoti (anche se i genitori sono conosciuti) crea dunque una serie di interruzioni negli alberi e soprattutto una mancata corrispondenza tra soggetti. La causa sembrerebbe essere l’integrazione di alcuni alberi con dati provenienti da altre fonti ma quello che conta, adesso, è trovare un algoritmo in grado di rimettere a posto i genitori.

Progressi

Il lungo silenzio su queste pagine è dovuto all’enorme lavoro di disambiguazione effettuato sulla base dati di Hochadelsdorf. Per disambiguazione intendo l’individuazione di soggetti che, pur essendo la stessa persona, compaiono con nomi diversi nella base dati. Il fenomeno è dovuto alla provenienza dei soggetti da fonti diverse o più semplicemente a grafie diverse dello stesso nome. Risolutiva, in questa poderosa caccia all’intruso, è stata l’ideazione di un processo di analisi che si basa non sui singoli individui ma sulle coppie. Associando ciascun soggetto al suo o ai suoi coniuge/i è stato più agevole scovare i falsi doppi e ricondurli ad una grafia unica. Il lavoro manuale è stato considerevole ma l’estrazione automatica di questo tracciato di controllo ha fatto sì che potessimo procedere per approssimazioni successive fino alla completa (o almeno ragionevolmente tale) bonifica della base dati. L’intera operazione ha richiesto oltre un anno di lavoro anche se c’è da dire che, per me, non è certo un lavoro a tempo pieno e non è stato facile individuare di tempi adeguati per essere portato a termine. L’esito positivo dell’ultimo controllo effettuato mi ha fatto tirare un sospiro di sollievo anche se sono consapevole che ci sono ancora molte fasi da affrontare prima che la base dati sia veramente adatta allo scopo della ricerca che ci siamo posti.