Onde manter artefatos

[JaTvoiRabotnik]

Objetivo 4: Criar convençoes para armazenar aqui no git os originais fornecidos, e os textos processados para recuperação de estrutura.

Nao concordo com isso. Acho que aqui no repositorio deveriamos manter somente o codigo fonte. Vide o outro issue falando de Hosting.

[ppKrauss]

@JaTvoiRabotnik, a sua colocação faz sentido... Para continuar a discussão talvez precisemos de algum aprofundamento:

1. A perspectiva é ir além da coleta automática de conteúdos desejados... É fazer um pouco de "trabalho braçal" sobre os HTMLs, então esse trabalho não pode ser perdido.
   Exemplo: com auxílio de regular expressions, polimento dos dados, etc. é que chegaremos em bons resultados, de modo que os HTMLs não ressurgirão magicamente de um só click, precisam ser preservados.

2. Os "dados" da pasta html formam um text corpus, é uma questão metodológica e de disciplina para monitoramento das falhas e da evolução dos algoritmos.
   OOPS, você sumiu com a pasta! (e eu já aprovei o sumisso ;-)

3. A OKFn ainda não possui mecanismos de preservação de dados (vide algo sério como LOCKSS ou pelo menos IPFS)... Então se o governo pisa na bola ou muda as "regras do jogo", tudo fica perdido. Hoje a única coisa que garante certa preservação é o LexML, mas são apenas metadados, ele não armazena HTML.

[JaTvoiRabotnik]

Compreendido.

Algo a se colocar na documentacao da metodologia entao, vide issue 6