[infra] definir novo schema para a BD about website

[d116626]

observations.py vai virar entity.py

Acho que esse aqui pode dar problema com o banco, então só pra n ficar uma loucura de nomes vou deixar observations.pye quando puder mudar no banco ai muda aqui tbm

[rdahis]

O schema abaixo será continuamente iterado até fecharmos as validações.

Fonte discutida com o @polvoazul, que inclui mais informações sobre cada campo: https://github.com/basedosdados/website/blob/c814e38c1fb5c5bbad7d118d071bf81a0f1b962b/ckanext-basedosdados/ckanext/basedosdados/scheming_metadata_definitions_v2.yaml

dataset

dataset_id:
  - derived: no
organization_id:
  - derived: no
title:
  - derived: no
description:
  - derived: no
tag_string:
  - derived: no
download_type:
  - derived: yes
spatial_coverage:
  - derived: yes
time_coverage:
  - derived: yes
entity:
  - derived: yes
time_unit:
  - derived: yes
auxiliary_files_url:
  - derived: no

bdm_table

dataset_id:
table_id:
description:
spatial_coverage:
  description: "bla bla bla"
  input_hint: "ble ble ble"
  order: [description, time_coverage]
  label:
    en: ""
    pt: ""
time_coverage:
update_frequency:
  description: Bla bla bla.
  answers: [segundo, minuto, hora, dia, semana, mes, bimestre]
entity:
time_unit:
identifying_columns:
last_updated_metadata:
last_updated_data:
last_released:
version:
published_by:
  description: 
  order: 
  subfields:
    name: 
      input_hint: 
    email: 
      input_hint: 
    github: 
      input_hint: 
    website: 
      input_hint: 
data_cleaning_description:
raw_data_url:
architecture_table_url:
covered_by_dictionary:

column

table_id:
name:
type:
description:
time_coverage:
has_dictionary:
directory_column:
measurement_unit:
original_names:

dictionary

dataset_id:
table_id:
last_updated:

external_link

dataset_id:
url:
description:
language:
has_structured_data:
has_api:
is_free:
requires_registration:
availability:
requires_brazilian_ip:
license_type:
spatial_coverage:
time_coverage:
entity:
update_frequency:

information_request

dataset_id:
origin:
number:
url:
superior_organ:
linked_organ:
opening_date:
who_requested:
status:
spatial_coverage:
time_coverage:
entity:
update_frequency:
data_url:
observations:

[JoaoCarabetta]

@d116626 quais campos que precisamos para completar o pydantic?

Precisaremos de pelo menos:

description
user_input_hint. exemplo: <sim, não>, <organização>

E precisamos das categorias dos campos categóricos

[d116626]

Sim, aqui no README do validator tem os requisitos:

https://github.com/basedosdados/website/tree/master/ckanext-basedosdados/ckanext/basedosdados/validator

[d116626]

Estrutura de pastas do novo schema, proposto no PR #38. @JoaoCarabetta @rdahis

validator
├── README.md
├── __init__.py
├── package
│   ├── __init__.py
│   ├── ckan_default_package
│   │   ├── __init__.py
│   │   ├── data_types
│   │   │   ├── __init__.py
│   │   │   ├── attr_enum.py
│   │   │   └── observations.py
│   │   └── package.py
│   └── dataset
│       ├── __init__.py
│       ├── dataset.py
│       └── dataset_definitions.py
└── resource
    ├── __init__.py
    ├── bdm
    │   ├── __init__.py
    │   ├── columns
    │   │   ├── __init__.py
    │   │   ├── columns.py
    │   │   ├── columns_definitions.py
    │   │   └── metadata_validator
    │   │       ├── __init__.py
    │   │       ├── bd_std_columns.yaml
    │   │       └── column_validator.py
    │   └── table
    │       ├── __init__.py
    │       ├── table.py
    │       └── table_definitions.py
    ├── ckan_default_resource
    │   ├── __init__.py
    │   └── resource.py
    └── external_link
        ├── __init__.py
        └── source.py

[rdahis]

Mudar observations.py para outra coisa.

Mudar ckan_default_package para ckan_default, e ckan_default_resource para ckan_default.

Definir onde vai ficar a pasta data_typesque contem os valores para o dropdown de cada metadado

[rdahis]

Dentro de resource já inclui também o information_request @d116626.

[d116626]

*_definitions.py para fields_definitions.py
data_types para avaliable_options e colocar na pasta raiz validator

[d116626]

@rdahis, @JoaoCarabetta. Nova estrutura de pastas:

validator
├── README.md
├── __init__.py
├── available_options
│   ├── __init__.py
│   ├── attr_enum.py
│   ├── availability.py
│   ├── language.py
│   ├── observations.py
│   ├── status.py
│   └── update_frequency.py
├── packages
│   ├── __init__.py
│   ├── ckan_default
│   │   ├── __init__.py
│   │   └── package.py
│   └── dataset
│       ├── __init__.py
│       ├── dataset.py
│       └── fields_definitions.py
├── resources
│   ├── __init__.py
│   ├── bdm
│   │   ├── __init__.py
│   │   ├── columns
│   │   │   ├── __init__.py
│   │   │   ├── columns.py
│   │   │   ├── fields_definitions.py
│   │   │   └── metadata_validator
│   │   │       ├── __init__.py
│   │   │       ├── bd_std_columns.yaml
│   │   │       └── column_validator.py
│   │   ├── dictionary
│   │   │   └── __init__.py
│   │   └── table
│   │       ├── __init__.py
│   │       ├── fields_definitions.py
│   │       └── table.py
│   ├── ckan_default
│   │   ├── __init__.py
│   │   └── resource.py
│   ├── external_link
│   │   ├── __init__.py
│   │   └── source.py
│   └── information_request
│       └── __init__.py
└── schema_ricardo
    ├── answers.yaml
    └── schema.yaml

[rdahis]

@d116626 um detalhe: bdm/columns deveria ser bdm/column no singular.

[rdahis]

observations.py vai virar entity.py

[d116626]

Sugestoes do @polvoazul

• dataset.dataset é estranho, jogar para o init
• trocar available_options por custom_types e colocar nested fields(custom_fields.py) que vários objetos usam esses campos.
• custom_fields privados ficam na pasta que chamando o arquivo

[d116626]

https://jsonforms.io/examples/basic

[vncsna]

@d116626 da pra fechar essa issue?