Desafio / Objectivo
As cidades e os seus cidadãos são produtores de grandes quantidades de dados diversos. A diversidade de muitas fontes de dados é de facto um dos maiores problemas no processamento de grandes quantidades de dados. A integração de dados semânticos oferece vantagens únicas, em oposição às abordagens mais tradicionais. ETL (Extract, Transfer, Load), por exemplo, cria estrangulamentos para o acesso aos dados e não escala, bem como tecnologias que consomem os dados directamente sem os deslocar.
No âmbito do projecto GrowSmarter, a grande solução de integração de dados de Barcelona visa desenvolver um modelo semântico que reflecte e liga três domínios de interesse: mobilidade, energia e infra-estruturas integradas. Os utilizadores podem pesquisar e consultar a ontologia. O objectivo é fornecer uma solução que seja mais fácil de evoluir, manter e portar para novas cidades com dados e padrões de utilização diferentes.
Solução
Esta solução consiste em três componentes:
- A ontologia da cidade,juntamente com uma ferramenta de navegação e consulta: A ontologia da cidade reflecte o significado (isto é, semântica) de todos os conceitos urbanos (entidades e relações) que descrevem os domínios de interesse e as ligações entre eles. A ferramenta de navegação e consulta permite uma pesquisa baseada em palavras-chave de conceitos, navegação a partir destes conceitos-âncora, e a construção de consultas de uma forma gráfica.
- Ferramenta de mapeamento semi-automático: Esta ferramenta alinha o modelo semântico e o modelo específico da plataforma de dados da cidade, e estará disponível através da web. Múltiplos utilizadores poderão participar de forma colaborativa para produzir alinhamentos válidos.
- Camada de acesso semântico (SAL):
- Funciona como um ponto de acesso para aplicações que colocam consultas semânticas para aceder aos dados na plataforma de dados da cidade. Aplicações que acedem a dados de diferentes cidades podem funcionar sem modificações se existir uma SAL para aquelas cidades que mapeia entre a ontologia da cidade e o esquema real da cidade. A SAL actua em nome das aplicações (com as suas credenciais de segurança e privacidade definidas pelo Cellnex) para obter os dados necessários através de uma API REST e calcular os resultados da consulta para as poucas operações de consulta mais comuns (tais como join). Chama a ferramenta de mapeamento para saber quais são os recursos no esquema da plataforma da cidade que correspondem aos conceitos semânticos contidos numa consulta.
- As soluções de integração de dados implicam tradicionalmente uma abordagem de armazenamento de dados. Embora isto se baseie numa tecnologia bem estabelecida e eficiente, bem como em bases formais sólidas, várias características dos dados em ambientes urbanos são um desajuste para este tipo de integração de dados. Primeiro, os dados e esquemas evoluem; segundo, os dados estão incompletos e não devem ser feitas suposições sobre dados não existentes; terceiro, há um número crescente de fontes de dados de natureza e formatos heterogéneos que precisam de ser integrados de uma forma eficiente e, tanto quanto possível, automatizada; quarto, os dados estão normalmente disponíveis para consulta mas não podem ser movidos e armazenados no alvo.
- Estes são cenários onde as tecnologias semânticas se destacam. Estes não são apenas um ajuste natural para o paradigma do Mundo Aberto, mas evoluem graciosamente e promovem técnicas de mapeamento semiautomático para uma população e acesso massivo a dados.
- Uma vantagem é que novos dados podem ser integrados mais rapidamente, novas relações semânticas podem ser inferidas e os utilizadores podem consultar os dados sem ter de aprender uma linguagem de consulta nem compreender todo o modelo de dados de cada vez.
Quer aprender mais sobre as lições partilhadas, detalhes financeiros e resultados?
Entrar