BIGQUERY – PRIMEIROS PASSOS E CONSULTAS AVANÇADAS

Objetivos da formação

• Descrever o potencial do BigQuery para realizar análises.
• Conceber tabelas otimizadas (particionamento).
• Executar consultas otimizadas para controlar os custos.
• Utilizar o BigQuery com o Google Cloud Storage, Looker Studio e Bigtable.
• Desenvolver com BigQuery e Python.
• Colaborar em equipa para desenvolver rapidamente narrativas baseadas em dados.

Duração da formação

Programa da formação

Dia 1 

Introdução

• O que é o Google BigQuery: um motor SQL distribuído e sem servidor
• Funcionalidades do BigQuery
• Arquitetura do BigQuery
• Integração com a plataforma Google Cloud
• Estrutura de custos e boas práticas para o controlo de custos
• Segurança e conformidade

Exemplos de exercícios práticos:

• Análise e visualização de um conjunto de dados inicial com o BigQuery.

Trabalhar com o bigquery 

• Operações CRUD
• Outras operações: EXCEPT, REPLACE, subconsultas com WITH, agregação, HAVING, DISTINCT, junções…
• Guardar e partilhar consultas

Exemplos de exercícios práticos:

• Várias consultas em vários conjuntos de dados

Tipos de dados, funções, operadores

• Tipos e funções numéricas
• Trabalhar com o tipo booleano
• Funções de cadeia de caracteres
• Trabalhar com:

• O carimbo temporal
• Coordenadas espaciais
• Dados JSON

Exemplo de exercícios práticos:

• Aplicação prática a conjuntos de dados

Dia 2

Scripting bash com bigquery  

• Criar conjuntos de dados e tabelas

• Executar consultas

• Objetos do BigQuery

Exemplo de exercícios práticos:

• Aplicação prática

Otimizar desempenho e custos  

• Desempenho no BigQuery
• Particionar as tabelas para repartir custos e tempo
• Medir e resolver problemas de desempenho
• Melhorar o tempo de execução da consulta
• Otimizar o acesso e o armazenamento de dados
• Caso especial das consultas em lote e do carregamento de ficheiros

Exemplo de exercícios práticos:

• Aplicação prática através de uma comparação de desempenho entre dados particionados e não particionados.

Carregar, visualizar e colaborar no bigquery

• Fonte de dados
• Especificar um esquema de dados
• Copiar para uma nova tabela
• Gestão de dados: DDL e DML
• Carregar dados de forma eficiente
• Consultas federadas
• Fontes de dados externas
• Consultas SQL sobre dados alojados no Cloud Bigtable
• Utilização de controladores JDBC/ODBC
• Transferências e exportações
• Visualização de dados e criação de dashboards com o Looker Studio
• Utilizar o Dataflow para ler/escrever no BigQuery
• Trabalhar com dados locais e métodos de migração
• Trabalhar em equipa com ecrãs de dados

Exemplos de exercícios práticos:

• Criação e consulta de tabelas a partir de dados no GCS, Bigtable e MySQL.

Dia 3

CONSULTAS AVANÇADAS

• Reutilização de consultas, parametrização, UDF (função definida pelo utilizador)
• SQL avançado
• Funções estatísticas

Exemplo de exercícios práticos:

• Aplicação prática

Desenvolver com o bigquery 

• Desenvolver programaticamente
• Aceder ao BigQuery através da API REST
• Manipulação de dados
• Utilizar a biblioteca de cliente do Google Cloud
• Consultar com estas bibliotecas
• Aceder ao BigQuery com ferramentas de ciência de dados (Jupyter, R, Cloud Dataflow)
• Incorporar dados do BigQuery em Google Slides

Exemplos de exercícios práticos:

• Execução e agendamento de programas Python que integrem consultas BigQuery.

Dia 4

Aprendizagem automática com bigquery

• O que é a aprendizagem automática?
• Construir um modelo de regressão e de classificação
• Personalizar o BigQuery ML

Exemplo de exercícios práticos:

• Aplicação prática

Administrar e proteger o bigquery

• Segurança da infraestrutura
• IAM
• Administrar o BigQuery
• Disponibilidade, recuperação após falha, encriptação
• Conformidade regulamentar

Exemplo de exercícios práticos:

• Aplicação prática

Formador

Facilitador que combina know-how com experiência empresarial e competências pedagógicas, para dar resposta a necessidades operacionais e potenciar a aprendizagem.