Uma melhor experiência de importação de dados para LOAD DATA

Em versões recentes do IRIS, um novo e poderoso comando de carregamento de dados foi apresentado ao SQL: LOAD DATA. Esse recurso foi altamente otimizado para importar dados para o IRIS com extrema rapidez, inserindo centenas de gigabytes de dados em segundos, em vez de horas ou dias. 

Essa é uma melhoria bastante empolgante. No entanto, ainda há um grande problema na experiência de carregamento de dados. Especificamente, o tempo e o trabalho necessários para:

1. Definir o esquema da tabela em que você quer carregar os dados.
2. Descobrir a sintaxe do comando LOAD DATA.

Desenvolvi uma interface do usuário que lida com o passo CREATE TABLE de maneira invisível e gera a sintaxe para LOAD DATA, tudo isso em um assistente útil!

Pelo menos no meu caso — embora trabalhe com bancos de dados há décadas —, só importo dados algumas vezes por ano. Portanto, minhas habilidades de CREATE TABLE ficam enferrujadas, e é muito bom ter uma ferramenta cuidando disso para mim. E essa ferramenta não só lida com a sintaxe. Ela também inspeciona o arquivo CSV de entrada usando um utilitário da biblioteca SQL Utilities de @Benjamin De Boe para descobrir os tipos e o comprimento dos dados. Em seguida, ela faz mais algumas perguntas para definir a sintaxe do comando LOAD DATA necessário. O app pode executá-la ou você pode só copiar e ajustar a sintaxe por conta própria. 

Aqui está um passo a passo.

Etapa 1: instale o app e analise o arquivo CSV

Depois de seguir as instruções para instalar a solução, você terá um app Angular publicado como um aplicativo CSP e um aplicativo com back-end ObjectScript que servirá como a API para a interface com o banco de dados.

Observe meu conjunto de dados de amostra (usando a extensão CSV Rainbow no VS Code). Ele tem uma combinação de colunas numéricas, de texto e vazias.

Etapa 2: acesse o app

Você provavelmente encontrará o app em http://localhost:52773/csp/dataloadapp/index.html se usar a porta IRIS padrão e o nome do web application.

Etapa 3: especifique o local do arquivo CSV

Etapa 4: especifique o formato do arquivo CSV

LOAD DATA precisa saber algumas coisas, como o caractere do delimitador da coluna e onde começar no arquivo. 

Etapa 5: defina um nome de tabela de destino, com o nome do esquema também

Etapa 6: ajuste os nomes dos campos e tipos de dados

A maioria estará preenchida e provavelmente correta, mas você pode ajustar alguns nomes ou comprimentos de campos.

E é isso! Pressione "Load CSV" e o app do cliente fará uma chamada ao servidor para executar um comando CREATE TABLE SQL. Depois, execute LOAD DATA com a mesma sintaxe mostrada na caixa preta à direita. Entrando no Portal de Gerenciamento (ou qualquer outro cliente SQL), você pode ver como agora tenho o arquivo CSV carregado no IRIS.

Preciso me desculpar desde já, porque ainda não foi feita muita verificação de erros, mas é código aberto, então se você achar essa ferramenta útil, me ajude a fazer melhorias no GitHub.