Utilizando o Gateway SQL com Python, Vector Search e Interoperabilidade no InterSystems Iris

Parte 2 – Python e Vector Search

Uma vez que temos acesso aos dados da nossa tabela externa podemos utilizar tudo que o Iris tem de excelente com estes dados. Vamos, por exemplo, ler os dados da nossa tabela externa e gerar uma regressão polinomial com eles.

Para mais informações sobre o uso do python com o Iris veja a documentação disponível em https://docs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls?

Utilizando o Gateway SQL com Python, Vector Search e Interoperabilidade no InterSystems Iris

Parte 1 – Gateway SQL

Olá,

Neste artigo vamos ver o uso do Gateway SQL no Iris. O Gateway SQL permite que o Iris tenha acesso a tabelas de outros bancos (externos) via ODBC ou JDBC. Podemos acessar Tabelas ou Visões de diversos bancos, como Oracle, PostgreSQL, SQL Server, MySQL e outros.

Do ponto de vista de uso é como se a tabela estivesse local na nossa instância Iris, porém o armazenamento é realizado em um local externo.

Você pode encontrar erros durante qualquer ponto da execução do programa, e existem várias maneiras de levantar e tratar essas exceções. Neste artigo, exploraremos como as exceções são tratadas de forma eficiente no IRIS.

Um dos tipos de retorno mais comumente usados é %Status, que é usado por métodos para indicar sucesso ou falha. Vamos começar discutindo os valores de %Status.

Trabalhando com %Status

O tipo de retorno %Status é usado para representar erros ou sucesso. Muitos métodos do sistema retornam %Status quando ocorre um erro.

Atualizado 01/04/25

Olá Comunidade,

Vocês podem desbloquear todo o potencial do InterSystems IRIS — e ajudar sua equipe a se integrar — com a gama completa de recursos de aprendizado da InterSystems oferecidos online e presencialmente, para todas as funções em sua organização. Desenvolvedores, administradores de sistema, analistas de dados e integradores podem rapidamente se atualizar.

Temos algumas rotinas *.mac e precisamos preservar o fonte delas, pois estas rotinas têm autoria intelectual e apenas podem ser utilizadas por sessão de direito de uso (não podendo ser visualizada ou editada). A pergunta: como manter apenas o objeto da rotina no namespace do IRIS, sem interferir na sua execução?

Introdução

O IntegratedML é uma ferramenta poderosa do InterSystems IRIS que permite a criação, treinamento e gerenciamento de modelos de machine learning diretamente no banco de dados, utilizando SQL. Neste artigo, abordaremos a configuração do IntegratedML e sua aplicação em cenários reais, utilizando exemplos SQL que refletem seus dados.

Configuração do IntegratedML

Uma configuração de ML (“ML Configuration”) define o provedor de machine learning que executará o treinamento, além de outras informações necessárias.

Variáveis de host são um recurso de programação bastante comum em muitas implementações de SQL.
Uma pergunta recente no DC me alertou para o fato de que, no IRIS, Caché, Ensemble, ... variáveis de host existem apenas dentro do SQL incorporado:

>  Você pode fornecer variáveis de host apenas para consultas SQL incorporadas.  <

Exemplos relacionados estão incluídos na documentação disponível.

Esta é uma descrição de uma solução alternativa caso você não use/não possa usar SQL incorporado.

Olá Comunidade,

Neste artigo, apresentarei meu aplicativo iris-image-vector-search.
A demonstração de recuperação de vetores de imagem usa IRIS Embedded Python e o modelo OpenAI CLIP para converter imagens em dados vetoriais de 512 dimensões. Através do novo recurso de Busca Vetorial, VECTOR-COSINE é usado para calcular a similaridade e exibir imagens de alta similaridade.

Direção de aplicação da recuperação de imagens

A recuperação de imagens tem importantes cenários de aplicação na área médica, e seu uso pode melhorar muito a eficiência do trabalho.

Enquanto trabalhava para obter suporte JSON para algumas bibliotecas Python, descobri alguns recursos fornecidos pelo IRIS.

• JSON_OBJECT - Uma função de conversão que retorna dados como um objeto JSON.
• JSON_ARRAY - Uma função de conversão que retorna dados como um array JSON.
• IS JSON -Determina se um valor de dados está no formato JSON.
• JSON_TABLE Retorna uma tabela que pode ser usada em uma consulta SQL mapeando JSON.
• JSONPath é uma linguagem de consulta para consultar valores em JSON.

As primeiras prévias para desenvolvedores da plataforma de dados InterSystems IRIS^® data platform, InterSystems IRIS^® for Health, e HealthShare^® Health Connect 2025.1 foram publicadas no site de prévia para desenvolvedores do WRC. Os contêineres podem ser encontrados em nosso registro de contêineres e são marcados como última prévia.

Essas prévias de desenvolvedor incluem o recurso para migrar para o compilador IBM "Open XL C/C++ for AIX" 17.x, garantindo compatibilidade com futuras compilações do AIX conforme compiladores mais antigos se aproximam do fim do suporte.

As últimas versões de manutenção estendida do InterSystems IRIS, InterSystems IRIS for Health, and HealthShare Health Connect já estão disponíveis.

✅ 2024.1.3

Versão 2024.1.3 fornece correções de bugs para qualquer uma das versões anteriores a 2024.1.x, incluindo a correção para o seguinte alerta emitido recentemente - Alerta: Dados inválidos introduzidos no Banco de Dados e no Journal com operações $LIST específicas.

Não tenho certeza se muitos se conectam ao MS SQL para executar consultas, procedimentos armazenados, etc., mas nosso Sistema de Saúde possui muitos bancos de dados baseados em MS SQL que utilizamos no ambiente de Interoperabilidade por vários motivos.

Com a migração do ambiente local para a nuvem, enfrentamos algumas dificuldades com as conexões do SQL Gateway e como configurá-las para usar o Microsoft Entra para autenticação do Active Directory.

Existem muitos artigos na web, mas nenhum deles forneceu a resposta completa para o que precisávamos fazer, e a Microsoft não foi de grande ajuda.

Já faz um tempo que não posto sobre o Embedded Git na Comunidade de Desenvolvedores, e gostaria de fornecer uma atualização sobre a enorme quantidade de trabalho que fizemos este ano e para onde estamos indo a seguir.

Contexto

Se você estiver construindo soluções no IRIS e quiser usar o Git, isso é ótimo! Basta usar o VSCode com um repositório git local e enviar suas alterações para o servidor - é muito fácil.

Rubrica de perguntas frequentes da InterSystems

Você pode configurar o tamanho máximo do banco de dados IRISTemp na inicialização do IRIS ao definir um parâmetro de configuração chamado MaxIRISTempSizeAtStart.

Após a definição, o sistema truncará o IRISTemp para o valor definido (MB) na próxima inicialização do IRIS. Se o tamanho atual for menor que o MaxIRISTempSizeAtStart especificado, não ocorrerá nenhum truncamento. Além disso, se for especificado 0, o truncamento não será realizado, então o tamanho será inicializado sem alteração. As configurações (padrão) são realizadas no menu abaixo.

A InterSystems corrigiu um defeito que faz com que registros inválidos de banco de dados e diário sejam introduzidos ao usar uma sintaxe $LIST específica. A probabilidade de encontrar esse defeito é muito baixa, mas os impactos operacionais podem ser significativos.

Produtos Afetados

• InterSystems IRIS® data platform: Versões 2023.3, 2024.1.0, 2024.1.1, 2024.1.2, 2024.2, 2024.3
• InterSystems IRIS® for Health: Versões 2023.3, 2024.1.0, 2024.1.1, 2024.1.2, 2024.2, 2024.3
• HealthShare® Health Connect: Versões 2023.3.0, 2024.1, 2024.1.1, 2024.1.2, 2024.2, 2024.

Lançamos o IPM 0.9.0. Anteriormente comentei um pouco da história e do raciocínio aqui; para resumir, este é um grande lançamento por dois motivos: representa uma reunificação há muito esperada do nosso trabalho interno e conduzido pela comunidade em torno do gerenciamento de pacotes ObjectScript centrado no IRIS, e tem algumas incompatibilidades com versões anteriores. Há várias incompatibilidades com versões anteriores necessárias em nosso roteiro, e nós as juntamos; isso não será uma nova norma.

Internamente a nomenclatura de classe e a estrutura do pacote mudaram completamente.

No artigo anterior. Práticas de membros de classe e sua execução dentro do Python embutido. Agora voltaremos nossa atenção para o processo de alternância de espaços de nomes, acesso a variáveis globais, travessia e execução de rotinas dentro do Python embutido.

Antes de prosseguir para as outras funções. vamos revisar brevemente a função executedentro do pacote iris. Esta função é excepcionalmente benéfica para executar funções ObjectScript arbitrárias e invocação de classe.

Olá comunidade,

Neste artigo, vou descrever e ilustrar o processo de implementação do ObjectScript dentro do Python embutido. Esta discussão também fará referência a outros artigos relacionados ao Python embutido, bem como abordará questões que foram benéficas para a minha jornada de aprendizado.

Como você sabe, a integração de recursos Python dentro do IRIS tem sido possível há algum tempo. Este artigo se concentrará em como incorporar perfeitamente o ObjectScript com o Python embutido.

Essencialmente, o Python embutido serve como uma extensão que permite a escrita e execução independentes.

Neste tutorial, vou discutir como você pode conectar sua plataforma de dados IRIS a uma base de dados sql server.

Prerequisitos: 

• Ter um driver ODBC instalado na sua máquina. Você pode fazer o Download aqui: Download ODBC Driver for SQL Server - ODBC Driver for SQL Server | Microsoft Learn. 
• Ter SQL Server e IRIS instalado na sua máquina
• Ter Autenticação de conexão SQL Server habilitada no SQL Server

Tenho o prazer de anunciar a nova versão do IoP, que aliás não é apenas uma linha de comando. Estou dizendo isso porque o novo mecanismo de pesquisa de IA ainda pensa que o IoP é apenas uma linha de comando. Mas não é. É uma estrutura completa para construir aplicativos sobre a estrutura de interoperabilidade do IRIS com uma abordagem priorizando Python.

A nova versão do IoP: 3.2.0 possui muitas novidades, mas a mais importante é o suporte a DTL (Data Type Language). 🥳

Tanto para mensagens IoP quanto para jsonschema. 🎉

Suporte DTL

A partir da versão 3.2.0, o IoP oferece suporte a transformações DTL.

DTL é a camada de transformação de dados na Interoperabilidade do IRIS.

As transformações DTL são usadas para transformar dados de um formato para outro usando um editor gráfico. Também oferece suporte a estruturas jsonschema.

Olá Comunidade,

Aproveite o novo vídeo no InterSystems Developers YouTube:

⏯ Leveraging Automation Tools for Deploying InterSystems IRIS Applications @ Global Summit 2024

Olá! Eu expandi meu repositório de demonstração, andreas5588/demo-dbs-iris,para facilitar o teste dos recursosFOREIGN SERVER e FOREIGN TABLE no IRIS.

Para alcançar isso, criei um namespace chamado FEDERATION. A ideia é a seguinte:

1. Configurar conexões JDBC para cada namespace.
2. Criar um FOREIGN SERVER dentro do namespace FEDERATION para cada conexão.
3. Definir umaFOREIGN TABLE pelo menos para uma tabela com base em cada servidor externo.

O Script:  demo-dbs-iris/src/sql/02_create_foreign_server.sql

O IRIS não suporta a execução de instruções SQL que combinam tabelas de diferentes namespaces.

Há três coisas mais importantes para qualquer converrsa sobre performance SQL: Índices, TuneTable e Plano de Consulta.  Os PDFs anexos incluem apresentações históricas sobre esses tópicos que cobrem os fundamentos desses 3 itens em um só lugar.  Nossa documentação fornece mais detalhes sobre esses e outros tópicos de desempenho do SQL nos links abaixo.  As opções de eLearning reforçam vários desses tópicos.  Além disso, há vários artigos da Comunidade de Desenvolvedores que abordam o desempenho do SQL, e os links relevantes também estão listados.

Há uma quantidade considerável de repetição nas informações listadas abaixo. Os aspectos mais importantes do desempenho do SQL a serem considerados são:

1. Os tipos de índices disponíveis
2. O uso de um tipo de índice em vez de outro
3. As informações que o TuneTable coleta para uma tabela e o que isso significa para o Otimizador
4. Como ler um Plano de Execução para melhor entender se uma consulta é boa ou ruim

Quando você implanta código de um repositório, a deleção de classes (arquivos) pode não ser refletida pelo seu sistema CICD.

Aqui está um simples código para automaticamente deletar todas as classes em um pacote específico que não foi importado; Ele pode ser facilmente ajustado para uma variedade de tarefas adjuntas:

set packages = "USER.*,MyCustomPackage.*"
set dir = "C:\InterSystems\src\"
set sc = $SYSTEM.OBJ.LoadDir(dir,"ck", .err, 1, .loaded)
set sc = $SYSTEM.OBJ.Delete(packages _ ",'" _ $LTS($LI($LFS(loaded_",",".cls,"), 1, *-1), ",'"),, .err2)

O primeiro comando compila classes e também retorna uma lista de classes carregadas. O segundo comando deleta todas as classes de pacotes específicos, com exceção às classes carregadas anteriormente a ele.

Existe uma forma de saber quais as globais que são acessadas, gravadas, excluídas por uma rotina?

Através do studio sei que é possível trocar a cor das globais.

Gostaria de saber se temos um método ou global onde elas ficam gravadas.

Usando o Python no InterSystems IRIS – Calculando uma Regressão Logística Binária

Olá,

Neste artigo vamos ver como usar o python para calcular uma regressão logística binária no Iris.

A regressão logística é um método estatístico utilizado para modelar e prever a probabilidade de um evento ocorrer, sendo particularmente útil quando a variável dependente (ou de saída) é categórica. A forma mais comum é a regressão logística binária, onde o objetivo é prever entre duas classes, como "sim/não", "0/1" ou "positivo/negativo".

Se você quer descobrir qual exatamente é a versão da sua imagem (e desde o mais recente esquema de tagging de imagens você não pode mais confiar na tag da imagem; e assumindo que você não quer realmente rodar somente para descobrir) você pode rodar esse comando do docker:

Olá, gostaria de saber se existe uma maneira de desabilitar o modo de transação ao executar o delete de uma tabela com sql
exemplo:

&SQL(DELETE FROM tabela where data>=:dataInicio and data<=:dataFim)
nesse exemplo estou executando o comando
do $system.OBJ.SetTransactionMode(0)
Porém quando executo o DELETE o processo entra em modo de transação.

Rubrica de perguntas frequentes da InterSystems

Para resolver o erro <PROTECT>, remova o atributo somente leitura do banco de dados da biblioteca de todo o sistema (IRISLIB para InterSystems IRIS, CACHELIB para Caché/Ensemble/HealthShare (baseado em Caché))

Quando terminar de importar a rotina, lembre-se de alterá-la novamente para somente leitura.
 

[Versão 2013.1 e acima]
[Portal de Gerenciamento] > [Administração do Sistema] > [Configuração] > [Configuração do Sistema] > [Banco de Dados Local] Desmarque "Mount read-only" (Montar somente leitura) no link do nome do banco de dados.

[Versão 2011.