Artigo
· Jul. 29 4min de leitura

Português na Pattern Match Work Bench e outras melhorias

Agradeço à comunidade por traduzir um artigo anterior para o português!

Estou retribuindo o favor com um novo lançamento do aplicativo de demonstração Pattern Match Workbench.

Suporte Adicionado para Português.

Agora, as legendas, botões, mensagens de feedback e textos de ajuda da interface do usuário estão atualizados para o português.

Além disso, descrições de padrões podem ser solicitadas no novo idioma.

O único Modelo de IA responsável por transformar o comando do usuário em código de correspondência de padrões foi completamente retreinado.

 

Modelos de Valores para Código de Padrão Também Retreinados

O modelo de IA separado para gerar código de correspondência de padrões a partir de uma lista de valores de amostra também foi retreinado.
A versão anterior do modelo mostrava uma perda de comportamentos de identificação de padrões generalizados para dar suporte a novos estilos de padrões de delimitadores.
A nova abordagem de treinamento foi desenvolvida para se adequar melhor a ambos os tipos de desafio.

A avaliação pós-treinamento das etapas do modelo foi usada para quantificar o melhor candidato para preservar a resolução de padrões generalizados.

O princípio para quantificar 100% de sucesso para cada padrão gerado foi tentar satisfazer todos os seus respectivos registros de amostra candidatos.

Relatório de Desempenho (Benchmark):

Total de testes de benchmark usados 3895
Média de sucesso em todas as correspondências 91.75%
Sucesso completo na correspondência de padrões 81.98%
Sucesso parcial na correspondência de padrões 15.74%
Registros de correspondência sem sucesso 2.28%

The following table gives examples from benchmark candidates demonstrating partial success.
It shows the percentage of sample records successfully matched to generated pattern code.

Item Tamanho da Amostra Janela de contexto Linhas correspondidas  % correspondência Padrão realmente gerado Pattern Template
1 31 31 28 90.3 4UN5AN2.3(4UNP2"/"1UP3.6LP1UP,2"/"1"Ç")5.11N 4UN5AN2(4PUN2"/"1PU3.6LP1PU,2"/"1"Ç")5.12N
2 31 31 17 54.8 5N5ANP3"7Æ6N1ŃS8"1(2"{{{",4"Û4"3"ĪĪċ")3P 5.6N5NPA3"7Æ6N1ŃS8"1(3"{{",4"Û4"3"ĪĪċ")3P
3 31 24 15 62.5 5.8"6Ã02"1.2LNP1.2(1"K"4.6"7499".2NP1"û5ُ3"4.7N) 5.8"6Ã02"3(4"51704833"3"ĹĐRÞÇ",1PN,1LP1"K"4.6"7499")1"û5ُ3"4.7N
4 31 19 28 90.3 3P5UN5NP5UN5UN3AN3"JŁY"1.4"5"2U1LN 3P5NU5NP4UN5NU4NA3"JŁY"1.4"5"2U1NL
5 31 10 7 22.6 4LNP3.6AN4"×_"5"¤īĩĵ®ü"5AN3AN3LNP2UN3"ċ"5LN 4NPL2.5NA4"×_"5"¤īĩĵ®ü"3.5NA3AN3PLN2UN3"ċ"5NL
6 30 9 26 86.7 5.6"ŀ¬¦"5"!pp%"1UNP5"Ù6"4.8AP3(3N,4"8¸",5UNP)5.11P 5.6"ŀ¬¦"5"!pp%"1PNU5"Ù6"4.7PA3(3N,3UP,4"8¸")4P4.5P
7 25 12 5 20.0 2"AAHH"5"30"3(4.7UP,4L)5"ĥèßłĉ,,,"4.5N 2"AAHH"5"30"5(3UP,4L,4UP,1PL)5"ĥèßłĉ,,,"4.5N
8 31 14 30 96.8 5LP4")))¦¦§÷"4.10LN5.10UNP2"gx"1UN 5PL4")))¦¦§÷"4.11NL5.10PUN2"gx"1UN

Legenda:

Tamanho da Amostra - O número de registros disponíveis para a amostra de teste. Às vezes, um padrão descreve menos de 31 correspondências exatas possíveis, daí os valores mais baixos.
Janela de Contexto - Número máximo de registros de amostra que se encaixam para gerar um novo padrão.

Linhas correspondidas - Este é o número de registros de amostra que foram correspondidos pelo padrão gerado.

Note que os itens 4, 6 e 8 alcançaram uma contagem de correspondências maior do que a janela de contexto.

Quando os padrões são gerados a partir de valores, a janela de contexto utilizada e a proporção de correspondência são retornadas.

Para amostras de dados desafiadoras, pode ser produtivo tentar novamente o botão "Padrão a partir de Valores" para obter resultados aprimorados.

Mostrar a janela de contexto por linha é útil para dar a oportunidade de registros específicos serem elevados para o prompt para consideração generativa.

A inferência de benchmark foi conduzida via HuggingFace Spaces para escalar a GPU disponível e garantir uma execução oportuna.

relatório é útil para analisar a proximidade qualitativa das propostas pelo LLM em termos de:
* Tipo de correspondência (String, Número, Alfanumérico, Alfabético Maiúsculo)
* Escolha do intervalo de quantidade (2 a 3 de...)
* Listas de opções ("123" ou "456")
* Elementos estruturados usando parênteses

Isso abre oportunidades para que o treinamento seja aprimorado.

Sinta-se à vontade para enviar feedback sobre melhorias para:

  • Traduções de idiomas
  • Comportamentos de correspondência de padrões
Discussão (0)1
Entre ou crie uma conta para continuar