IRIS Audio Query - Desenvolvimento

IRIS Audio Query é uma aplicação full-stack que transforma áudio em uma base de conhecimento pesquisável.

Estrutura do projeto

community/
├── app/                   # FastAPI backend application
├── baml_client/           # Generated BAML client code
├── baml_src/              # BAML configuration files
├── interop/               # IRIS interoperability components
├── iris/                  # IRIS class definitions
├── models/                # Data models and schemas
├── twelvelabs_client/     # TwelveLabs API client
├── ui/                    # React frontend application
├── main.py                # FastAPI application entry point
└── settings.py            # IRIS interoperability entry point

Instalações e Configurações Necessárias

- Python 3.8+ - Para desenvolvimento com linguagem embarcada e aplicação backend

- Node.js & npm - Para desenvolvimento da aplicação frontend

- Docker - Para conteinerização e execução do banco de dados IRIS

TwelveLabs API

A API da TwelveLabs é utilizada para gerar embeddings para arquivos de áudio enviados e para textos de consulta.

Para obter sua chave de API da TwelveLabs:

1. Acesse https://playground.twelvelabs.io e crie uma conta (ou faça login).
2. Após o login, navegue até a seção API Keys em Settings.
3. Clique em Create API Keys para criar uma nova chave e copie a chave gerada.

OpenAI API

A API da OpenAI é utilizada para gerar respostas a consultas usando arquivos de áudio como contexto.

Observação: Qualquer API compatível com o BAML pode ser utilizada no lugar da OpenAI. Consulte a documentação do BAML para obter a lista de APIs suportadas.

Para obter sua chave de API da OpenAI:

1.Acesse https://platform.openai.com e crie uma conta (ou faça login).
2. Após o login, vá para a Página Billling e adicione os dados de pagamento.
3. Em seguida, acesse a página API Keys.
3. Clique em Create new secret key para criar uma nova chave e copie a chave gerada.

Instalação

1. Clone o repositório

git clone
cd iris-audio-query

2. Crie um ambiente virtual

python3 -m venv .venv
source .venv/bin/activate

3. Instale os requisitos

pip install -r requirements.txt
npm --prefix community/ui/ install

4. Configure as variáveis de ambiente
    1. Copie o template em .env.example como .env.
    2. Configure as variáveis de ambiente conforme necessário.
5. Rode o docker-compose file

docker-compose up

6. Importe a classe Audio no IRIS
   1. Acesse o portal de gerenciamento do IRIS acessando http://localhost:53795/csp/sys/UtilHome.csp
   2. Faça o login usando superuser e senha SYS, ou conforme especificado no arquivo .env.
   3. Vá até System Explorer > Classes.
   4. Selecione o namespace IRISAPP, ou conforme especificado no arquivo .env.
   5. Clique em Import e especifique que o arquivo de importação está em My Local Machine, e selecione o arquivo community/iris/IrisAudioQuery.Audio.cls.
   6. Clique em Next e Import para importar a classe Audio.
7. Inicie o backend FastAPI.

docker exec -it iris-audio-query-iris-1 bash

   Em seguida, a partir de dentro do contêiner,

python3 community/main.py

8. Inicie o frontend React.

npm --prefix community/ui/ run dev

9. Acese a aplicação em http://localhost:5173.