Publicação de Beauty Makers

🚀 Reduzindo custos e aumentando a performance durante o processo de seleção de Tools com Semantic Routing e Embeddings 🚀 As #tools são killer-features para #agentes de #genai. Contudo, escolher qual tool deve ser executada por um agente de GenAI a partir de um texto é algo que muitas vezes tem um alto custo e pode trazer uma alta latência para a aplicação. Mas como reduzir esses custos e ainda diminuir a latência durante o processo de escolha da Tool com assertividade? Aqui entra o Semantic Routing com Embeddings. Essa técnica usa modelos de embeddings para processar o texto e decidir quais #tools utilizar de forma mais econômica e rápida, mantendo a assertividade. Com isso em mente, eu criei um 🧪🥼experimento🧪🥼 que compara as duas estratégias: 1) Semantic Routing -> usando a lib #python semantic-router e o modelo text-embedding-ada-002 da OpenAI. 2) Chat Completions -> usando o endpoint de chat-completions da OpenAI com o gpt3.5-turbo. 📉 1. Redução de Custos Os modelos de #embedding, como o text-embedding-ada-002, são significativamente mais econômicos. Enquanto o GPT-3.5-turbo custa $0.50 por 1M tokens de entrada e $1.50 por 1M tokens de saída, o text-embedding-ada-002 custa apenas $0.10 por 1M tokens. No experimento realizado, o uso de embeddings resultou em uma redução de custos de mais de 90%. 😱 🚀 2. Aumento de Performance Os #embeddings são projetados para eficiência. Eles fornecem vetores numéricos que representam o significado semântico do texto de maneira rápida e eficaz. No experimento, a abordagem com embeddings tem um tempo médio de resposta que fica na casa dos milissegundos enquanto o GPT-3.5-turbo responde em média em segundos. 🎯 3. Assertividade na Seleção de Tools A assertividade da técnica de Semantic Routing com embeddings se mostrou comparável à do GPT-3.5-turbo. Ao analisar o contexto textual, os embeddings garantiram uma escolha precisa e relevante das tools a serem usadas. 📊 Resultado do Experimento A abordagem de Semantic Routing com modelos de embedding não só reduziu custos e aumentou a performance, mas manteve a mesma assertividade na escolha de tools que o GPT-3.5-turbo. Para mais detalhes e para acessar o código do experimento, confira meu repositório no GitHub. https://lnkd.in/dMGPqbeS

Entendendo algumas técnicas de prompt engineering para maximizar a eficiência dos LLMs. A engenharia de prompts é fundamental para desbloquear todo o potencial dos LLMs. Para extrair o máximo desses modelos, devemos escolher a ferramenta adequada para cada tarefa. Prompt engineering, RAG (Retrieval Augmented Generation) e fine-tuning são três técnicas que podem ser utilizadas para moldar o comportamento dos LLMs. Neste post mostro com mais detalhes algumas técnicas de Engenharia de Prompt que serão muito relevantes para construção do seu software baseado em LLMs. 📍 Zero-shot 📍 Few-shot 📍 Cadeia-de-Pensamento 📍 Arvore de Pensamento https://lnkd.in/dppPW3RZ #AI #MachineLearning #PromptEngineering #LLMs #DataScience #ML #NLP

GPT-4o OpenAI novo modelo linguagem: Descubra tudo sobre o GPT-4o, o modelo de IA mais avançado da OpenAI, e domine suas funcionalidades.

No meu mais novo artigo, "Como ajudar a IA a encontrar informações", faço uma explanação sobre como funciona e são utilizados os bancos de dados vetoriais. Exploro também como eles alavancam a IA para obter recomendações mais inteligentes utilizando semântica e vetores. Veja o artigo aqui: #BancoVetorial #AI #GenAI #GPT #Embeddings

A IA que você implementou está te ajudando ou te atrapalhando? A IA que você implementou te responde mais veloz a forma errada de ver o problema ou realmente é rápida em te dar a resposta certa? A IA tem validação estatística ou você só implementou o modelo? A IA vai substituir o homem ou você verá que seu futuro é ser uma pessoa mais analítica e seu trabalho será intelectual e o operacional cada dia mais perderá espaço? A IA está te provocando a estudar ou você ainda continua fazendo as mesmas coisas? A IA... #IA #AI #machinelearning #ml #dados #analitico #python #r #estatistica #reflexao

Label encoding pode parecer um processo simples quando precisamos converter valores categóricos em numéricos, mas sempre surge a dúvida: qual método escolher? O Label Encoder é mais adequado quando os valores categóricos possuem uma ordem implícita. Por exemplo, em uma coluna de “Avaliação” com categorias como ["Ruim", "Bom", "Ótimo"], faz sentido utilizar o Label Encoding, pois há uma hierarquia entre os valores. Por outro lado, o One Hot Encoder transforma cada categoria em uma coluna binária, onde o valor 1 indica a presença da categoria e 0 sua ausência. Isso é ideal quando lidamos com categorias sem ordem natural, como em uma coluna de “Cores” com valores ["Verde", "Azul", "Vermelho"]. Usar Label Encoding aqui poderia confundir o modelo, ao atribuir uma relação ordinal inexistente, resultando em decisões equivocadas. Nesses casos, o One Hot Encoding é a escolha mais segura. Além desses, há outros métodos, como: 🔹 Target Encoding: substitui as categorias pela média do target associada a cada categoria. 🔹Frequency Encoding: substitui as categorias pela frequência com que aparecem no conjunto de dados. 🔹Binary Encoding: combina Label Encoding e One Hot Encoding para criar uma representação binária dos valores categóricos. É essencial prestar atenção a essas técnicas para garantir que nossos modelos sejam mais generalizáveis e robustos. Aqui explico cada um deles com exemplos https://lnkd.in/dcyBmath hashtag #labelencoding hashtag #machinelearning hashtag #datascience hashtag #ai

Bom dia, Estou compartilhando um projeto de um Sistema de Recomendação. Este projeto é um sistema de recomendação de produtos utilizando um dataset da Amazon, baseado em técnicas de ciência de dados e aprendizado de máquina. O foco principal está na utilização de Processamento de Linguagem Natural (PLN ou NLP) para extrair recomendações a partir das descrições textuais dos produtos. As técnicas de NLP (Tokenização, Stemming, CountVectorizer, outros...)  são empregadas para analisar e transformar o texto dos produtos em uma forma que possibilite a comparação e recomendação de produtos semelhantes. No final, criei um aplicativo bem simples no streamlit (bem simples mesmo, apenas mostrar um exemplo em execução kkkk) Explicação desse projeto de Recomendação de produtos: https://lnkd.in/dZrBP4bi Visualização no streamlit: https://lnkd.in/d4cYZq5t Link do meu portfólio com mais projetos: https://lnkd.in/dKWDkxxm #NLP #datascience #cienciadedados #machinelearning #CountVectorizer #Stemming #Tokenization #algoritmos

Modelos de Linguagem de Grande Escala (LLMs) e seus bots Em um modelo de linguagem de grande escala (LLM) como o GPT, os "parâmetros" referem-se a valores numéricos usados para fazer previsões sobre texto. Os parâmetros são ajustados durante o treinamento, na qual o modelo aprende a partir de uma grande quantidade de exemplos de texto. Cada parâmetro influencia como o modelo interpreta partes do texto, como palavras ou frases, e ajuda a determinar as respostas que o modelo gera. O número de parâmetros em um LLM é frequentemente contado em bilhões, o que permite capturar imensas variações linguísticas e conhecimentos. Considerando a rápida evolução dos modelos e o fato de que, mais cedo ou mais tarde, um LLM poderá estar desatualizado, debato hoje que a estratégia de IA generativa deve ser independente de modelos para que realmente possa escalar. Isso nos estimula a olhar para as ofertas de modelos especializados, ajustados e adaptados às necessidades específicas do negócio. Afinal, nenhum modelo único pode lidar com tudo, o que fortalece a tendência para modelos menores e mais orientados por propósito. Link para detalhamento: https://lnkd.in/d4gQzSbz #RPA #IA #hiperautomacao #automacao #ml #AI #automation #GENAI #LLM

Disponibilizei no artigo 4 tipos de Inteligência Artificial. Qual devo usar? (https://lnkd.in/dDKUmqAY) um exemplo de IA de Processamento de Linguagem Natural em Python. Ela analisa feedbacks de clientes e avalia se eles são neutros, positivos ou negativos. Você pode executá-lo no Google Colab e não precisa instalar nada na sua máquina. Também estão disponíveis a planilha de feedbacks e a planilha de treinamento. #ia #nlp #pnl #python #inteligenciaartificial #exemplo #k21 #nower

Você é Software Engineer e está tentando entender mais sobre toda a hype de IA Generativa? Eu venho trabalhando com aplicações de GenAI há mais de 1 ano e, para ajudar quem está começando, preparei um material especial que vai te guiar passo a passo no mundo dos Large Language Models (LLMs). Escrevi um artigo no Medium onde explico, de forma clara e prática, o que são LLMs, como funcionam e como você pode começar a usá-los no seu dia a dia de desenvolvimento. 💡 Quer aprender mais? Confira o artigo completo! https://lnkd.in/dmKaFhP3 #GenAI #InteligenciaArtificial #LLMs #MachineLearning #SoftwareEngineer #ArtificialIntelligence #Desenvolvimento