Leanpub Header

Skip to main content

Avaliação de LLM para desenvolvedores

Evals, LLM como juiz e testes de regressão em aplicações de IA

Avaliação de LLM para desenvolvedores
This book is 100% completeLast updated on 2026-11-22

Saiba se a sua funcionalidade com LLM funciona de verdade, e continua funcionando depois do próximo ajuste de prompt ou troca de modelo. Leia traces, monte um conjunto de referência, calibre um LLM como juiz e transforme tudo em testes de regressão no CI.

Minimum price

$12.99

$19.99

You pay

Author earns

$

Also available for 1 book credit with a Reader Membership

PDF
EPUB
About

About

About the Book

Você já sabe construir software, e a sua funcionalidade com LLM funciona na demonstração. Este livro mostra como descobrir se ela funciona para os seus usuários, e como mantê-la funcionando enquanto você muda prompts, modelos e retrieval.

Ele começa onde um desenvolvedor começa, com testes unitários e CI, e mostra o que quebra quando há um modelo por trás do código. Depois percorre o ciclo inteiro de avaliação sobre um único sistema: ler traces e dar nome às falhas que importam; montar um conjunto de referência; escolher entre checagens por código, LLM como juiz e revisão humana; projetar um juiz e calibrá-lo contra rótulos humanos; a estatística que separa uma melhora real do ruído em conjuntos pequenos; avaliar o retrieval separado da geração; avaliar chamadas de ferramentas e agentes; barreiras contra regressões no CI; amostrar o tráfego de produção; e quanto tudo isso custa.

Cada capítulo termina numa decisão que você pode tomar na segunda-feira. O último capítulo responde às perguntas sobre avaliação que os entrevistadores de engenharia de IA fazem, partindo do trade-off.

Os exemplos são em Python, com notas sobre como o ecossistema TypeScript faz o mesmo trabalho quando ele difere. Todo exemplo é executado antes da publicação, e toda afirmação sobre um artigo, uma biblioteca ou uma técnica é conferida na fonte primária. O livro trata de avaliar produtos construídos sobre modelos de linguagem, não de treiná-los: ele pressupõe que você sabe programar e não exige nenhum conhecimento de machine learning nem de estatística.

Author

About the Author

30labs

30labs publishes practical guides for developers who build with AI: coding agents, model APIs, tool servers and the languages around them. Every code example in a 30labs book is run before publication, and the output printed under it is what the program produced. Books in English and Brazilian Portuguese.

Contents

Table of Contents

1. Por que avaliar uma funcionalidade com LLM não é teste unitário 2. Primeiro a análise de erros: leia os traces 3. Como montar o conjunto de referência 4. Checagens por código, LLM como juiz e pessoas 5. Como projetar um LLM como juiz 6. Como calibrar o juiz com pessoas 7. Números confiáveis a partir de conjuntos pequenos 8. Avaliação de retrieval-augmented generation 9. Avaliação de ferramentas e agentes 10. Avaliação no CI: a barreira contra regressões 11. Avaliação online e o ciclo de feedback 12. O custo da avaliação 13. A entrevista

The Leanpub 60 Day 100% Happiness Guarantee

Within 60 days of purchase you can get a 100% refund on any Leanpub purchase, in two clicks.

See full terms...

Earn $8 on a $10 Purchase, and $16 on a $20 Purchase

We pay 80% royalties on purchases of $7.99 or more, and 80% royalties minus a 50 cent flat fee on purchases between $0.99 and $7.98. You earn $8 on a $10 sale, and $16 on a $20 sale. So, if we sell 5000 non-refunded copies of your book for $20, you'll earn $80,000.

(Yes, some authors have already earned much more than that on Leanpub.)

Learn more about writing on Leanpub

Free Updates. DRM Free.

If you buy a Leanpub book, you get free updates for as long as the author updates the book! Many authors use Leanpub to publish their books in-progress, while they are writing them. All readers get free updates, regardless of when they bought the book or how much they paid (including free).

Most Leanpub books are available in PDF (for computers) and EPUB (for phones, tablets and Kindle). The formats that a book includes are shown at the top right corner of this page.

Finally, Leanpub books don't have any DRM copy-protection nonsense, so you can easily read them on any supported device.

Learn more about Leanpub's ebook formats and where to read them

Write and Publish on Leanpub

You can use Leanpub to easily write, publish and sell in-progress and completed ebooks and online courses!

Leanpub is a powerful platform for serious authors, combining a simple, elegant writing and publishing workflow with a store focused on selling in-progress ebooks.

Leanpub is a magical typewriter for authors: just write in plain text, and to publish your ebook, just click a button. (Or, if you are producing your ebook your own way, you can even upload your own PDF and/or EPUB files and then publish with one click!) It really is that easy.

Learn more about writing on Leanpub