NanoMTEB-BR / Quati
Overview#
Quati is a general-domain passage-retrieval task created directly for Brazilian Portuguese. Native speakers supplied queries, source documents came from frequently accessed Brazilian websites, and relevance judgments were produced with a large-language-model annotation process evaluated against human agreement. The collection was designed to avoid relying on translated English benchmarks and to represent information needs and web language that occur in Brazil. NanoMTEB-BR evaluates a compact query sample against a 10,000-document pool with hard negatives, so many candidates remain topically plausible. Some queries have multiple relevant passages, making both early precision and coverage important. Compared with the suite's institutional and specialist tasks, Quati provides a broader test of everyday semantic retrieval across topics. It reveals whether a model's Brazilian Portuguese quality generalizes beyond legal, financial, educational, or medical terminology.
Details#
What the Task Measures#
The task measures native-language web passage retrieval under same-topic hard negatives. A strong model must represent the requested relation or fact, not only broad topic words, and should retrieve multiple useful passages when the judgments support them.
Metric Interpretation#
nDCG@10 rewards ordering judged relevant passages near the top and reflects multi-positive coverage. Hit@10 checks whether at least one relevant passage appears in the first ten. Strong hit rate but weaker nDCG may indicate topical success without consistent ordering of all useful passages.
Training and Leakage Notes#
Useful supervision includes non-overlapping Brazilian web search and passage retrieval data with hard negatives. Exclude Nano queries, qrels, positive passages, and upstream Quati evaluation records. Since web text is easily republished, audit normalized and semantic near-duplicates across training and evaluation sources.
Public Sources#
Example Data#
| Query | Positive document | |||||
| Quais são os biomas do Brasil? [30 chars] | Biomas Brasileiros - Conservação para Ensino Médio Conservação Biodiversidade Biomas do Brasil Des. sustentável Direito ambiental Lixo Links Roberto Langanke Indicado para: Mata Atlântica \ | Cerrado \ | Pantanal \ | Caatinga Floresta Amazônica \ | Campos Sulinos \ | Biomas Costeiros Topo A Mata Atlântica, originalmente, estendia-se por mais de 4000 quilômetros, representando cerca de 8,5% do território nacional. Ocupava uma faixa próxima ao litoral, que se prolongava até o interior em algumas regiões, e se estendia do Rio Grande do Norte até o Rio Grande do Sul. Hoje resta somente 7% da área original. Esse bioma tem por principal característica sua biodiversidade. O número de espécies endêmicas é alto, especialmente em árvores e bromélias. Existe também uma grande biodiversidade de animais vertebrados e invertebrados. É considerado o bioma de maior biodviersidade do mundo. O clima e a temperatura variam de acordo com a região. A mata, em geral, é fechada, mas devido à sua grande extensão territ... [1,000 / 1,027 chars] |
| O que é a associação em série de um capacitor? [46 chars] | "a tensão atingir seu valor máximo (esta tensão não pode sofrer uma variação brusca) e se estabilizar, sendo que esta estabilização corre após 5𝜏𝜏. Ao produto RC, dá-se o nome de constante de tempo (𝝉𝝉). Com a tensão estabilizada e constante, diz-se que o capacitor está em regime permanente DC. A análise de formas de onda e de equações será realizada através de um circuito série RC. Um capacitor excitado por uma fonte DC tende a se carregar com a mesma tensão da fonte. 5 Fonte: https://blogdocontroleiro.wordpress.com/2017/06/22/56/ 1.2 Análise DC de Circuito com Resistor e Indutor em Série (RL Série) Indutor é um componente de circuitos elétricos que armazena energia na forma de um campo magnético criado por uma corrente elétrica. Fonte: https://www.mundodaeletrica.com.br/o-que-e-um-indutor/ “A indutância é uma medida de capacidade de um componente de armazenar energia na forma de um campo magnético criado por uma corrente elétrica” (DORF, SVOBODA, 2009, p. 263). Essa propriedade é rep... [1,000 / 1,252 chars] | |||||
| Onde está localizada a Praça XV de Novembro? [44 chars] | No percurso da visitação deve-se ter atenção no deslocamento, a fim de evitar acidentes pessoais, pois o acesso de entrada e saída são de longas escadas, há a necessidade de agachamento da cabeça para passar pelas escotilhas e, dependendo da altura do visitante, isso ocorrerá em outros ambientes. Não sugerimos a visitação por pessoas idosas, gestantes e aos que sofrem de claustrofobia. Devido à sua arquitetura, não há acessibilidade para quem se desloca por meio de cadeiras de rodas. Planeje o seu passeio e tenha uma excelente visitação! ENDEREÇO Local: Espaço Cultural da Marinha Endereço: Boulevard Olímpico, Praça XV, Rio de Janeiro, RJ. INFORMAÇÕES: No momento o trabalho está sendo realizado em home office e o contato pode ser realizado pelo e-mail “ dphdm.agendamento@marinha.mil.br ”. [798 chars] |
Dataset Information#
| Field | Value |
| Nano set | NanoMTEB-BR |
| Backing dataset | NanoMTEB-BR |
| Task / split | Quati |
| Hugging Face dataset | hakari-bench/NanoMTEB-BR |
| Language | pt |
| Category | natural_language |
| Queries | 49 |
| Documents | 10,000 |
| Positive qrels | 892 |
| Positives / query avg | 18.20 |
| Positives / query min | 2 |
| Positives / query median | 18.00 |
| Positives / query max | 46 |
| Multi-positive queries | 49 (100.00%) |
| Query length avg chars | 48.57 |
| Document length avg chars | 1,108.56 |
Candidate Subsets#
| Profile | Config | nDCG@10 | Hit@10 | Recall@100 | Candidates |
| BM25 | bm25 | 0.3815 | 0.8571 | 0.6222 | top-500 |
| Dense | harrier_oss_v1_270m | 0.6494 | 0.9796 | 0.9383 | top-500 |
| Reranking hybrid | reranking_hybrid | 0.5202 | 0.9388 | 0.8890 | top-100 |
Hugging Face Links#
- Nano dataset: hakari-bench/NanoMTEB-BR
- Quati paper: https://aclanthology.org/2024.stil-1.19/
- Quati dataset: https://huggingface.co/datasets/MTEB-BR/quati-50k
Source Reference Table#
| Title | Year | Type | URL |
| Quati: A Brazilian Portuguese Information Retrieval Dataset from Native Speakers | 2024 | paper | https://aclanthology.org/2024.stil-1.19/ |
| MTEB-BR/quati-50k | dataset page | https://huggingface.co/datasets/MTEB-BR/quati-50k |