NanoMTEB-BR / FaQuADIR
Overview#
FaQuADIR is a Brazilian Portuguese FAQ-style retrieval task derived from FaQuAD, a reading-comprehension collection in the domain of Brazilian higher education. Each query asks about an institution, academic process, service, or policy, and the system must retrieve the answer-bearing passage from a compact document pool. The source data was created for Portuguese question answering, so the language reflects local institutional vocabulary rather than a machine-translated English benchmark. In retrieval form, the task tests whether a model can align a natural question with a concise answer passage when both may express the same intent using different wording. Many questions are close to single-positive lookup, making top-rank precision especially visible. The NanoMTEB-BR version samples the source evaluation material for efficient model comparison while retaining the higher-education domain and Brazilian Portuguese phrasing of the original task.
Details#
What the Task Measures#
The task emphasizes question-to-answer semantic matching, including institution-specific names, abbreviations, administrative terms, and procedural conditions. Lexical matching can be effective for distinctive entities, but it is less reliable when the answer paraphrases the question.
Metric Interpretation#
nDCG@10 is most sensitive to how early the answer-bearing passage is ranked. Hit@10 shows whether the model retrieves a judged answer anywhere in the first ten. Because the task is close to single-positive retrieval, missed intent or entity distinctions can cause a full-query failure.
Training and Leakage Notes#
Helpful training data includes non-overlapping Brazilian Portuguese FAQs and educational-domain QA pairs. Exclude Nano evaluation queries, positives, and upstream evaluation records. Deduplicate normalized questions and answer passages, since FAQ pages are frequently copied or lightly reformatted.
Public Sources#
Example Data#
| Query | Positive document |
| O que os modelos usados pelos fundamentos científicos da engenharia de software devem permitir ao engenheiro? [109 chars] | ENGENHARIA_DE_SOFTWARE Os fundamentos científicos da engenharia de software envolvem o uso de modelos abstratos e precisos que permitem ao engenheiro especificar, projetar, implementar e manter sistemas de software, avaliando e garantindo sua qualidade. Além disto, deve oferecer mecanismos para se planejar e gerenciar o processo de desenvolvimento. Empresas desenvolvedoras de software passaram a empregar esses conceitos sobretudo para orientar suas áreas de desenvolvimento, muitas delas organizadas sob a forma de Fábrica de Software. A engenharia de sistemas é uma área ampla por tratar de aspectos de sistemas baseados em computadores, incluindo hardware e engenharia de processos para construção de software. A Universidade Federal de Goiás foi pioneira no Brasil quando criou o curso de graduação em Engenharia de Software, hoje o curso ganha popularidade e já é adotado por outras universidades como Universidade Federal de Mato Grosso do Sul, Universidade de Brasilia, Universidade Tecnoló... [1,000 / 1,238 chars] |
| Quando o professor deve devolver as provas aos alunos? [54 chars] | EXERCICIOS_DOMICILIARES Após a realização e correção das provas, o professor deverá devolvê-las ao acadêmico, anexando cópia no processo de regime de exercícios domiciliares e fazer o lançamento no sistema acadêmico. Ao final do regime de exercícios domiciliares o Coordenador de Curso ou equivalente deverá encaminhar à Secretaria Acadêmica (Secac) o Laudo Médico para ser arquivados na pasta do acadêmico. Compete ao Coordenador de Curso, ou equivalente, acompanhar todos os procedimentos relativos ao regime de exercícios domiciliares. [539 chars] |
| O que é a unidade lógica e aritmética? [38 chars] | COMPUTADOR O processador (ou CPU) é uma das partes principais do hardware do computador e é responsável pelos cálculos, execução de tarefas e processamento de dados. A velocidade com que o computador executa as tarefas ou processa dados está diretamente ligada à velocidade do processador. As primeiras CPUs eram constituídas de vários componentes separados, mas desde meados da década de 1970 as CPUs vêm sendo manufaturadas em um único circuito integrado, sendo então chamadas microprocessadores. A unidade lógica e aritmética (ULA) é a unidade central do processador, que realmente executa as operações aritméticas e lógicas entre dois números. Seus parâmetros incluem, além dos números operandos, um resultado, um comando da unidade de controle, e o estado do comando após a operação. O conjunto de operações aritméticas de uma ULA pode ser limitado a adição e subtração, mas também pode incluir multiplicação, divisão, funções trigonométricas e raízes quadradas. Algumas podem operar somente com... [1,000 / 1,141 chars] |
Dataset Information#
| Field | Value |
| Nano set | NanoMTEB-BR |
| Backing dataset | NanoMTEB-BR |
| Task / split | FaQuADIR |
| Hugging Face dataset | hakari-bench/NanoMTEB-BR |
| Language | pt |
| Category | natural_language |
| Queries | 200 |
| Documents | 243 |
| Positive qrels | 201 |
| Positives / query avg | 1.00 |
| Positives / query min | 1 |
| Positives / query median | 1.00 |
| Positives / query max | 2 |
| Multi-positive queries | 1 (0.50%) |
| Query length avg chars | 62.30 |
| Document length avg chars | 825.63 |
Candidate Subsets#
| Profile | Config | nDCG@10 | Hit@10 | Recall@100 | Candidates |
| BM25 | bm25 | 0.8870 | 0.9800 | 1.0000 | top-500 |
| Dense | harrier_oss_v1_270m | 0.8425 | 0.9350 | 0.9950 | top-500 |
| Reranking hybrid | reranking_hybrid | 0.8779 | 0.9800 | 1.0000 | top-100 |
Hugging Face Links#
- Nano dataset: hakari-bench/NanoMTEB-BR
- FaQuAD paper: https://doi.org/10.1109/BRACIS.2019.00084
- FaQuADIR dataset: https://huggingface.co/datasets/MTEB-BR/faquad-ir
Source Reference Table#
| Title | Year | Type | URL |
| FaQuAD: Reading Comprehension Dataset in the Domain of Brazilian Higher Education | 2019 | paper | https://doi.org/10.1109/BRACIS.2019.00084 |
| MTEB-BR/faquad-ir | dataset page | https://huggingface.co/datasets/MTEB-BR/faquad-ir |