NanoMTEB-BR / FaqBacenRetrieval
Overview#
FaqBacenRetrieval is a Brazilian Portuguese financial FAQ retrieval task built from public information associated with Banco Central do Brasil. Queries are questions that a consumer or financial-services user might ask, and relevant documents are FAQ answers explaining products, rules, services, or procedures. The source work was designed to address the shortage of Portuguese financial question-answering data and includes language specific to Brazil's banking and regulatory context. The retrieval task therefore combines concise FAQ matching with terminology that can be precise and easily confused across related topics. A strong model must identify the user's intent, preserve named products and conditions, and rank the correct institutional answer above passages that share common financial vocabulary. NanoMTEB-BR uses a compact evaluation sample, allowing rapid comparison while keeping the source task's native Brazilian Portuguese and domain-specific relevance relation.
Details#
What the Task Measures#
This task tests short-question to authoritative-answer matching in the financial domain. Hard cases include near-duplicate intents, procedural qualifiers, and answers whose key distinction is a small number, date, account type, or regulatory term.
Metric Interpretation#
nDCG@10 rewards placing the correct answer near rank one, while Hit@10 indicates whether any judged answer is present in the first ten. The two metrics together distinguish precise FAQ ranking from broad topical retrieval.
Training and Leakage Notes#
Use non-overlapping Portuguese banking FAQs and intent-paraphrase data for training. Exclude Nano queries, qrels, positive answers, and upstream evaluation rows. Public FAQ text may be mirrored by third-party sites, so normalized text and semantic near-duplicate audits are appropriate.
Public Sources#
Example Data#
| Query | Positive document |
| Qual o requisito para a constituição do grupo? [46 chars] | Deve haver adesão suficiente de consorciados e viabilidade econômico-financeira do grupo. A administradora deve elaborar relatório circunstanciado comprovando a viabilidade econômico-financeira do grupo. Esse relatório fica à disposição do Banco Central do Brasil para efeito de fiscalização. Na ocasião, o grupo deve escolher até 3 consorciados que o representarão perante a administradora com a finalidade de acompanhar a regularidade de sua gestão. [451 chars] |
| Quais instituições financeiras estão dispensadas de solicitar autorização do Banco Central para a prestação de serviços de pagamento? [133 chars] | Estão dispensados:os bancos comerciais, os bancos múltiplos com carteira comercial e as caixas econômicas, para a prestação dos serviços de pagamento como: emissor de moeda eletrônica; emissor de instrumento de pagamento pós-pago; credenciador; e iniciador de transação de pagamento;os bancos múltiplos com carteira de crédito, financiamento e investimento e as sociedades de crédito, financiamento e investimento, para a prestação dos serviços de pagamento como: emissor de moeda eletrônica; emissor de instrumento de pagamento pós-pago; e iniciador de transação de pagamento;as cooperativas singulares de crédito, para a prestação dos serviços de pagamento como: emissor de moeda eletrônica; emissor de instrumento de pagamento pós-pago; credenciador; e iniciador de transação de pagamento, a associados e não associados;as sociedades de crédito direto, para a prestação dos serviços de pagamento como: emissor de moeda eletrônica; e emissor de instrumento de pagamento pós-pago;as sociedades de cr... [1,000 / 2,173 chars] |
| Os bancos centrais atuam como garantidores das operações? [57 chars] | Não. Os bancos centrais atuam apenas como intermediários da operação. Eles não assumem risco de crédito das instituições financeiras autorizadas em seus países. [160 chars] |
Dataset Information#
| Field | Value |
| Nano set | NanoMTEB-BR |
| Backing dataset | NanoMTEB-BR |
| Task / split | FaqBacenRetrieval |
| Hugging Face dataset | hakari-bench/NanoMTEB-BR |
| Language | pt |
| Category | natural_language |
| Queries | 200 |
| Documents | 1,654 |
| Positive qrels | 201 |
| Positives / query avg | 1.00 |
| Positives / query min | 1 |
| Positives / query median | 1.00 |
| Positives / query max | 2 |
| Multi-positive queries | 1 (0.50%) |
| Query length avg chars | 70.52 |
| Document length avg chars | 518.83 |
Candidate Subsets#
| Profile | Config | nDCG@10 | Hit@10 | Recall@100 | Candidates |
| BM25 | bm25 | 0.4717 | 0.6400 | 0.8806 | top-500 |
| Dense | harrier_oss_v1_270m | 0.6577 | 0.8000 | 0.9602 | top-500 |
| Reranking hybrid | reranking_hybrid | 0.5858 | 0.7550 | 0.9403 | top-100 |
Hugging Face Links#
- Nano dataset: hakari-bench/NanoMTEB-BR
- Portuguese FAQ for Financial Services paper: https://arxiv.org/abs/2311.11331
- FaqBacen dataset: https://huggingface.co/datasets/MTEB-BR/faq-bacen
Source Reference Table#
| Title | Year | Type | URL |
| Portuguese FAQ for Financial Services | 2023 | paper | https://arxiv.org/abs/2311.11331 |
| MTEB-BR/faq-bacen | dataset page | https://huggingface.co/datasets/MTEB-BR/faq-bacen |