NanoMTEB-BR / BRTaxQAR
Overview#
BRTaxQAR is a Brazilian Portuguese legal retrieval task for questions about Brazilian personal income tax. A query is a practical tax question, while a relevant document is supporting legal material such as legislation, regulations, administrative guidance, or an administrative ruling. The source BR-TaxQA-R collection extends an official 2024 tax question-and-answer resource with references to the legal authorities needed to justify an answer. This makes the task more demanding than FAQ matching: a relevant passage may use formal terminology and may establish the rule without repeating the wording of the question. In NanoMTEB-BR, the task keeps a compact query and corpus sample for fast comparison of retrievers. It primarily measures whether a model can connect everyday taxpayer language to authoritative Brazilian tax-law text, while preserving distinctions among similar taxes, filing situations, exceptions, and procedural requirements.
Details#
What the Task Measures#
The retrieval target is evidentiary support, not merely an answer that sounds plausible. Strong systems must bridge colloquial questions and formal legal language, retain dates and conditions, and distinguish provisions with similar vocabulary but different applicability.
Metric Interpretation#
nDCG@10 rewards putting all judged supporting authorities near the top and accounts for queries with more than one relevant document. Hit@10 answers the simpler question of whether at least one judged authority appears in the first ten results. Inspect both: a high hit rate with lower nDCG can indicate that the model finds one useful source but ranks other relevant authorities poorly.
Training and Leakage Notes#
Useful supervision includes non-overlapping Portuguese legal QA, statute retrieval, and hard negatives drawn from related provisions. Exclude the Nano queries, qrels, and positive documents, and audit upstream BR-TaxQA-R test material. Template-like guidance and repeated legal text can create near-match leakage even when identifiers differ.
Public Sources#
Example Data#
| Query | Positive document |
| Qual é o custo de aquisição de bens ou direitos adquiridos até 31/12/1991 e os adquiridos entre 01/01/1992 a 31/12/1995, no caso de contribuinte desobrigado de apresentar a declaração dos exercícios de 1992, ano-calendário de 1991, e seguintes? [244 chars] | Lei nº 8.383 Presidência da República Casa Civil Subchefia para Assuntos Jurídicos LEI N o 8.383, DE 30 DE DEZEMBRO DE 1991. Texto compilado Vide Lei nº 10.192, de 2001 (Vide Decreto nº 3.048, de 2002) (Vide Decreto nº 4.098, de 2002) Vide Lei nº 10.522, de 2002 (Mensagem de veto) Produção de efeito (Vide Lei nº 14.286, de 2021) (Vigência) Institui a Unidade Fiscal de Referência, altera a legislação do imposto de renda e dá outras providências . O PRESIDENTE DA REPÚBLICA Faço saber que o Congresso Nacional decreta e eu sanciono a seguinte lei: CAPÍTULO I Da Unidade de Referência (Ufir) Art. 1° Fica instituída a Unidade Fiscal de Referência (Ufir), como medida de valor e parâmetro de atualização monetária de tributos e de valores expressos em cruzeiros na legislação tributária federal, bem como os relativos a multas e penalidades de qualquer natureza. (Vide Lei nº 9.430, de 1996) § 1° O disposto neste capítulo aplica-se a tributos e contribuições sociais, inclusive previdenciárias, de i... [1,000 / 83,447 chars] |
| É devido imposto sobre a renda de contribuinte que faleceu após a apresentação da declaração do exercício? [106 chars] | Instrução Normativa RFB nº 81 NORMAS Contraste Instrução Normativa SRF nº 81, de 11 de outubro de 2001 (Publicado(a) no DOU de 17/10/2001, seção 1, página 24) Multivigente Vigente Original Relacional Dispõe sobre as declarações de espólio. Histórico de alterações (Alterado(a) pelo(a) Instrução Normativa SRF nº 711, de 31 de janeiro de 2007) (Alterado(a) pelo(a) Instrução Normativa RFB nº 805, de 28 de dezembro de 2007) (Alterado(a) pelo(a) Instrução Normativa RFB nº 897, de 29 de dezembro de 2008) (Alterado(a) pelo(a) Instrução Normativa RFB nº 1150, de 29 de abril de 2011) (Alterado(a) pelo(a) Instrução Normativa RFB nº 1620, de 19 de fevereiro de 2016) (Alterado(a) pelo(a) Instrução Normativa RFB nº 1934, de 07 de abril de 2020) (Alterado(a) pelo(a) Instrução Normativa RFB nº 2010, de 24 de fevereiro de 2021) (Alterado(a) pelo(a) Instrução Normativa RFB nº 2020, de 09 de abril de 2021) (Alterado(a) pelo(a) Instrução Normativa RFB nº 2077, de 04 de abril de 2022) (Alterado(a)... [1,000 / 34,527 chars] |
| O contribuinte que optar pelo desconto simplificado deve preencher as fichas “Pagamentos Efetuados” e “Doações Efetuadas”? [122 chars] | Lei nº 2.396 Presidência da República Casa Civil Subchefia para Assuntos Jurídicos DECRETO-LEI Nº 2.396, DE 21 DE DEZEMBRO DE 1987. Produção de efeito Altera a legislação do Imposto de Renda das pessoas físicas e dá outras providências. O PRESIDENTE DA REPÚBLICA , no uso da atribuição que lhe confere o artigo 55, item II, da Constituição, DECRETA: Art. 1° No exercício financeiro de 1988, a tabela do Imposto de Renda progressivo, incidente sobre a renda líquida das pessoas físicas (Lei n° 7.450/85, art. 9°) , bem como os valores de abatimentos e deduções, serão corrigidos monetariamente pela aplicação, sobre os valores vigentes no exercício financeiro de 1987, do coeficiente 3,5 (três e meio). (Vide) Art. 2° O art. 10 da Lei n° 7.450, de 23 de dezembro de 198 5, alterado pelos Decretos-leis n° 2.287, de 23 de julho de 1986, e n° 2.303, de 21 de novembro de 1986, passa a vigorar com a seguinte redação: (Vide) " Art. 10. O saldo do imposto a pagar ou a restituir (inciso V do art. 8° desta... [1,000 / 10,535 chars] |
Dataset Information#
| Field | Value |
| Nano set | NanoMTEB-BR |
| Backing dataset | NanoMTEB-BR |
| Task / split | BRTaxQAR |
| Hugging Face dataset | hakari-bench/NanoMTEB-BR |
| Language | pt |
| Category | natural_language |
| Queries | 200 |
| Documents | 461 |
| Positive qrels | 546 |
| Positives / query avg | 2.73 |
| Positives / query min | 1 |
| Positives / query median | 2.00 |
| Positives / query max | 10 |
| Multi-positive queries | 137 (68.50%) |
| Query length avg chars | 131.38 |
| Document length avg chars | 30,656.51 |
Candidate Subsets#
| Profile | Config | nDCG@10 | Hit@10 | Recall@100 | Candidates |
| BM25 | bm25 | 0.4650 | 0.8550 | 0.8791 | top-500 |
| Dense | harrier_oss_v1_270m | 0.2842 | 0.5900 | 0.6429 | top-500 |
| Reranking hybrid | reranking_hybrid | 0.3810 | 0.7400 | 0.8993 | top-100 |
Hugging Face Links#
- Nano dataset: hakari-bench/NanoMTEB-BR
- BR-TaxQA-R paper: https://arxiv.org/abs/2505.15916
- BR-TaxQA-R dataset: https://huggingface.co/datasets/unicamp-dl/BR-TaxQA-R
Source Reference Table#
| Title | Year | Type | URL |
| A Dataset for Question Answering with References for Brazilian Personal Income Tax Law, including case law | 2025 | paper | https://arxiv.org/abs/2505.15916 |
| unicamp-dl/BR-TaxQA-R | dataset page | https://huggingface.co/datasets/unicamp-dl/BR-TaxQA-R |