NanoMTEB-BR / JurisTCU
Overview#
JurisTCU is a Brazilian Portuguese legal information-retrieval task based on jurisprudence from the Tribunal de Contas da União, Brazil's federal audit court. The source collection pairs search needs with judged court material and contains real and synthetic query styles, including keyword-like requests and natural-language questions. Relevant documents may be lengthy, formal, and densely populated with public-law terminology. NanoMTEB-BR evaluates a compact set of queries against a 10,000-document pool containing hard negatives from the same legal domain. This setup tests more than topical recognition: a model must distinguish decisions that discuss similar agencies, procurement rules, benefits, or procedures but resolve a different legal issue. Multiple passages can be relevant to one query, so coverage and ordering both matter. The task is especially useful for exposing weaknesses in long legal text representation and Brazilian institutional vocabulary.
Details#
What the Task Measures#
The task measures query-to-case-law retrieval under domain-homogeneous hard negatives. Strong retrievers preserve legal entities, procedural posture, and the relationship among a request, governing rule, and court conclusion instead of relying only on shared terms.
Metric Interpretation#
nDCG@10 rewards ranking the set of judged relevant documents early and is important for multi-positive queries. Hit@10 only checks whether the first ten contain at least one relevant item. A gap between them can signal incomplete coverage of the relevant jurisprudence.
Training and Leakage Notes#
Suitable supervision includes non-overlapping Portuguese case-law retrieval and legal query-document pairs with same-domain hard negatives. Exclude Nano queries, qrels, positives, and upstream JurisTCU evaluation records. Court text often repeats quotations and boilerplate, so passage- and document-level near-duplicate checks are necessary.
Public Sources#
Example Data#
| Query | Positive document |
| É possível prorrogar um contrato administrativo fora do término do prazo de vigência? [85 chars] | Em regra a prorrogação do contrato administrativo deve ser efetuada antes do término do prazo de vigência, mediante termo aditivo, para que não se opere a extinção do ajuste. Entretanto, excepcionalmente e para evitar prejuízo ao interesse público, nos contratos de escopo, diante da inércia do agente em formalizar tempestivamente o devido aditamento, é possível considerar os períodos de paralisação das obras por iniciativa da Administração contratante como períodos de suspensão da contagem do prazo de vigência do ajuste. [526 chars] |
| A exigência de garantia de participação é permitida juntamente com a exigência de patrimônio líquido mínimo? [108 chars] | A exigência de garantia de participação na licitação, concomitantemente com a de patrimônio líquido mínimo ou de capital social mínimo, afronta o disposto no art. 31, § 2º, da Lei 8.666/1993, ainda que a prestação de garantia seja exigida como requisito autônomo de habilitação, deslocada no edital das exigências de qualificação econômico-financeira. [351 chars] |
| inexigibilidade e singularidade [31 chars] | Nas contratações diretas por inexigibilidade de licitação, o conceito de singularidade não pode ser confundido com a ideia de unicidade, exclusividade, ineditismo ou raridade. O fato de o objeto poder ser executado por outros profissionais ou empresas não impede a contratação direta amparada no art. 25, inciso II, da Lei 8.666/1993. A inexigibilidade, amparada nesse dispositivo legal, decorre da impossibilidade de se fixar critérios objetivos de julgamento. [461 chars] |
Dataset Information#
| Field | Value |
| Nano set | NanoMTEB-BR |
| Backing dataset | NanoMTEB-BR |
| Task / split | JurisTCU |
| Hugging Face dataset | hakari-bench/NanoMTEB-BR |
| Language | pt |
| Category | natural_language |
| Queries | 150 |
| Documents | 10,000 |
| Positive qrels | 1,711 |
| Positives / query avg | 11.41 |
| Positives / query min | 6 |
| Positives / query median | 11.00 |
| Positives / query max | 15 |
| Multi-positive queries | 150 (100.00%) |
| Query length avg chars | 61.39 |
| Document length avg chars | 314.60 |
Candidate Subsets#
| Profile | Config | nDCG@10 | Hit@10 | Recall@100 | Candidates |
| BM25 | bm25 | 0.4688 | 0.9533 | 0.6879 | top-500 |
| Dense | harrier_oss_v1_270m | 0.5227 | 0.9933 | 0.7206 | top-500 |
| Reranking hybrid | reranking_hybrid | 0.5490 | 0.9933 | 0.7791 | top-100 |
Hugging Face Links#
- Nano dataset: hakari-bench/NanoMTEB-BR
- JurisTCU paper: https://doi.org/10.1007/s10579-025-09881-w
- JurisTCU dataset: https://huggingface.co/datasets/LeandroRibeiro/JurisTCU
Source Reference Table#
| Title | Year | Type | URL |
| JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments | 2025 | paper | https://doi.org/10.1007/s10579-025-09881-w |
| LeandroRibeiro/JurisTCU | dataset page | https://huggingface.co/datasets/LeandroRibeiro/JurisTCU |