RE : RE : [sdx-developers] RE : Gestion de la mémoi re

[Martin Sevigny]

> > Certes, ça boufferait de la performance car on demande à la 
> structure 
> > de
> > fichiers de faire exactement l'inverse de ce pour quoi elle 
> a été conçue.
> 
> Voire...

J'obtiens 11% de gain avec des champs non stockés sur ma machine, avec
JDK 1.4.

Par contre, si je modifie ton TestLucene en inversant l'ordre des tests,
les champs stockés sont plus rapides : effet classique du JIT. Donc pas
très concluant.

Ensuite, pour essayer de contourner cet effet, j'ai fait trois fois les
deux tests dans la même passe, ce qui me donne ceci :

Unstored field test : 50000 searches on 1000 documents took 6499 ms
Stored field test : 50000 searches on 1000 documents took 6259 ms
Unstored field test : 50000 searches on 1000 documents took 5819 ms
Stored field test : 50000 searches on 1000 documents took 6089 ms
Unstored field test : 50000 searches on 1000 documents took 6329 ms
Stored field test : 50000 searches on 1000 documents took 6048 ms

Si je recommence tout de suite après, j'ai ceci :

Unstored field test : 50000 searches on 1000 documents took 6590 ms
Stored field test : 50000 searches on 1000 documents took 6269 ms
Unstored field test : 50000 searches on 1000 documents took 5858 ms
Stored field test : 50000 searches on 1000 documents took 6059 ms
Unstored field test : 50000 searches on 1000 documents took 5778 ms
Stored field test : 50000 searches on 1000 documents took 6049 ms

Bref, je ne suis pas particulièrement convaincu! Mais...

Je comprends que peut être plus efficace dans ce contexte, mais je me
pose une question : est-ce encore le cas s'il y a beaucoup de champs et
beaucoup de documents?

Parce qu'il me semble que que termEnum().term() est une opération
coûteuse en Lucene. Mais peut-être que je me trompe.

De toutes façons, dans le but d'améliorer très sensiblement la
performance des listes de termes dans SDX (à mon avis c'est le principal
goulot d'étranglement), on va implanter une cache disque/mémoire...

A bientôt,

Martin Sévigny