Forum openmoko-fr.org

@misc
Oui a priori c'est possible et c'est ce que j'essayai de faire avec Wiktionnary.
La base est un fichier xml, donc si le parser en python est bien réglé normalement pas de problème...

le parsing marche nickel, on a bien un fichier HTML qui va bien, c'est le rendering pour ma part qui déconne. Enfin j'imagine car le WR me dit "unable to afficher cet article, please try to redémarrer et essaie encore" . Et le Random ne marche pas -> même effet.

En passant sur mon nouveau WR (from SAV), j'ai un "menu" contraster qui apparait quand je n'ai pas de SD. Je vais essayer de récupérer le firmware.

P.S. : je n'ai suivi qu'à moitié le tuto de GeekShadow pour la traduction ... ;-)

Dernière modification par asthro (16-12-2009 09:17:07)

Voila, firmware entièrement traduit en français sans les accents :

http://dl.dropbox.com/u/364419/web/dev/ … shadow.zip

"Tu es jeunes? tu as du temps de libre???
Alors toi aussi vient découvrir la compilation!
Découvre ses joies du temps de compilation aléatoire inconnu à l'avance, que tu lances à 23h avant de te rendre compte que 2h après ce n'est toujours pas finie.
Ses joies de l'erreur durant la compilation à la fin car il manque un paquet t'obligeant à tout recommencer.
Les joies du "merde j'ai compilé pour une autre archi ça ne passe pas sur ma machine et faut refaire le configure + make".
Sans oublier les surprises de coupure de courant ou de régis qui passe et "oups désolé".
Ce suspence insoutenable et ce temps de recherche pour résoudre un problème de compilation incompréhensible te ravira."



Un jeu powered linux.

Dernière modification par Burn2 (17-12-2009 16:19:25)

GeekShadow a écrit:

Voila, firmware entièrement traduit en français sans les accents :

trop coool !  je l'installe ce soir, comme ça je verrais en français que mes articles ne sont pas lisibles... :-D

yop yop, c'est pas bien compliqué, mais ça ne marche pas super...

Compiler Wikipedia FR

Je ne peux que conseiller de faire un test avec les fichiers d'exemple, car passer 48h à attendre entre deux compil', c'est long, surtout quand ça ne marche pas ....

Je vais avoir un peu de temps la semaine prochaine pour m'y remettre sérieusement.

Peut-être aque GeekShadow avance plus vite que moi. (?)

j'aurai bien bossé dessus pendant mes vacances la semaine prochaines, mais je suis obligé de les annuler ... super ,  vive Noël toussa toussa ...
Je ferais les tests du boulot, en montant une VM sur un gros serveur ;-)

bon, comme j'ai pas de temps la semaine prochaine, je m'y suis mis ce weekend, tellment il fait beau pour aller se ballader ;-)
Il faut dire que GeekShadow m'a un peu poussé...

Les résultats sont EXCELLENTS ! Après quelques échanges par mail, j'ai réussi à compiler un tout petit bout du wikipedia US complètement, avc des outils en FR. Le Wikireader les a bien digérés et tout le process est donc dorénavant maitrisé.

Je n'ai plus qu'à faire un test sur le Wikipedia FR, simple formalité, et ensuite je lance le traitement pour l'intégralité.
Pour ce faire, j'ai quelque peu modifié les scripts originaux, ajouter quelques pincées de python (que je ne maitrise pas par contre).

Dans un premier temps, on peut se taper le traitement à la main (mons cripts n'étant pas fini, il demandera à être relu). :

mail envoyé à GeekShadow a écrit:

Je me tape le traitement à la main :
1° parsing du dump :  make parse -j3 DESTDIR=image WORKDIR=work XML_FILES=test2.xml
2° indexation du dump :
make index -j3 DESTDIR=image WORKDIR=work XML_FILES=test2.xml
3° rendering du dump :
make render -j3 DESTDIR=image WORKDIR=work XML_FILES=test2.xml
4° multiplexage (?) des fichiers temporaire
make combine DESTDIR=image WORKDIR=work XML_FILES=test2.xml
5° génération du hash :
make hash DESTDIR=image WORKDIR=work XML_FILES=test2.xml

@GeekShadow:
- Le dossier "Work" ne sert que de temporaire, et son contenu n'est pas exploitable.
- Le script est bizzarement bancale sur nos machines, d'où les modifs que j'ai faites. et on voit égalment qu'il manque les 2 derniers steps dans le script.

j'y pense mais le Script pourrait se contenter d'être les 5 lignes ci-dessus.... je teste.

Oui le script fonctionne en étant très simplifié :

Compilage WR

Il y a d'autre scripts à modifier mais celui-ci est exploitable.



Allez, on y est, y'a plus qu'une dernière compile.

Dernière modification par asthro (27-12-2009 15:27:29)

Je compile toujours Wiktionnary FR avec la vieille méthode on verra si j'ai des erreurs...
Je suis rendu au rendering (853 000 sur 1 560 000) mardi 14h00

@asthro
tu utilises toujours tes 5 lignes en manuel ou tu utilises le nouveau 00run.sh ?

parsing terminé ! (ouf!) rendering en cours des 1 172 151 articles... à environ 2mn/1000 => fini dans 9h (ce soir).

L'idée d'avoir un wikipedia FR avant les douze coups du 31 décembre est possible. On va le faire ! (sinon le WR se transforme en Game'n'Watch)

@GeekShadow : t'en es où du Wiktionary ?

put*** de wiki de m** *** !!!!

un caractère UTF bizzare a fait exploser mon traitement à 175000 articles rendus....
j'ai corrigé en quick'n'dirty, on recommence le traitement de rendering ...

On va jamais y arriver ...

@NicolasB
Yep je leur ai envoyé un mail en début de mois, ils m'ont dit qu'ils allaient poster un tutoriel "bientôt"... et toujours rien

En attendant je suis reparti sur le nouveau code de WikiReader pour compiler le Wiktionary et ça doit bientôt être fini :
1 164 000 sur 1 560 417 articles en rendering...

Bonne année, il me semble qu'on est en 2010, oui c'est sûr. Ah euh bonne nouvelle, Wiktionary FR est fini de compiler et... ça marche ! Pas d'erreurs, j'ai enfin mon dictionnaire de poche

WIN !



Ah oui je devais poster ça vers 2h du mat' mais on m'a retenu pour un Cranium (partie que j'ai gagné contre des cerveaux lents...)

Je poste mes fichiers plus tard dans la journée le temps de dormir un peu par contre, donc bonne année encore :p

Dédicace à Asthro :

Dernière modification par GeekShadow (01-01-2010 05:28:32)