Forum openmoko-fr.org

Forum de la communauté francophone autour du projet OpenMoko

Vous n'êtes pas identifié.

Annonce

Bienvenue sur ce forum.

Face à un afflux de spammers, les inscriptions ont été désactivée.
Si vous souhaitez vous inscrire, il faudra en faire la demande auprès du webmaster (voir la section "Contact" sur le Blog).

#1 20-01-2010 14:54:23

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

[wikireader] Version Française

Suite au thread précédent qui commence  à partir dans tous les sens, voici un sujet attitré à la traduction FR de Wikipedia sur le Wikireader.

Le Wikireader permet de lire Wikipedia en Offline. Pour ce faire, il faut compiler une image de wikipedia pour qu'elle soit lisible par le lecteur d'OpenMoko.

Deux points sont à prendre en compte les données et l'interface.

GeekShadow explique sur son blog (lien à mettre) comment traduire l'interface et propose une image téléchargeable (lien à mettre).

Pour les données, une image du Wikipedia du 20 décembre est disponible ICI. 1.3Go (merci Burn2 pour l'hébergement) ou chez Bearstech (merci à Deubeulio)

La marche à suivre théorique est la suivante :
- Télécharger un dump de WP.
- Indexer les articles
- Découper l'archive en articles en suivant les indexes
- Créer un rendu de chaque article en suivant les règles d'affichage
- Créer un hash pour simplifier les recherches/indexages
pour toutes ces tâches, le Freerunner est un poil trop léger pour tout faire, aussi, on fait ça sur un PC.

Pour info  (sur un Quad 2.6gHz + 2Go Ram)
- L'image FR de Wikipedia fait 6Go
- L'indexage prend 10minutes
- Le découpage 16/18 heures
- Le rendu 20 heures
- Le reste quelques secondes

A aujourd'hui (20/01/2010) , tout fonctionne correctement, sans problème avec un support des images (seules les formules mathématiques sont incluses pour l'instant mais déjà ça déglingue !).

Notes :
- les perfs devraient être meilleures sur une machine homogène, je me suis rendu compte que mon disque de travail est monté en NFS ....
- le script automatisé dispo sur le git est bancale pour une machine seule, il faut que votre machine se nomme "farm{x}" (0<=x<=20) il faut donc faire les étapes à la main.
- un script pour machine seules va être réécrit rapidement (voir Post #3)

Dernière modification par asthro (21-01-2010 14:45:57)


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#2 21-01-2010 00:03:02

GeekShadow
MoKorateur
Lieu: Fontenay le Comte
Date d'inscription: 30-11-2009
Messages: 40
Site web

Re: [wikireader] Version Française

Et voici les downloads pour le Wiktionary et le firmware français :

http://geekshadow.com/images/wiktionaryfr.png

Liens downs, nouvelles version dispo ici : http://dev.thewikireader.com/language-packs/
* WikiSim (pour émuler le WikiReader, binaire Linux uniquement)
* Firmware du WikiReader en Français (Mis à jour avec les dernières sources)
* Wiktionary Français pour WikiReader (version compilé datant du 11 décembre 2009, comprend aussi le firmware français)

Pour utiliser l'émulateur wikisim :
Créez un dossier, décompresser le Wiktionary Français et déplacez wikisim puis exécuter le.

Enjoy smile

Dernière modification par GeekShadow (29-10-2012 00:46:47)


Projet de traduction du WikiReader en français

Hors ligne

 

#3 21-01-2010 14:22:37

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

Nickel, on fait un peu du squat de forum pour faire un wiki mais bon, on a l'habitude de la pratique chez les Mokistes.

J'ai fini mon script d'automatisation valide pour tous les wikis en toute langue:
- Download du dump wiki
- Decompression
- Indexage
- Parsage
- Renderage
- recompressage
- SHAge
- Uploadage en ftp
En prime, il envoie des mails quand une étape se termine !

Le but est bien évidemment de cronifier ce script pour avoir un rendu hebdomadaire !

Le voici enfin : autowiki


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#4 21-01-2010 15:16:28

misc
Addicted-Moko
Lieu: Clamart
Date d'inscription: 10-04-2009
Messages: 724

Re: [wikireader] Version Française

tu peux aussi squatter le wiki, je pense smile

Hors ligne

 

#5 21-01-2010 15:17:37

Burn2
MoKorateur
Date d'inscription: 15-05-2009
Messages: 1782

Re: [wikireader] Version Française

Il faudrait faire une partie wikireader sur le forum et le wiki smile


Fr A6 - Android 1.5
Aucun fix, A6 pur. (donc bug du buzz inside hmm )

Hors ligne

 

#6 21-01-2010 15:28:37

vrittis
Mini Moko
Date d'inscription: 21-01-2010
Messages: 1

Re: [wikireader] Version Française

Félicitations à vous!
J'avais décidé de m'offrir un Wikireader à cause de son aspect un peu lo-fi et je l'ai reçu en début de semaine. Ayant vaguement suivi la communauté us, je suis ravi de voir que vous avez fait un travail de fous pour soutenir ce projet en fr!
J'ai hâte de voir ce que ça donne, mais avant de l'installer, j'aurais voulu savoir si le dernier firmware embarque les modifications de navigation sur écran (marges hautes et basses pour pageup/pagedown et marges droite et gauche pour forward et back)

En tous cas, encore bravo pour tout ce travail!

Hors ligne

 

#7 21-01-2010 21:12:14

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

Bonjour et bienvenue à toi vrittis.

Si j'ai bien compris la question, je ne pense pas que le firmware actuel intègre ces modifs. Il va falloir trouver une release toute faite, par exemple en fr par GeekShadow, qui intègre lesdites modifs, il me semble, soit les recompiler; ce qui est loin d'être compliqué.

Dans tous les cas, on est là pour t'accompagner si tu as besoin !


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#8 21-01-2010 21:33:19

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

Burn2 a écrit:

Il faudrait faire une partie wikireader sur le forum et le wiki smile

Voilà qui est corrigé :

Wiki du Wikireader

C'est une ébauche, je n'ai mis en forme que le premier message de ce sujet, et encore aucune ligne de commande (pas bien !)


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#9 22-01-2010 09:21:35

fylefou
Addicted-Moko
Lieu: Marseille
Date d'inscription: 24-10-2008
Messages: 330

Re: [wikireader] Version Française

hey asthro , dans la mailing ya Tom Bachmann qui te parle de son kernel qui permet d'avoir plusieurs wiki? c'est ça? c'est quoi ce kernel , faut recupérer les dernieres sources?
j'ai  espoir de pouvoir mettre la biographie de stallman sur le WR


FR A6 -autono+buzzzzzzzz fix merci footware
qtmoko 26 - parce que un telephone qui marche c'est pratique qd meme
__________________________________

Hors ligne

 

#10 22-01-2010 10:48:08

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

on discute un peu de son merdier, c'est une solution pasquick'n'dirty, mais ça marche. Il utilise un kernel 'homemade' qui permet de choisir un wiki au démarrage. Il faut juste réordonner et reindexer tous les articles, ce qui prend du temps.

Mes tests d'hier n'ont pas été concluants, maias avec son dernier mail (plus clair) ça a l'air plus clair.

Je reteste donc ça asap (avec le WR français et le WR bielorusse (1074 articles -> rapide à traiter).


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#11 25-01-2010 00:21:45

swap38
AdMoKostrateur
Lieu: Grenoble
Date d'inscription: 21-07-2008
Messages: 766
Site web

Re: [wikireader] Version Française

Hey Deubeuliou, est-ce que bearstech (ou hackable-devices.com) compte commercialiser des wikireader 100% francophones ?
ça pourrait intéresser le grand public : http://linuxfr.org/comments/1100007.html#1100007
(et c'est une porte d'entrée vers les hackable devices)


"There's no place like ~"

L'APRIL a passé la barre des 5000 adhérents, mais l'effort continue. Soutenez l'APRIL

Hors ligne

 

#12 26-01-2010 13:37:09

fylefou
Addicted-Moko
Lieu: Marseille
Date d'inscription: 24-10-2008
Messages: 330

Re: [wikireader] Version Française

vous avez vu ça  sur github?:http://wiki.github.com/wikireader/wikireader/structure-of-sd-card

Multiple Language Version

    * Programs are in the root (*.elf)
    * Forth related items (*.4th *.4mu forth.ini) are in the root
    * Fonts (*.bmf) are in the root
    * XXpedia subdirectories contain the data (wiki*.*) (XX = en, es, de, fr … see wiki-app/wiki_info.c)
    * XXpedia/wiki.nls is the language specific messages file (plain text “key=message”)


FR A6 -autono+buzzzzzzzz fix merci footware
qtmoko 26 - parce que un telephone qui marche c'est pratique qd meme
__________________________________

Hors ligne

 

#13 26-01-2010 13:55:16

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

fylefou a écrit:

Multiple Language Version

    * XXpedia subdirectories contain the data (wiki*.*) (XX = en, es, de, fr … see wiki-app/wiki_info.c)
    * XXpedia/wiki.nls is the language specific messages file (plain text “key=message”)

WTF ?  Je me speed ce soir de tester ça ! (j'ai aps mon WR ici ...) Ha ce serait trop bon !

Bien vu fylefou !


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#14 26-01-2010 21:21:11

GeekShadow
MoKorateur
Lieu: Fontenay le Comte
Date d'inscription: 30-11-2009
Messages: 40
Site web

Re: [wikireader] Version Française

yep il y a encore eu une maj smile
je test dès que je peux...


Projet de traduction du WikiReader en français

Hors ligne

 

#15 27-01-2010 10:11:46

fylefou
Addicted-Moko
Lieu: Marseille
Date d'inscription: 24-10-2008
Messages: 330

Re: [wikireader] Version Française

hey asthro g vu sur la mailing que t'es en contact avec un gars qui a fait un fork pour parser les ebooks
http://gitorious.org/wikireader-ness
intéressant.... son BookIndex.py... apparemment il lance ça en lieu et place du index et parse du wiki mais je suis pas sur car en fait il semblerait qu'il sort un xml donc il ferrait peut etre un index et une sortie xml de ses ebook pour re-rentrer dans la boucle classique...
ce qui voudrait dire que l'indexation dans la db et un append dans le xml serait suffsant?...
bon je matte ca a midi... mais si il t'en dis plus tiens nous au jus pleaz
fylelou - espion du KGB - mission : surveillance de T.H. "Asthro" dans le projet secret coureur-wiki


FR A6 -autono+buzzzzzzzz fix merci footware
qtmoko 26 - parce que un telephone qui marche c'est pratique qd meme
__________________________________

Hors ligne

 

#16 28-01-2010 13:43:39

fylefou
Addicted-Moko
Lieu: Marseille
Date d'inscription: 24-10-2008
Messages: 330

Re: [wikireader] Version Française

Bon au final ya un truc que je pige pas , ya une indexation des "article/pages" ok mais je n'arrive pas a saisir comment fonctionne l'offset dans la db sqlite
il faudrait vraiment piter le fonctionnement de ce processus en entier : indexation avec rassemblement en un seul fichier , decoupage?, parsin(comment fonctionne-t-il) bref les gars si vous avez qq info sur le fonctionnement (pour commencer ce p$àà-_'(àç-" d'offset j'arrive pas a comprendre comment ca fonctionne


FR A6 -autono+buzzzzzzzz fix merci footware
qtmoko 26 - parce que un telephone qui marche c'est pratique qd meme
__________________________________

Hors ligne

 

#17 29-01-2010 08:27:33

GeekShadow
MoKorateur
Lieu: Fontenay le Comte
Date d'inscription: 30-11-2009
Messages: 40
Site web

Re: [wikireader] Version Française

Un autre truc qui m'intéresserai aussi : pouvoir compiler les doc PHP, et autre pour le WikiReader smile


Projet de traduction du WikiReader en français

Hors ligne

 

#18 29-01-2010 12:54:10

fylefou
Addicted-Moko
Lieu: Marseille
Date d'inscription: 24-10-2008
Messages: 330

Re: [wikireader] Version Française

a oué super idee....
sinon quelqu'un a une idée du foncctionnement brut (article compilé format des index ,...) final ? peut etre que ca pourrait faire avancer


FR A6 -autono+buzzzzzzzz fix merci footware
qtmoko 26 - parce que un telephone qui marche c'est pratique qd meme
__________________________________

Hors ligne

 

#19 04-02-2010 23:26:03

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

Voici le script automatisé à claquer dans /wikireader :
Rien de méchant, mais tout est automatisé du download à l'install

utilisation, par exemple pour le wiki français :

Code:

$ autowiki fr

ou le bielorusse :

Code:

$ autowiki be

Code:

#!/bin/sh
# Automation script for rendering a Wikipedia image for the FR
# Written by AstHrO  / openmoko-fr.org / thomas.hocedez@free.fr
# V 1.0 
# Todo #!/bin/sh
# Automation script for rendering a Wikipedia image for the FR
# Written by AstHrO  / openmoko-fr.org / thomas.hocedez@free.fr
# V 1.0 
#  param1 : language (fr,en,be,lu....)

# Language extension of the WP (fr,en, nl ...)
if [[ "$1" = "" ]];  then
lang="fr"
 else 
lang=$1
fi

# Ftp host configuration :
ftp_host="ftphost"
ftp_login="ftplogin"
ftp_passd="ftppassword"
mail="user@mail.com"

# Folder where the wikireader tools are installed
wr_folder="/media/stocks/wikireader"

# You don't have to change following stuff, but you can ...
cfile="${lang}wiki-latest-pages-articles.xml.bz2"
ufile="${lang}wiki-latest-pages-articles.xml"
mail_msg="message.txt"
sep="=============================================================="

echo "---" > $mail_msg

# Going to the working folder :
cd $wr_folder

# cleaning old treatments :
echo $sep
echo "Step 1 : CLeaning..."
make clean &>/dev/null

# downloading interesting WP :
echo $sep
echo "Step 2 : Downloading dump ..."
rm $cfile &>null
wget http://download.wikimedia.org/${lang}wiki/latest/$cfile  
ls -l $cfile | mail -s "[WR] Wikipedia dump downloaded"  "$mail" < $mail_msg

# uncompressing :
echo $sep
echo "Step 3 : Uncompressing ..."
rm $ufile &>/dev/null
bzip2 -d ./$cfile 2> log.txt &1> /dev/null

#creating some folders :
mkdir work &>/dev/null
mkdir image &>/dev/null

echo $sep
echo "Step 4 : Indexing Articles..."
# Creating index of articles :
make index XML_FILES="$ufile" DESTDIR=image WORKDIR=work 2> log.txt 1> /dev/null

# Parsing  :  (30>60 sec / 1000)
echo $sep
echo "Step 5 : Parsing Articles ..."
make parse -j3  XML_FILES="$ufile" DESTDIR=image WORKDIR=work 2>log.txt
#mail -s "[WR] Parsing of $ufile complete !"  "$mail" < $mail_msg

# Rendering the file : (60>200 sec / 1000)
echo $sep
echo "Step 6 : Rendering ..."
make render -j3  XML_FILES="$ufile" DESTDIR=image WORKDIR=work 2>log.txt 
#mail -s "[WR] Rendering of $ufile complete !"  "$mail" < $mail_msg

echo $sep
echo "Step 7 : Finalizing ..."
# Combining articles indexes (few seconds)
make combine -j3 DESTDIR=image WORKDIR=work > $mail_msg

# Generating a Hash (last few seconds dude !)
make hash -j3  DESTDIR=image WORKDIR=work >> $mail_msg

# Going to output folder
cd image
echo $sep
echo "Step 8 : Compressing files..."
# Compressing  data files
tar -cvf wr_${lang}_$(date '+%d-%m-%Y').tar.gz pedia*.*

# a little HASH to be sure ...
shasum wr_${lang}_$(date '+%d-%m-%Y').tar.gz >  sha_${lang}.txt
#mail -s "[WR] Hash of your file..."  "$mail" < $mail_msg
echo $sep
echo "Step 9 : Let's FTP all this !"
# Let's FTP all this stuff
ftp -n << EOF
open $ftp_host
user $ftp_login $ftp_passd
binary
put wr_${lang}_$(date '+%d-%m-%Y').tar.gz
EOF
echo $sep
echo "Step 10 : Enjoy !"
#mail -s "[WR] All done, WP image ready to use !"  "$mail"

# That's it you can now send a mail to your friends.
#  param1 : language (fr,en,be,lu....)

# Language extension of the WP (fr,en, nl ...)
if [[ "$1" = "" ]];  then
lang="fr"
 else 
lang=$1
fi

# Ftp host configuration :
ftp_host="ns206307.ovh.net"
ftp_login="wr"
ftp_passd="wikireader"
mail="thomas.hocedez@free.fr"

# Folder where the wikireader tools are installed
wr_folder="/media/stocks/wikireader"

# You don't have to change following stuff, but you can ...
cfile="${lang}wiki-latest-pages-articles.xml.bz2"
ufile="${lang}wiki-latest-pages-articles.xml"
mail_msg="message.txt"
sep="=============================================================="

echo "---" > $mail_msg

# Going to the working folder :
cd $wr_folder

# cleaning old treatments :
echo $sep
echo "Step 1 : CLeaning..."
make clean &>/dev/null

# downloading interesting WP :
echo $sep
echo "Step 2 : Downloading dump ..."
rm $cfile &>null
wget http://download.wikimedia.org/${lang}wiki/latest/$cfile  
ls -l $cfile | mail -s "[WR] Wikipedia dump downloaded"  "$mail" < $mail_msg

# uncompressing :
echo $sep
echo "Step 3 : Uncompressing ..."
rm $ufile &>/dev/null
bzip2 -d ./$cfile 2> log.txt &1> /dev/null

#creating some folders :
mkdir work &>/dev/null
mkdir image &>/dev/null

echo $sep
echo "Step 4 : Indexing Articles..."
# Creating index of articles :
make index XML_FILES="$ufile" DESTDIR=image WORKDIR=work 2> log.txt 1> /dev/null

# Parsing  :  (30>60 sec / 1000)
echo $sep
echo "Step 5 : Parsing Articles ..."
make parse -j3  XML_FILES="$ufile" DESTDIR=image WORKDIR=work 2>log.txt
#mail -s "[WR] Parsing of $ufile complete !"  "$mail" < $mail_msg

# Rendering the file : (60>200 sec / 1000)
echo $sep
echo "Step 6 : Rendering ..."
make render -j3  XML_FILES="$ufile" DESTDIR=image WORKDIR=work 2>log.txt 
#mail -s "[WR] Rendering of $ufile complete !"  "$mail" < $mail_msg

echo $sep
echo "Step 7 : Finalizing ..."
# Combining articles indexes (few seconds)
make combine -j3 DESTDIR=image WORKDIR=work > $mail_msg

# Generating a Hash (last few seconds dude !)
make hash -j3  DESTDIR=image WORKDIR=work >> $mail_msg

# Going to output folder
cd image
echo $sep
echo "Step 8 : Compressing files..."
# Compressing  data files
tar -cvf wr_${lang}_$(date '+%d-%m-%Y').tar.gz pedia*.*

# a little HASH to be sure ...
shasum wr_${lang}_$(date '+%d-%m-%Y').tar.gz >  sha_${lang}.txt
#mail -s "[WR] Hash of your file..."  "$mail" < $mail_msg
echo $sep
echo "Step 9 : Let's FTP all this !"
# Let's FTP all this stuff
ftp -n << EOF
open $ftp_host
user $ftp_login $ftp_passd
binary
put wr_${lang}_$(date '+%d-%m-%Y').tar.gz
EOF
echo $sep
echo "Step 10 : Enjoy !"
#mail -s "[WR] All done, WP image ready to use !"  "$mail"

# That's it you can now send a mail to your friends.

______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#20 04-02-2010 23:40:08

swap38
AdMoKostrateur
Lieu: Grenoble
Date d'inscription: 21-07-2008
Messages: 766
Site web

Re: [wikireader] Version Française

Juste un mot : wow !

Ce script mériterais d'être ajouté en pièce jointe dans l'article du wiki.
Pour aider tout le monde et éviter de chercher dans le forum (et encore, faut savoir qu'il existe !).


"There's no place like ~"

L'APRIL a passé la barre des 5000 adhérents, mais l'effort continue. Soutenez l'APRIL

Hors ligne

 

#21 05-02-2010 00:28:21

asthro
MoKorateur
Lieu: Haubourdin - Nord
Date d'inscription: 02-01-2009
Messages: 775
Site web

Re: [wikireader] Version Française

Et voilà, le script est dispo sur le wiki... j'oublias l'adresse : http://freerunner.daily.free.fr/files/autowiki.sh


______ // AstHrO \\ ________
A6 * Revival   *  QtMoko V31fr
Site proSite freerunner

Hors ligne

 

#22 05-02-2010 00:48:33

GeekShadow
MoKorateur
Lieu: Fontenay le Comte
Date d'inscription: 30-11-2009
Messages: 40
Site web

Re: [wikireader] Version Française

wow beau boulot smile je teste ça la semaine prochaine pendant mes vacances wink


Projet de traduction du WikiReader en français

Hors ligne

 

#23 03-03-2010 23:35:03

pini
Addicted-Moko
Lieu: Lyon
Date d'inscription: 01-09-2008
Messages: 449

Re: [wikireader] Version Française

Out of curiosity (et + si affinité) : y'a moyen - a priori - d'adapter l'applicatif wikireader à un FR ?

Hors ligne

 

#24 29-10-2012 00:56:19

GeekShadow
MoKorateur
Lieu: Fontenay le Comte
Date d'inscription: 30-11-2009
Messages: 40
Site web

Re: [wikireader] Version Française

@asthro

Je suis curieux de savoir si tu as encore ton WikiReader big_smile


Projet de traduction du WikiReader en français

Hors ligne

 

Pied de page des forums

Propulsé par FluxBB 1.2.20
Traduction par FluxBB.fr

Hébergé par :
Bearstech