Forum openmoko-fr.org

asthro · 28-11-2009 10:47:22

oui, j'y pense....mais j'ai oublié de logger les noms ....:-(

point à 10h41 : 190000 articles, 10HS, fin estimée ~24h
point à 14h47 : 662000 articles, 27HS, fin estimée : 8h30 dimanche matin
point à 17h1x: le million ! le million ! le million !

Bon par contre j'ai relu les sources des outils, je me gauffre carrément ! Je parse les discussion;, les catégories et tout le bordel, j'aurai pu finir bien avant maintenant !
-> on recommence à 0 !!! Mais fin prévue demain matin quand même !

Point à 10h44 (dimanche) :
Effectivement, 1105000 article parsés, 61 sont HS.

Je lance le rendering ! pff c'est tout aussi long : 1000 articles en 5 mn .... ça va nous faire du 80 heures encore .... pfff...

Dernière modification par asthro (29-11-2009 10:51:05)

fylefou · 28-11-2009 11:27:54

... tres bonne nouàvelles;)

asthro · 29-11-2009 22:00:18

Forcément, je laisse tourner un traitement toute la journée, et il plante dès que je claque la porte de chez moi ....

J'ai relancé le rendering à 18h30, et 3h30 plus tard, 150 000 articles sont prêts .... sur les 1,1 million ça fait long encore (ne calculez pas ça fait 26h au total ....)

Je n'ai pas assez de puissance de calcul, je vais voir si je peux découper les fichiers pour les lancer en parallèle (pour les prochaines fois). Python n'aime pas le multitâche/proc, donc il faut le faire soit même !

Un peu de courage, on y est presque (et pis j'aurais au moins pu tester sur quelques pages avant au fait .....)

fylefou · 30-11-2009 08:04:17

asthro a écrit:
....Python n'aime pas le multitâche/proc, donc il faut le faire soit même !
...

tu as fait ça avec le module multiprocessing ou threading?
sinon je pensais , il serait peut être interressnnt de le faire tourner sur un serveur (genre il y aurait apres un serveur qui ferait la mise à jour régulièrement, puis peut être les wikibook, ekopedia, etc....)?
bref entre deux compilation d'article tu pourras résumer le procédé, nous faire un chtit topo sur comment que ça marche? si on peut t'aider....

Dernière modification par fylefou (30-11-2009 08:07:58)

asthro · 30-11-2009 09:40:43

du multithread en Python ? j'savais pas (y'a trois jours j'avais jamais ouvert un script python ...)

Je pense prendre un petit serveur chez OVH, qui serait plus ou moins dédié à tout ça, et à l'occaz faire du mirroring d'images pour le FR.

Si l'image du WR de ce midi s'avère utilisable, je fais un tuto complet. et j'inviterais donc chaque âme charitable à venir y mettre son grain de sable !

kimaidou · 30-11-2009 09:46:11

Bonjour

Question bête, mais au passage, est ce que ce type de logigiel tournerait sous un ordi classique ? On n'est pas toujours connecté à internet, et avoir par exemple tout wikipédia France sur son laptop ?

fylefou · 30-11-2009 10:18:16

asthro a écrit:
du multithread en Python ? j'savais pas (y'a trois jours j'avais jamais ouvert un script python ...)

Je pense prendre un petit serveur chez OVH, qui serait plus ou moins dédié à tout ça, et à l'occaz faire du mirroring d'images pour le FR.

Si l'image du WR de ce midi s'avère utilisable, je fais un tuto complet. et j'inviterais donc chaque âme charitable à venir y mettre son grain de sable !

http://broadcast.oreilly.com/2009/04/py … art-2.html
pour un peu d'info sur le multiprocessing ,(voir la part1 également)

sinon moi g un dédie , je ferrais bien du mirroring d'image (ça peux aider) comment tu procéderais

misc · 30-11-2009 10:54:38

Faire du multiprocessing ne va pas forcement accelerer les choses, il faut voir ce qui bloque. Par exemple, si c'est les i/o qui sont le point bloquant, on va pas aller loin. De même, si le cpu est à 100%, à moins d'avir un dualcore ou ce genre de choses, lancer plus de tache ne va pas aider.

asthro · 30-11-2009 14:40:51

bon, l'image est finie, et a l'air fonctionnelle (je suis au taff, et j'attaque l'image par le simulateur en serveur X déporté depuis chez moi (oui, bon bah, on fait comme on peut ...)) même si elle plante un peu (le simulateur est bancale de toutes façons ...)

Je la transfert ce soir sur la machine en vrai et je vous dis quoi !

A ce soir, bon après-midi, j'vais bosser un peu moi .... ;-)

fylefou · 30-11-2009 14:55:47

coooool

GeekShadow · 30-11-2009 23:29:06

J'ai reçu mon WikiReader aujourd'hui chez moi mais je n'ai pas eu encore la chance de le tester vu que je suis ailleurs pour mes études...
Je l'ai payé 89,04 € sur Amazon.com (WikiReader : 68,25 € + FDP : 20,79 € en "Expedited Shipping")
Seulement une fois reçu mon père à du payer 28 € de TVA ! C'est normal de devoir payer autant ?

Sinon j'était aussi intéressé pour mettre la version française de Wikipedia, j'ai un peu regardé les scripts en Python mais ça me rebute, j'aimerais bien un tutoriel De plus il est possible de mettre n'importe quel dump mediawiki alors !

misc · 01-12-2009 01:39:04

ça fait 30% de tva, ça me semble assez excessif, en effet.

fylefou · 01-12-2009 08:04:05

(psssss moi j'ai pas payé de tva......) ce si dis c'était un douanier? ou un facteur malin ?

asthro · 01-12-2009 09:32:33

(CROSSPOSTED)

Je m'occupe de générer les images françaises pour le WR. C'est presque fini, j'ai encore quelques bugs. 1 140 000 articles, 61 pas exportabels (pb de ???). Normalement d'ici ce soir ou demain (le process est trèèès long), tout sera fini.
J'aurai besoin de testeurs sous la main : j'ai flingué la partie "touchscreen" de mon WR en essayant de mettre du retro éclairage ... :-( Je ne peux me servir du mien qu'en "random".
Pour la TVA, c'est ....étrange. Je n'ai rien eu à payer. mais ça dépend des organismes de livraison (UPS est très à cheval sur la TVA par exemple alors qu'en Poste classique ....moins)

fylefou · 01-12-2009 10:03:16

si je peux t'aider... faut juste que je retrouve l'adaptateur micro->sd

fylefou · 01-12-2009 10:32:54

c'est toi sur la mailling openmoko astrho?

Epy · 01-12-2009 12:24:19

asthro a écrit:
(CROSSPOSTED)
J'aurai besoin de testeurs sous la main : j'ai flingué la partie "touchscreen" de mon WR en essayant de mettre du retro éclairage ... :-( Je ne peux me servir du mien qu'en "random".

Il est flingué flingué ou il est trop serré dans le boitier ?

asthro · 01-12-2009 22:29:15

Trop bien le coup du "trop serré" , mais après un test facile rempli d'espoir, non, toujours rien...snif.
J'ai donc tout ressoudé fil par fil (la haine, c'est tout petit, pire qu'un Moko !), et toujours rien. Je vais tenter de récup des pièces détachées auprès de Sean ou autre. Encore une piste : le soft. j'ai bidouillé un peu les sources ... ça peut venir de là (ou pas ...)

Du coup ça m'a ralenti pas mal dans mes rendering moi.... je sais plus où j'en étais.... Je recommence tout, avec les sources officielles et tout et tout.

BOnne nuit et à demain, moins galérien

fylefou · 02-12-2009 08:08:00

ya moyen qu'en 2-3 mot tu nous brif sur ce qu'il faut faire, j'ai regardé les sources et je me suis perdu un peu (en meme temps gt à la bourre).
puis j'ai pas de poussiere d'etoiles moi

asthro · 02-12-2009 09:35:40

j'vais ecrire un tuto ce midi, j'le claquerai sur mon blog ou sur le wiki. La manip n'est pas bien compliquée, mais implique quelques préparatifs (packages, dépendance etc.) Je voudrais être concis pour juste à avoir à faire un copier/coller, voire que quelqu'un puisse en faire un script.

@tt

asthro · 02-12-2009 09:42:51

fylefou a écrit:
c'est toi sur la mailling openmoko astrho?

oui oui ... :-D

fylefou · 02-12-2009 10:05:52

.... donc je connais maintenant ton nom mouhahahaha n'est ce pas , thomas, mouhahahaha.... désolé .. bref
... merci pour le tuto , car je sais pas par où commencer

Dernière modification par fylefou (02-12-2009 10:07:18)

asthro · 02-12-2009 10:38:35

T'as qu'à commencer par te calmer d'abord, hein ?!! Parceque sinon je diffuse les photos de ton hamster prises cet été à Ibiza ... pas joli joli non plus ...

(Tiens, j'ai plus de café ...)

okhin · 02-12-2009 11:09:50

Voilà, une cafetière qui marche, une c/_\7

Okhin - ASCIIArtist'

GeekShadow · 08-12-2009 01:59:47

Bon pour compléter asthro je me suis occupé de traduire le firmware du WikiReader en français avec clavier Azerty et tout.
Si tout va bien je poste ça demain

Edit :
Bon certaines chaines de caractères sont trop grande (il faut que je vois si l'on peut régler sur plusieurs lignes ou alors taille de police)
Les images modifiées ne se chargent pas (ce sont celles par défaut : oubli ?)

Dernière modification par GeekShadow (08-12-2009 02:24:41)

Forum openmoko-fr.org

#51 28-11-2009 10:47:22

Re: OpenMoko:WikiReader

#52 28-11-2009 11:27:54

Re: OpenMoko:WikiReader

#53 29-11-2009 22:00:18

Re: OpenMoko:WikiReader

#54 30-11-2009 08:04:17

Re: OpenMoko:WikiReader

asthro a écrit:

#55 30-11-2009 09:40:43

Re: OpenMoko:WikiReader

#56 30-11-2009 09:46:11

Re: OpenMoko:WikiReader

#57 30-11-2009 10:18:16

Re: OpenMoko:WikiReader

asthro a écrit:

#58 30-11-2009 10:54:38

Re: OpenMoko:WikiReader

#59 30-11-2009 14:40:51

Re: OpenMoko:WikiReader

#60 30-11-2009 14:55:47

Re: OpenMoko:WikiReader

#61 30-11-2009 23:29:06

Re: OpenMoko:WikiReader

#62 01-12-2009 01:39:04

Re: OpenMoko:WikiReader

#63 01-12-2009 08:04:05

Re: OpenMoko:WikiReader

#64 01-12-2009 09:32:33

Re: OpenMoko:WikiReader

#65 01-12-2009 10:03:16

Re: OpenMoko:WikiReader

#66 01-12-2009 10:32:54

Re: OpenMoko:WikiReader

#67 01-12-2009 12:24:19

Re: OpenMoko:WikiReader

asthro a écrit:

#68 01-12-2009 22:29:15

Re: OpenMoko:WikiReader

#69 02-12-2009 08:08:00

Re: OpenMoko:WikiReader

#70 02-12-2009 09:35:40

Re: OpenMoko:WikiReader

#71 02-12-2009 09:42:51

Re: OpenMoko:WikiReader

fylefou a écrit:

#72 02-12-2009 10:05:52

Re: OpenMoko:WikiReader

#73 02-12-2009 10:38:35

Re: OpenMoko:WikiReader

#74 02-12-2009 11:09:50

Re: OpenMoko:WikiReader

#75 08-12-2009 01:59:47

Re: OpenMoko:WikiReader

Pied de page des forums