Forum e dietro le quinte: facciamo chiarezza

[devis]

Non mi arrivano più le mail di notifica. Capita anche a voi?

[Favo]

benissimo, grazie Paolo


P.S. mi permetto di dirti che il tuo precedente avatar era decisamente meglio, l'attuale mi mette angoscia !!!

[pnx]

Originally posted by "FreeMan"



anche a me

edit: apparso anche a me dopo il post..

>bYeZ<

Ho capito,

il pulsante appare solo sui propri post...

[allmaster]

è sparito di nuvo il topic su Star Trek: Enterprise

http://forum.hwupgrade.it/viewtopic.php?p=4747612#4747612

è la seconda volta che lo cancellate

"Paolo che per caso sei Romulano"

Pazienza toccherà riaprirlo.

[checo]

dico la mia cazzata, non sapendo assolutamente come funziona il phpbb

da quello che ho capito è la tabella di search che se è troppo grande oltre a gravare sul carico della cpu arriva a non stare in memoria.

cazzata n° 1 aumentare la mamoria se l'architettura lo consente no?

cazzata n°2 ma meno della n°1

non si riesce a schedulare le ricerche su una sola cpu dedicata in modo tale che l'utilizzo del forum continua normalmente, in caso di rallentamenti sarà solo la ricerca a soffrire.

EDIT
mi rendo conto però che la tabella di ricrca deve essere modificata anche quando si scrive un post, quindi non è che migliori tanto la divisione dei task

in questo caso un dual opteron con memoria dediacta ad ogni cpu sarebbe una gran cosa.

[Paolo Corsini]

Originally posted by "checo"

dico la mia cazzata, non sapendo assolutamente come funziona il phpbb

da quello che ho capito è la tabella di search che se è troppo grande oltre a gravare sul carico della cpu arriva a non stare in memoria.

cazzata n° 1 aumentare la mamoria se l'architettura lo consente no?

cazzata n°2 ma meno della n°1

non si riesce a schedulare le ricerche su una sola cpu dedicata in modo tale che l'utilizzo del forum continua normalmente, in caso di rallentamenti sarà solo la ricerca a soffrire.

EDIT
mi rendo conto però che la tabella di ricrca deve essere modificata anche quando si scrive un post, quindi non è che migliori tanto la divisione dei task

in questo caso un dual opteron con memoria dediacta ad ogni cpu sarebbe una gran cosa.

Ciao,

grandi cazzate, così stai tranquillo, non ne hai scritte
Il vero collo di bottiglia, per questo genere di applicazioni, non è tanto il processore quanto il sistema storage, memoria di sistema e dichi.
Dici bene: più memoria c'è meglio è. Ovviamente se si ha un database grande tot gbytes e questo valore è superiore alla dotazione di memoria di sistema, si creano rallentamenti in quanto gli accessi al disco aumentano vertiginosamente.

Quello che usiamo adesso per il server database del forum, un Dual Athlon MP, permette di utilizzare sino a 3,5 Gbytes di memoria.

Il vantaggio di Opteron sarebbe quello di avere indirizzabilità a 64bit, quindi puoi montare più di 4 Gbytes di memoria senza problemi.
Quella piattaforma, IMHO, sarà una vera toccasana per server database multiprocessore che richiedono potenza di calcolo e molta memoria

In merito alla costruzione e all'aggiornamento del motore di ricerca, la cosa migliore sarebbe avere un server dedicato per la sola ricerca.
Ci avevamo pensato, ma oltre all'hardware supplementare bisogna pure riscriversi tutto il codice. Troppo incasinato, abbiamo abbandonato poco dopo.

[edivad82]

Originally posted by "Paolo Corsini"




Dici bene: più memoria c'è meglio è. Ovviamente se si ha un database grande tot gbytes e questo valore è superiore alla dotazione di memoria di sistema, si creano rallentamenti in quanto gli accessi al disco aumentano vertiginosamente.

e da qui nasce il perchè alleggerire il db da discussioni vecchie e il perchè filtrare le parole da indicizzare nel motore di ricerca...

[allmaster]

la mia discussione non era vecchia

[FreeMan]

Originally posted by "Paolo Corsini"

I post importanti che sono stati persi

Ci sono stati degli errori non voluti nella fase di cancellazione dei messaggi. Una volta che avremo finito di ripristinare il motore di ricerca cercheremo di ricuperare le discussioni più importanti che sono andate accidentalmente perse e le renderemo nuovamente disponibili.
Per cortesia non scriveteci ora quali sono, lo sappiamo e una volta finito con il search ci occuperemo anche di questa cosa.

>bYeZ<

[allmaster]

si questo lo sapevo, ho letto con molta attenzione il post di Paolo, ma la frase dice "Ci sono stati degli errori" al passato, infatti è del 03-04-2003 alle 15:04 mentre questa cancellazione è di oggi infatti mi è arrivata la notifica di risposta in data 5/4/2003.
Aspettiamo tutti lunedì, io con la speranza di poter cambiare la mia signature.
Una domanda

Quando rimetterete i post sarà inviata una notifica via mail ai partecipanti?

[amd-novello]

ma praticamente voi avreste collaudato un nuovo tipo di approcio per database giganti?

[Paolo Corsini]

Originally posted by "amd-novello"

ma praticamente voi avreste collaudato un nuovo tipo di approcio per database giganti?

Non proprio; casomai abbiamo crediamo per la prima volta approcciato con dettaglio il prolema di usare phpbb con database molto grandi.
E per far questo non abbiamo ovviamente usato l'approccio standard di phpbb, ma introdotto un po' di modifiche da noi direttamente sperimentate.

[newuser]

Sono sicuro che ci avrai già pensato e ripensato (se non implementato)... magari è un'assurdità, ma mi permetto di dirtelo lo stesso.

Oltre alla black-list attuale dei termini, e' probabile che a un certo punto sarai costretto a evitare l'inserimento di altre parole nella word_list, evitando la crescita esponenziale di word_match e aumentando così anche il numero di post gestibili in modo efficiente. Non sarebbe necessario buttare il lavoro di inserimento svolto dal motore del forum per i termini nuovi, potrebbe bastare loggare i nuovi record in tabelle temporanee da aggiungere poi giornalmente ad altre due tabelle non pubbliche off-line. Se un termine dovesse risultare utile lo si potrebbe inserire solo spostando il suo record e quelli collegati. Purtroppo sarebbe un sistema ammininistrato e il tempo è tiranno.

[Paolo Corsini]

Originally posted by "newuser"

Sono sicuro che ci avrai già pensato e ripensato (se non implementato)... magari è un'assurdità, ma mi permetto di dirtelo lo stesso.

Oltre alla black-list attuale dei termini, e' probabile che a un certo punto sarai costretto a evitare l'inserimento di altre parole nella word_list, evitando la crescita esponenziale di word_match e aumentando così anche il numero di post gestibili in modo efficiente. Non sarebbe necessario buttare il lavoro di inserimento svolto dal motore del forum per i termini nuovi, potrebbe bastare loggare i nuovi record in tabelle temporanee da aggiungere poi giornalmente ad altre due tabelle non pubbliche off-line. Se un termine dovesse risultare utile lo si potrebbe inserire solo spostando il suo record e quelli collegati. Purtroppo sarebbe un sistema ammininistrato e il tempo è tiranno.

Non è un problema; abbiamo un veloce tool che rimuove eventuali termini nella word_list, ovviamente facendo la stessa cosa con i post corrispondenti.
E' piuttosto rapido nell'esecuzione anche con forum aperto; l'ho eseguito circa 25 minuti fa anche stamattina.

Comunque, ottimizzando la back-list dei termini è vero che si riduce la dimensione della tabella phpbb_search_wordmatch, comunque quella cresce in ogni modo e pure in modo consistente. Certo che studiandosi un po' la composizione della tabella phpbb_search_wordlist, quella nella quale vengono memorizzati i termini di ricerca, si scoprono termini indicizzati moltissime volte che sono inutili.

[SaMu]

Beh guardala dal lato positivo Paolo, tutta l'esperienza che avete fatto sulla configurazione di forums potrebbe venirvi utile in futuro.

E' probabile che le grandi corporations di doteranno tutte (molte già lo hanno) di un sistema interno di forums accessibili a vari livelli, e con centinaia di migliaia di dipendenti il carico sarà decisamente sostenuto.

Un domani potrebbe venire da te un Tronchetti Provera a supplicare "Paolo mi puoi aiutare ti prego, il nostro forum va a singhiozzo!"

[amd-novello]

quello che ho pensato io.

potreste chiamarlo PaCors bullettin

[JamesWT]

Originally posted by "SaMu"

Un domani potrebbe venire da te un Tronchetti Provera a supplicare "Paolo mi puoi aiutare ti prego, il nostro forum va a singhiozzo!"

peccato che Paolo non sia il tipo da dire "si ok vengo"

[Qnick]

Originally posted by "JamesWT"



peccato che Paolo non sia il tipo da dire "si ok vengo"

Mai dire mai

A parte gli scherzi, ancora grazie per il lavoro svolto (e la pazienza!) a tutto lo staff...volevo dire una cosa, anche se ritengo ci avrete già pensato:

Una volta che il motore di ricerca sarà ripristinato e tornerà a funzionare, sarebbe utile che si informasse tutti sul meccanismo che viene adottato dallo script per cancellare i post vecchi (inteso come quelli che no ricevono più risposte da un tot di tempo)...ovvero si chiarisca dopo quanto tempo, in quali casi ed in quali sezioni un messaggio viene eliminato.

Ad esempio, 15gg mercatino ed off-topic, 90gg per il resto delle sez. tecniche mi pare, se non erro.

Sarebbe interessante prevedere, come qualcuno ha già proposto, se tecnicamente fosse possibile, che alcuni dei thread "storici" più importanti ed utili nelle varie sez. tecniche rimangano in vita a prescindere dal tempo, magari entrando a far parte di una faq o cmq diventando un oggetto "intoccabile" dallo script.I moderatori avrebbero in questo caso il compito di segnalare/mettere in rilievo i threads di interesse generale, come ora avviene, e modificarli poi a questo scopo.

Bene, detto questo nn vedo l'ora che ritorni tutto a norma!


Saluti

Qnick

[jumbo81]

[/siz]
FUNZIONA ALLA PERFEZIONE!!
è velocissimo il motore
complimenti per il lavoro
finalmente!!!
ciauzzzz
jarno

[L4OA]

Grazie del lavoro effettuato
Attendo la conferma sul ripristino di alcuni post scomparsi.. ovvero
se dalla egosearch non trovo alcuni miei post
devo supporre che sono scomparsi??
ce ne era uno a cui tenevo molto
era in OT e molto personale del periodo dicembre/gennaio
altri + vecchi compaiono
non voglio "rompere le scatole" ma potreste spiegare come
e sopratutto se ci sono possibilità di recupero??
inoltre da quando funziona il motore non ricevo + le notifiche
dei pvt e dei messaggi

saluti a tutto lo staff