[Vari] Contest 19: Full Text Search(e non solo).

[Vincenzo1968]

Prova qui, in formato zip:

http://www.filedropper.com/all_1

[clockover]

Originariamente inviato da Vincenzo1968

Prova qui, in formato zip:

http://www.filedropper.com/all_1

Da qui totto ok grazie

[rеpne scasb]

Originariamente inviato da Vincenzo1968

Però vorrei capire una cosa: come mai nella macchina con Windows 8 il codice C risulta più lento rispetto alla macchina con Linux?...[CUT]

Hard-disk (marca e modello) sia sulla macchina Linux che su quella Windows?

[Vincenzo1968]

Originariamente inviato da rеpne scasb

Hard-disk (marca e modello) sia sulla macchina Linux che su quella Windows?

Ora vedo. Se non trovo il manuale come faccio via api sia su Windows che su Linux a vedere le caratteristiche del disco?(la domanda è rivolta a tutti).

Ci dovrebbe essere qualche api del tipo GetSystemInfo e simili.

Intanto sto facendo i bookmark nel portatilino con Windows 8 a 32 bit.

[Vincenzo1968]

I tempi sul portatilino con Windows 8 a 32 bit:

------------------------------------------------------------------------------------------------------------------
C:\Contest19\Exe>ptime AnonimoVeneziano1 output.txt -D500MB

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== AnonimoVeneziano1 output.txt -D500MB ===
Started loading the files
Files loaded, it took: 0.094000 seconds

Started processing the files
File processing finished, it took: 0.188000 seconds

Started final file output
Final file output finished, it took: 7.431000 seconds

Execution time: 8.069 s
------------------------------------------------------------------------------------------------------------------
C:\Contest19\Exe>ptime AnonimoVeneziano2 output.txt -D500MB

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== AnonimoVeneziano2 output.txt -D500MB ===
Started loading the files
Files loaded, it took: 0.092000 seconds

Started processing the files
File processing finished, it took: 0.189000 seconds

Started final file output
Final file output finished, it took: 17.464001 seconds

Execution time: 18.383 s

C:\Contest19\Exe>
------------------------------------------------------------------------------------------------------------------

C:\Contest19\Exe>ptime Vincenzo1968 output.txt -D500MB

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== Vincenzo1968 output.txt -D500MB ===

Elaborazione del file output.txt in corso.
Attendere prego...

Tempo impiegato per lettura dati -> 0.03200 secondi

Tempo impiegato per eliminare spazi e righe vuote -> 0.10300 secondi

Tempo impiegato per mescolare-> 18.13500 secondi

Tempo totale -> 18.27000 secondi

Premere INVIO per terminare.

Execution time: 20.896 s

C:\Contest19\Exe>
--------------------------------------------------------------------------------------------------------------------

C:\Contest19\Exe>ptime c19Repne01 output.txt 512

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== c19Repne01 output.txt 512 ===
CreateTextTestFile - Build 1
Output file size: 512 MiB

Execution time: 4.547 s

C:\Contest19\Exe>ptime c19Repne02 output.txt 512

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== c19Repne02 output.txt 512 ===
CreateTextTestFile - Build 2
Output file size: 512 MiB

Execution time: 17.885 s

C:\Contest19\Exe>
---------------------------------------------------------------------------------------------------------------------------

C:\Contest19\Exe>ptime java -server Generate output.txt -D500MB

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== java -server Generate output.txt -D500MB ===
Error: missing `server' JVM at `C:\Program Files\Java\jre7\bin\server\jvm.dll'.
Please install or use the JRE or JDK that contains these missing components.

Execution time: 0.108 s

C:\Contest19\Exe>ptime java Generate output.txt -D500MB

ptime 1.0 for Win32, Freeware - http://www.pc-tools.net/
Copyright(C) 2002, Jem Berkes <jberkes@pc-tools.net>

=== java Generate output.txt -D500MB ===
ci ho messo 19 secondi

Execution time: 20.918 s

C:\Contest19\Exe>
-----------------------------------------------------------------------------------------------------------------------------

[Vincenzo1968]

Da notare gli ottimi tempi della prima versione di AnonimoVeneziano. Ma Repne non si batte con i suoi quattro secondi(e mezzo) della versione 1.

[Vincenzo1968]

Originariamente inviato da clockover

Da qui totto ok grazie

Di niente

[Vincenzo1968]

Che mi venga un colpo!

Mi accorgo soltanto adesso che nella versione di Repne ho passato 512 MB(1024 / 2). Avrei dovuto mettere 500.

Più tardi rifaccio le prove sul portatilino.

[Vincenzo1968]

Da Wikipedia:

http://it.wikipedia.org/wiki/Disco_rigido

Il tempo di accesso è la variabile più importante nel determinare le prestazioni di un disco rigido (conoscendo il modello facilmente si può risalire ai dati tecnici dell'unità compreso il tempo di accesso; molti produttori di computer non menzionano questo dato e a volte nemmeno la marca e il modello). Si tratta del tempo medio necessario perché un dato, residente in un punto casuale del disco, possa essere reperito. Il tempo impiegato dipende dalla velocità della testina a spostarsi sulla traccia dove risiede il dato e dalla velocità di rotazione del disco; maggiore è la velocità e più breve è il tempo impiegato dal dato a ripassare sotto la testina nel caso questa non fosse arrivata in tempo sul dato, durante la rotazione precedente (latenza rotazionale). I produttori cercano perciò di realizzare testine sempre più leggere (che possono spostarsi più in fretta perché dotate di minore inerzia) e dischi che girano più velocemente. Il tempo di accesso tipico per un disco rigido da 7200 rpm è di circa 9 millisecondi (ms), per uno da 15.000 rpm è inferiore a 4 ms.

La velocità di trasferimento è la quantità di dati fornita dal disco rigido in un determinato tempo (in genere si prende 1 secondo come riferimento). Usare dischi che ruotino più velocemente o incrementare la densità di memorizzazione porta ad un miglioramento diretto della velocità di trasferimento. Va ricordato che la velocità di trasferimento cala in modo proporzionale al numero di discontinuità nei settori che compongono il file ricercato (vedi frammentazione).
...

Il tempo di accesso a disco è influenzato da cinque fattori:

Controller Overhead (overhead del controllore): è il tempo necessario alla gestione dei dati e l'invio dell'opportuno interrupt; è il tempo in assoluto minore;
Seek time (tempo di ricerca): è il tempo necessario a spostare la testina sulla traccia; è il fattore più critico poiché si tratta di un movimento meccanico e non di un impulso elettrico; questo fa sì che non si possa scendere al di sotto di qualche decina di millisecondo;
Assessment time (tempo di assestamento): è il tempo necessario all'assestamento della testina sulla traccia dopo lo spostamento; spesso viene inglobato nel 'Seek time;
Latency time (tempo di latenza): (anche rotational latency) è il tempo necessario perché, a causa della rotazione del disco, l'inizio del settore desiderato arrivi a trovarsi sotto la testina; ovviamente dipende dalla velocità dello spindle; per esempio con una velocità (tipica) di 5400 rpm, il tempo di latenza massimo è di circa 11 millisecondi;
Rotational time (tempo di rotazione): è il tempo necessario al settore per passare sotto la testina, tempo durante il quale il settore viene letto o scritto.

Tempo di accesso: ControllerOverhead + SeekTime + Latency + RotationalTime

C'è modo di ottenere tutti questi bei dati sulla propria macchina via software(anche attraverso routine assembly)?

[dierre]

Originariamente inviato da VICIUS

Generate.java

Le righe vuote non venivano cancellate perché hai fatto i file di testo su windows ed ovviamente li newline è cr+lf sui sistemi di mamma ms.

Posso chiederti perché hai dichiarato tutti i metodi di FileParser static (tranne quello da overridare ovviamente per Callable) ?

[Vincenzo1968]

Sto dando un'occhiata a questi:

http://www.codeproject.com/Articles/...ID-MainBoard-I

http://www.faqforge.com/linux/how-to...-linux-server/

http://www.computerhope.com/issues/ch000497.htm

http://superuser.com/questions/59844...rnal-hard-disk

http://superuser.com/questions/38690...-harddisk-type

http://www.sqlservercentral.com/Foru...88-1351-1.aspx

http://www.cyberciti.biz/faq/find-ha...pecs-on-linux/

http://servercomputing.blogspot.it/2...formation.html

http://unix.stackexchange.com/questi...-in-the-system

http://en.kioskea.net/faq/13488-linu...our-hard-disks

[Vincenzo1968]

Originariamente inviato da dierre

Posso chiederti perché hai dichiarato tutti i metodi di FileParser static (tranne quello da overridare ovviamente per Callable) ?

Puoi anzi devi. I contest per questo li facciamo.

[Vincenzo1968]

vincenzo@Ubuntu12-10-AMD64:~$ sudo hdparm -I /dev/sda

/dev/sda:

ATA device, with non-removable media
	Model Number:       ST1000DM003-9YN162                      
	Serial Number:      S1D4S6D4
	Firmware Revision:  CC4B    
	Transport:          Serial, SATA Rev 3.0
Standards:
	Used: unknown (minor revision code 0x0029) 
	Supported: 8 7 6 5 
	Likely used: 8
Configuration:
	Logical		max	current
	cylinders	16383	16383
	heads		16	16
	sectors/track	63	63
	--
	CHS current addressable sectors:   16514064
	LBA    user addressable sectors:  268435455
	LBA48  user addressable sectors: 1953525168
	Logical  Sector size:                   512 bytes
	Physical Sector size:                  4096 bytes
	Logical Sector-0 offset:                  0 bytes
	device size with M = 1024*1024:      953869 MBytes
	device size with M = 1000*1000:     1000204 MBytes (1000 GB)
	cache/buffer size  = unknown
	Nominal Media Rotation Rate: 7200
Capabilities:
	LBA, IORDY(can be disabled)
	Queue depth: 32
	Standby timer values: spec'd by Standard, no device specific minimum
	R/W multiple sector transfer: Max = 16	Current = 1
	Advanced power management level: 254
	Recommended acoustic management value: 208, current value: 0
	DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6 
	     Cycle time: min=120ns recommended=120ns
	PIO: pio0 pio1 pio2 pio3 pio4 
	     Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
	Enabled	Supported:
	    	SMART feature set
	    	Security Mode feature set
	   *	Power Management feature set
	   *	Write cache
	   *	Look-ahead
	   *	Host Protected Area feature set
	   *	WRITE_BUFFER command
	   *	READ_BUFFER command
	   *	DOWNLOAD_MICROCODE
	   *	Advanced Power Management feature set
	    	SET_MAX security extension
	   *	48-bit Address feature set
	   *	Device Configuration Overlay feature set
	   *	Mandatory FLUSH_CACHE
	   *	FLUSH_CACHE_EXT
	   *	SMART error logging
	   *	SMART self-test
	   *	General Purpose Logging feature set
	   *	WRITE_{DMA|MULTIPLE}_FUA_EXT
	   *	64-bit World wide name
	    	Write-Read-Verify feature set
	   *	WRITE_UNCORRECTABLE_EXT command
	   *	{READ,WRITE}_DMA_EXT_GPL commands
	   *	Segmented DOWNLOAD_MICROCODE
	   *	Gen1 signaling speed (1.5Gb/s)
	   *	Gen2 signaling speed (3.0Gb/s)
	   *	Gen3 signaling speed (6.0Gb/s)
	   *	Native Command Queueing (NCQ)
	   *	Phy event counters
	   *	unknown 76[15]
	   *	DMA Setup Auto-Activate optimization
	    	Device-initiated interface power management
	   *	Software settings preservation
	   *	SMART Command Transport (SCT) feature set
	   *	SCT LBA Segment Access (AC2)
	    	unknown 206[7]
	    	unknown 206[12] (vendor specific)
	    	unknown 206[13] (vendor specific)
Security: 
	Master password revision code = 65534
		supported
	not	enabled
	not	locked
		frozen
	not	expired: security count
		supported: enhanced erase
	108min for SECURITY ERASE UNIT. 108min for ENHANCED SECURITY ERASE UNIT.
Logical Unit WWN Device Identifier: 5000c500521c5ceb
	NAA		: 5
	IEEE OUI	: 000c50
	Unique ID	: 0521c5ceb
Checksum: correct
vincenzo@Ubuntu12-10-AMD64:~$

Un comando simile su Windows? Magari tramite WMI o PowerShell?

[Vincenzo1968]

vincenzo@Ubuntu12-10-AMD64:~$ sudo lshw -class disk
  *-disk                  
       description: ATA Disk
       product: ST1000DM003-9YN1
       vendor: Seagate
       physical id: 0.0.0
       bus info: scsi@0:0.0.0
       logical name: /dev/sda
       version: CC4B
       serial: S1D4S6D4
       size: 931GiB (1TB)
       capabilities: partitioned partitioned:dos
       configuration: ansiversion=5 sectorsize=4096 signature=00097294
  *-cdrom
       description: DVD-RAM writer
       product: CDDVDW SH-S203D
       vendor: TSSTcorp
       physical id: 0.0.0
       bus info: scsi@1:0.0.0
       logical name: /dev/cdrom
       logical name: /dev/cdrw
       logical name: /dev/dvd
       logical name: /dev/dvdrw
       logical name: /dev/sr0
       version: SB00
       capabilities: removable audio cd-r cd-rw dvd dvd-r dvd-ram
       configuration: ansiversion=5 status=nodisc
  *-disk
       description: ATA Disk
       product: MAXTOR STM316081
       vendor: Maxtor
       physical id: 0.0.0
       bus info: scsi@2:0.0.0
       logical name: /dev/sdb
       version: 4.AA
       serial: 9RA50LXT
       size: 149GiB (160GB)
       capabilities: partitioned partitioned:dos
       configuration: ansiversion=5 sectorsize=512 signature=3850384f
vincenzo@Ubuntu12-10-AMD64:~$

Il disco dove ho installato Linux è questo:

  *-disk                  
       description: ATA Disk
       product: ST1000DM003-9YN1
       vendor: Seagate
       physical id: 0.0.0
       bus info: scsi@0:0.0.0
       logical name: /dev/sda
       version: CC4B
       serial: S1D4S6D4
       size: 931GiB (1TB)
       capabilities: partitioned partitioned:dos
       configuration: ansiversion=5 sectorsize=4096 signature=00097294

Nell'altro(quello da 160GiB) c'ho Windoxs XP.

[VICIUS]

Originariamente inviato da dierre

Posso chiederti perché hai dichiarato tutti i metodi di FileParser static (tranne quello da overridare ovviamente per Callable) ?

Per rendere esplicito che quella funzione non andrà a modificare lo stato dell'oggetto. In questo modo il compilatore può fare il controllo a compile time e sputarmi in un occhio se provo a fare qualche trucchetto strano. In questo caso non credo serva a tanto ma ormai ho preso la buona abitudine di farlo quindi mi viene in automatico.

Ci sarebbe anche da dire che gira la leggenda che i metodi static siano leggermente più veloci. Magari se è vero ci guadagno in prestazioni.

[Vincenzo1968]

vincenzo@Ubuntu12-10-AMD64:~$ sudo fdisk -l

Disk /dev/sda: 1000.2 GB, 1000204886016 bytes
255 testine, 63 settori/tracce, 121601 cilindri, totale 1953525168 settori
Unità = settori di 1 * 512 = 512 byte
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Identificativo disco: 0x00097294

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048      499711      248832   83  Linux
/dev/sda2          501758  1953523711   976510977    5  Esteso
Partition 2 does not start on physical sector boundary.
/dev/sda5          501760  1953523711   976510976   8e  Linux LVM

Disk /dev/sdb: 160.0 GB, 160041885696 bytes
255 testine, 63 settori/tracce, 19457 cilindri, totale 312581808 settori
Unità = settori di 1 * 512 = 512 byte
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Identificativo disco: 0x3850384f

Dispositivo Boot      Start         End      Blocks   Id  System
/dev/sdb1   *          63   312560639   156280288+   7  HPFS/NTFS/exFAT

Disk /dev/mapper/ubuntu-root: 995.7 GB, 995740352512 bytes
255 testine, 63 settori/tracce, 121058 cilindri, totale 1944805376 settori
Unità = settori di 1 * 512 = 512 byte
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Identificativo disco: 0x00000000

Il disco /dev/mapper/ubuntu-root non contiene una tabella delle partizioni valida

Disco /dev/mapper/ubuntu-swap_1: 4156 MB, 4156555264 byte
255 testine, 63 settori/tracce, 505 cilindri, totale 8118272 settori
Unità = settori di 1 * 512 = 512 byte
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Identificativo disco: 0x00000000

Il disco /dev/mapper/ubuntu-swap_1 non contiene una tabella delle partizioni valida
vincenzo@Ubuntu12-10-AMD64:~$

[Vincenzo1968]

Io mi cucino. Possibile che su Windows non ci sia un comando shell semplice semplice per ottenere informazioni dettagliate sul disco fisso?

[cdimauro]

Originariamente inviato da VICIUS

Ci sarebbe anche da dire che gira la leggenda che i metodi static siano leggermente più veloci. Magari se è vero ci guadagno in prestazioni.

I metodi static dovrebbero essere convertiti in una call che specifica direttamente l'indirizzo della routine da chiamare.

Per quelli virtuali ci sono due possibilità. La prima, è che il compilatore mantenga in un registro l'indirizzo della VMT, e quindi usandolo come "base" vada poi a recuperare dalla memoria l'indirizzo della routine a cui saltare. Il secondo è che ogni volta venga prelevato dall'istanza il puntatore alla VMT, e poi si proceda come col primo punto.
In entrambi i casi, le prestazioni sono leggermente inferiori rispetto a una chiamata a un metodo statico.

Originariamente inviato da Vincenzo1968

Io mi cucino. Possibile che su Windows non ci sia un comando shell semplice semplice per ottenere informazioni dettagliate sul disco fisso?

Se nessuno lo scrive... no.

[Vincenzo1968]

Finora ho provato questi comandi PowerShell che forniscono tutta una serie di inutili informazioni:

Get-WmiObject win32_bios

Get-WmiObject -List

Get-WmiObject Win32_OperatingSystem

Get-WmiObject -Class Win32_OperatingSystem -Namespace root/cimv2 -ComputerName . | Format-List TotalVirtualMemorySize,TotalVisibleMemorySize,FreePhysicalMemory,FreeVirtualMemory,FreeSpaceInPagingFiles

Power Shell

[Vincenzo1968]

Ma almeno per vedere produttore e modello su Windows 8? Com'è? Sistema -> Avanzate -> ?

E comunque mi accontenterei anche di un comando non tanto semplice, anche complicato complicato.