Re: Error en vacuum antes era error con update

uuuuuuhhhyy... hice REINDEX DATABASE
reindexa varias tablas y en un momento aparece
ERROR: invalid memory alloc request size 1279336523
si pierdo los datos me mato.... estuve 2 semanas cargando.....
que hago?, reinstalo postgres? o es un problema de configuracion=?
por ejemplo a fsync lo tengo comentado, les paso algunas configuraciones que tengo

listen_addresses ='*'
port = 5432 # (change requires restart)
max_connections = 100 # (change requires restart)
unix_socket_directory = '/var/run/postgresql' # (change requires restart)
authentication_timeout = 1min # 1s-600s
password_encryption = on
shared_buffers = 24MB # ORIG ES 24 min 128kB or max_connections*16kB 16
#temp_buffers = 8MB # min 800kB
#max_prepared_transactions = 5 # can be 0 or more
#work_mem = 8MB # ORIG COMENTADO min 64kB
#maintenance_work_mem = 256MB # ORIG sin comentar min 1MB
#max_stack_depth = 2MB # min 100kB
# - Free Space Map -
#max_fsm_pages = 153600 # min max_fsm_relations*16, 6 bytes each
#max_fsm_pages = 2159795
#max_fsm_pages = 320000
max_fsm_pages = 608048
#fsync = on # turns forced synchronization on or off
#synchronous_commit = on # immediate fsync at commit
#debug_print_parse = off
#debug_print_rewritten = off
#debug_print_plan = off
#debug_pretty_print = off
#log_checkpoints = off
#log_connections = off
#log_disconnections = off
#log_duration = off
#log_hostname = off
log_line_prefix = '%t '
autovacuum = on # ORIG comentado Enable autovacuum subprocess? 'on'
datestyle = 'iso, dmy'
lc_messages = 'es_AR.UTF-8' # locale for system error message

lc_monetary = 'es_AR.UTF-8' # locale for monetary formatting
lc_numeric = 'es_AR.UTF-8' # locale for number formatting
lc_time = 'es_AR.UTF-8' # locale for time formatting
default_text_search_config = 'pg_catalog.spanish'

Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/

Gabriel Ferro escribió:

> uuuuuuhhhyy... hice REINDEX DATABASE
> reindexa varias tablas y en un momento aparece
> ERROR: invalid memory alloc request size 1279336523
> si pierdo los datos me mato.... estuve 2 semanas cargando.....
> que hago?, reinstalo postgres? o es un problema de configuracion=?

Mi primera sospecha es que tienes un dato corrupto en alguna tabla.
¿Son muy grandes tus tablas? ¿Cuántas tablas son?

> por ejemplo a fsync lo tengo comentado, les paso algunas configuraciones que tengo

Para ver el valor del parametro, puedes usar SHOW:

SHOW fsync;

--
Alvaro Herrera http://www.amazon.com/gp/registry/5ZYLFMCVHXC
"Cuando mañana llegue pelearemos segun lo que mañana exija" (Mowgli)

2009/3/11 Gabriel Ferro <gabrielrferro(at)yahoo(dot)com(dot)ar>:
>
> uuuuuuhhhyy... hice REINDEX DATABASE
> reindexa varias tablas y en un momento aparece
> ERROR: invalid memory alloc request size 1279336523
> si pierdo los datos me mato.... estuve 2 semanas cargando.....
> que hago?, reinstalo postgres? o es un problema de configuracion=?
> por ejemplo a fsync lo tengo comentado, les paso algunas configuraciones que tengo
>
> listen_addresses ='*'
> port = 5432                # (change requires restart)
> max_connections = 100            # (change requires restart)
> unix_socket_directory = '/var/run/postgresql'        # (change requires restart)
> authentication_timeout = 1min        # 1s-600s
> password_encryption = on
> shared_buffers = 24MB            # ORIG ES 24 min 128kB or max_connections*16kB  16
> #temp_buffers = 8MB            # min 800kB
> #max_prepared_transactions = 5        # can be 0 or more
> #work_mem = 8MB                # ORIG COMENTADO min 64kB
> #maintenance_work_mem = 256MB        # ORIG sin comentar min 1MB
> #max_stack_depth = 2MB            # min 100kB
> # - Free Space Map -
> #max_fsm_pages = 153600            # min max_fsm_relations*16, 6 bytes each
> #max_fsm_pages = 2159795
> #max_fsm_pages = 320000
> max_fsm_pages = 608048
> #fsync = on                # turns forced synchronization on or off
> #synchronous_commit = on        # immediate fsync at commit
> #debug_print_parse = off
> #debug_print_rewritten = off
> #debug_print_plan = off
> #debug_pretty_print = off
> #log_checkpoints = off
> #log_connections = off
> #log_disconnections = off
> #log_duration = off
> #log_hostname = off
> log_line_prefix = '%t '
> autovacuum = on            # ORIG comentado Enable autovacuum subprocess?  'on'
> datestyle = 'iso, dmy'
> lc_messages = 'es_AR.UTF-8'            # locale for system error message
>
> lc_monetary = 'es_AR.UTF-8'            # locale for monetary formatting
> lc_numeric = 'es_AR.UTF-8'            # locale for number formatting
> lc_time = 'es_AR.UTF-8'                # locale for time formatting
> default_text_search_config = 'pg_catalog.spanish'
>
>
>      Yahoo! Cocina
> Recetas prácticas y comida saludable
> http://ar.mujer.yahoo.com/cocina/
> --
> TIP 1: para suscribirte y desuscribirte, visita http://archives.postgresql.org/pgsql-es-ayuda
>

No creo que sea de configuración.
Corriste Vacuum analyze? Con eso debería solucionarse.

Threads interesantes:

http://archives.postgresql.org//pgsql-bugs/2006-03/msg00193.php
http://archives.postgresql.org/pgsql-bugs/2006-03/msg00197.php
http://archives.postgresql.org/pgsql-committers/2006-03/msg00094.php

Esto fue patcheado anteriormente. Creo que al hacer reindex a los
catalogos salto esto.

--
Emanuel Calvo Franco
Sumate al ARPUG !
(www.postgres-arg.org -
www.arpug.com.ar)
ArPUG / AOSUG Member
Postgresql Support & Admin

On Wed, Mar 11, 2009 at 7:15 AM, Gabriel Ferro
<gabrielrferro(at)yahoo(dot)com(dot)ar> wrote:
>
> uuuuuuhhhyy... hice REINDEX DATABASE
> reindexa varias tablas y en un momento aparece
> ERROR: invalid memory alloc request size 1279336523

puedes mostrar el error completo o solo te muestra eso? quiza puedes
aumentar el nivel de informacion que aparece cambiando en
postgresql.conf "log_error_verbosity" a "verbose"

> si pierdo los datos me mato.... estuve 2 semanas cargando.....
> que hago?, reinstalo postgres? o es un problema de configuracion=?
> por ejemplo a fsync lo tengo comentado, les paso algunas configuraciones que tengo
>

solo hay tres opciones conocidas (o al menos que se me ocurran a mi)
para esto (puede haber otras opciones pero esos serian bugs):

1) tenias fsync = off cuando se te fue la corriente, eso explicaria la
corrupcion de datos
2) la configuracion del hardware esta mintiendo a postgres
3) tienes hardware defectuoso

para determinar cual de las tres opciones por favor contesta
siguientes preguntas:
- Que sistema operativo usas?
- Que version de postgres?
- Que dice: "SHOW fsync;"?
- Que tipo de disco usas (IDE o SCSI)?
- Tienes el cache de escritura apagado?

--
Atentamente,
Jaime Casanova
Soporte y capacitación de PostgreSQL
Asesoría y desarrollo de sistemas
Guayaquil - Ecuador
Cel. +59387171157

Pues haciendo caso a todos los masters, realice nuevamente un vacumm analyze que no me dio problemas y luego un reindex database.. y no dieron problemas ..
Ahora como estoy seguro que esta todo correcto?

lei el tema del parche comentado en
> http://archives.postgresql.org//pgsql-bugs/2006-03/msg00193.php
> http://archives.postgresql.org/pgsql-bugs/2006-03/msg00197.php
> http://archives.postgresql.org/pgsql-committers/2006-03/msg00094.php

pero veo que es para versiones viejas y yo tengo la 8.3.6 sobre ubuntu 8.10... no se si requiere parches y tampoco se como cornos instalar uno...

el fsync esta en ON
el disco es IDE y tengo la base en home

cache de escritura?... ahi me mataron.. no tengo ni idea a que te refieres al SO o a postgres?, como se ve?

PD: Las tablas son muyyyyy grandes (28millones de personas)

Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/

Gabriel Ferro escribió:

> lei el tema del parche comentado en
> > http://archives.postgresql.org//pgsql-bugs/2006-03/msg00193.php
> > http://archives.postgresql.org/pgsql-bugs/2006-03/msg00197.php
> > http://archives.postgresql.org/pgsql-committers/2006-03/msg00094.php
>
> pero veo que es para versiones viejas y yo tengo la 8.3.6 sobre ubuntu
> 8.10... no se si requiere parches y tampoco se como cornos instalar
> uno...

Ese problema no te afecta.

> el fsync esta en ON
> el disco es IDE y tengo la base en home
>
> cache de escritura?... ahi me mataron.. no tengo ni idea a que te
> refieres al SO o a postgres?, como se ve?

hdparm

--
Alvaro Herrera Valdivia, Chile ICBM: S 39º 48' 55.3", W 73º 15' 24.7"
"You knock on that door or the sun will be shining on places inside you
that the sun doesn't usually shine" (en Death: "The High Cost of Living")

hap.. era cache de disco...... tengo writecache=enabled

Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/

Me quede pensando lo que decia Jaime de los discos IDE, asi que intente instalar un disco SATA, resultado=negativo, he fdisqueado (jejeje) y formateado y no hay caso me sigue dando errores, creo que es problema de compatibilidad de disco con placa madre (viejita con los primeros sata.)... asi que si tomo lo que me dice jaime ¿deberia cambiar la PC?
¿antes de los SATA, postgres tenia estos graves problemas con los IDE?
Quiero saberlo ya que mi idea es usar la PC para actuar como un servidor...

Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/

Gabriel Ferro escribió:
>
> Me quede pensando lo que decia Jaime de los discos IDE, asi que intente instalar un disco SATA, resultado=negativo, he fdisqueado (jejeje) y formateado y no hay caso me sigue dando errores, creo que es problema de compatibilidad de disco con placa madre (viejita con los primeros sata.)... asi que si tomo lo que me dice jaime ¿deberia cambiar la PC?
> ¿antes de los SATA, postgres tenia estos graves problemas con los IDE?
> Quiero saberlo ya que mi idea es usar la PC para actuar como un servidor...

No sé qué es lo que habrás entendido, pero el problema de los discos IDE
es que cuando tienes el cache de escritura activado y el sistema
operativo se cae, los datos pueden quedar inconsistentes (==> corruptos)

Lo que debes hacer es desactivar el cache de escritura, independiente de
si el disco es IDE, SATA, SCSI, OTAN o lo que sea.

--
Alvaro Herrera http://www.amazon.com/gp/registry/3BP7BYG9PUGI8
"Puedes elegir el color de tu auto -- siempre y cuando sea negro."
(Henry Ford)