Re: Tabellen im laufenden Betrieb auf andere Tablespaces verlagern ohne DB-Server Downtime?

Hi,

Ist es mit PostgreSQL 8.3 möglich eine Tabelle in einen anderen
Tablespace zu verschieben (also von Tablespace a nach Tablespace b)?

Hintergrund der Frage:

Mein Provider hat auf seinem Server eine begrenzte Kapazität was
Festplattenspeicher betrifft. Bei wachsender DB
möchte ich jedoch Handlungsfähig bleiben, nur wie lässt sich das am
besten einrichten?

Ich habe ein Tool programmiert das auf einem jungfreulichen, neu in
Betrieb zu nehmenden PostgreSQL 8.3 Server
zuerst zwei User anlegt (dbadmin und queryuser). Der user "dbadmin" ist
derjenige User dem alle DB-Objekte gehören.
der User queryadmin hat eingeschränkte Rechte und steht für den Named
user der von allen Applikations-Anfragen
verwendet wird. Das Programm legt ferner in

$PGDATA/mydata/mydb/ die Tablespaces
->forums
->messages
->users
u.s.w

sowie alle Tabellen, Indexe, Trigger und Grants an.

Für das Loadbalancing habe ich bereits eine Lösung. Sie wird via Sequoia
abgewickelt,
diese sorgt aber nur für Hochverfügbar und Lastverteilung über alle
definierten Backends,
nur hilft mir das nicht unbedingt bei limierten Speicher weiter.

Macht es hier eher Sinn ein Colocationangebot zu nutzen und den Server
selber
zu bestücken? (Nur DB / WebApplicationserver sind so ok).

Grüße, Rudi

guten morgen,

>
> Ist es mit PostgreSQL 8.3 möglich eine Tabelle in einen anderen
> Tablespace zu verschieben (also von Tablespace a nach Tablespace b)?
>
...

>
> Für das Loadbalancing habe ich bereits eine Lösung. Sie wird via
> Sequoia abgewickelt,
> diese sorgt aber nur für Hochverfügbar und Lastverteilung über alle
> definierten Backends,
> nur hilft mir das nicht unbedingt bei limierten Speicher weiter.

du machst dir gedankten ueber loadbalancing und bist bei einem provider,
der dir nur "eine begrenzte Kapazität was Festplattenspeicher"
einrichtet?? ;
grundsaetzlich haben zwar alle festplattenspeicher nur eine begrenzte
kapazität - aber ich kenne selbst anwendungen mit mehreren zig mio.
queries am tag, die ohne loadbalancing laufen.

ich meine, du machst dir grad gedanken ueber ungelegte eier ;-)

doch selbst wenn du mehrere GB daten in deiner table haben solltest,
waere ein
select * into blah from blubb
kein problem. und damit waeren die daten ggf. in einem anderen tablespace.

munter bleiben

ralf

am Tue, dem 20.05.2008, um 22:52:09 +0200 mailte rudi(at)je-more(dot)de folgendes:
> Hi,
>
> Ist es mit PostgreSQL 8.3 möglich eine Tabelle in einen anderen
> Tablespace zu verschieben (also von Tablespace a nach Tablespace b)?

Doku existiert und beantwortet Deine Frage.
http://www.postgresql.org/docs/8.3/interactive/sql-altertable.html

Andreas
--
Andreas Kretschmer
Kontakt: Heynitz: 035242/47150, D1: 0160/7141639 (mehr: -> Header)
GnuPG-ID: 0x3FFF606C, privat 0x7F4584DA http://wwwkeys.de.pgp.net

am Wed, dem 21.05.2008, um 6:11:43 +0200 mailte Ralf Burger folgendes:
> doch selbst wenn du mehrere GB daten in deiner table haben solltest,
> waere ein
> select * into blah from blubb
> kein problem. und damit waeren die daten ggf. in einem anderen tablespace.

Nein, nicht wenn andere Tabellen via RI auf diese referenzieren.

Andreas
--
Andreas Kretschmer
Kontakt: Heynitz: 035242/47150, D1: 0160/7141639 (mehr: -> Header)
GnuPG-ID: 0x3FFF606C, privat 0x7F4584DA http://wwwkeys.de.pgp.net

--On Mittwoch, Mai 21, 2008 06:58:43 +0200 "A. Kretschmer"
<andreas(dot)kretschmer(at)schollglas(dot)com> wrote:

> Doku existiert und beantwortet Deine Frage.
> http://www.postgresql.org/docs/8.3/interactive/sql-altertable.html

Es bleibt aber zu beachten, dass ein ALTER TABLE SET TABLESPACE auf
Dateisystem-Ebene kopiert und deshalb einen Access Exclusive Lock für die
Dauer des Kopiervorganges benötigt. Darauf kann man aber, wenn keine
Änderungen der Quelltabelle unterschlagen werden sollen, sowieso nicht
verzichten.

--
Thanks

Bernd

Bernd Helmle schrieb:

> Es bleibt aber zu beachten, dass ein ALTER TABLE SET TABLESPACE auf
> Dateisystem-Ebene kopiert und deshalb einen Access Exclusive Lock für
> die Dauer des Kopiervorganges benötigt. Darauf kann man aber, wenn keine
> Änderungen der Quelltabelle unterschlagen werden sollen, sowieso nicht
> verzichten.

Können schon, ist auch nicht sonderlich kompliziert (von der
algorithmischen Seite her), erfordert allerdings Logik im Daemon die
noch nicht existiert (vgl. RAID-1 Rebuild).

lg,
michael

--On Mittwoch, Mai 21, 2008 12:17:02 +0200 Michael Renner
<renner(at)inqnet(dot)at> wrote:

> Können schon, ist auch nicht sonderlich kompliziert (von der
> algorithmischen Seite her), erfordert allerdings Logik im Daemon die noch
> nicht existiert (vgl. RAID-1 Rebuild).

Oder naheliegender, siehe Slony-I, SUBSCRIBE-Kommando. Mir geht es nur
darum, dass es ohne Downtime ohne signifikanten Aufwand schlicht schwer
wird.

--
Thanks

Bernd

On Tue, 20 May 2008 22:52:09 +0200 rudi(at)je-more(dot)de wrote:

> Ist es mit PostgreSQL 8.3 möglich eine Tabelle in einen anderen
> Tablespace zu verschieben (also von Tablespace a nach Tablespace b)?

Du hast sicherlich schon:

- Die Dokumentation zu "CREATE TABLESPACE", "ALTER TABLE" und "ALTER
INDEX" durchgelesen, was die dortigen Angaben zu "Tablespaces"
betrifft. Was waren die Ergebnisse deiner Recherchen?

- Einen Test durchgeführt. Was kam dabei heraus?

> Mein Provider hat auf seinem Server eine begrenzte Kapazität was
> Festplattenspeicher betrifft. Bei wachsender DB
> möchte ich jedoch Handlungsfähig bleiben, nur wie lässt sich das am
> besten einrichten?

Indem man einen anderen Provider wählt, der flexibler ist.
Ausserdem: sprechen wir über Tablespaces auf dem gleichen oder auf
einem zweiten Server? So recht will sich mir nämlich der Sinn deiner
Frage nicht erschließen bzw. kann es sein, dass du in die falsche
Richtung denkst.

> Das Programm legt ferner in
>
> $PGDATA/mydata/mydb/ die Tablespaces
> ->forums
> ->messages
> ->users
> u.s.w
>
> sowie alle Tabellen, Indexe, Trigger und Grants an.

Dein Programm legt hoffentlich hoffentlich unterhalb von $PGDATA
überhaupt nichts alleine an. Auf $PGDATA greift nur die Datenbank zu,
wo genau die Daten dann liegen, interessiert dich nicht.

Bis dann

P.S.: Warum kommt es mir so vor, als ob die Anforderung nur lautete
"muss ohne Downtime funktionieren", ohne sich vorher konkret Gedanken
über die Aufteilung der Struktur gemacht zu haben? Wenn ich deine
Tablespaces sehe, könnte ich mir auch sehr gut verteilte Lösungen
vorstellen, die sich recht einfach realisieren lassen.

--
Andreas 'ads' Scherbaum
German PostgreSQL User Group

Quoting Andreas 'ads' Scherbaum <adsmail(at)wars-nicht(dot)de>:

> > Mein Provider hat auf seinem Server eine begrenzte Kapazität was
> > Festplattenspeicher betrifft. Bei wachsender DB
> > möchte ich jedoch Handlungsfähig bleiben, nur wie lässt sich das am
> > besten einrichten?
>
> Indem man einen anderen Provider wählt, der flexibler ist.
> Ausserdem: sprechen wir über Tablespaces auf dem gleichen oder auf
> einem zweiten Server? So recht will sich mir nämlich der Sinn deiner
> Frage nicht erschließen bzw. kann es sein, dass du in die falsche
> Richtung denkst.

Es gibt nicht viele Provider die eine redundante Leitug zum DECIX
haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
zum günstingen Discountpreis sowie unlimited Traffic inkl. Bei einem kleinen
Wald und Wiesen Provider wirds meist teuer und die Leitung von und zum
Inet hin ist lahm und meist muss man noch den Traffic extra bezahlen.

Das Thema habe ich schon in verschiedenen Situation erlebt und würde
es sicherlich nicht noch einmal machen.

> > Das Programm legt ferner in
> >
> > $PGDATA/mydata/mydb/ die Tablespaces
> > ->forums
> > ->messages
> > ->users
> > u.s.w
> >
> > sowie alle Tabellen, Indexe, Trigger und Grants an.
>
> Dein Programm legt hoffentlich hoffentlich unterhalb von $PGDATA
> überhaupt nichts alleine an. Auf $PGDATA greift nur die Datenbank zu,
> wo genau die Daten dann liegen, interessiert dich nicht.

Doch, tut es, weil PG es nicht selber kann.
Es liest beim Start env(PGDATA) aus und erstellt relativ
dazu ein Verzeichnis "mydd_name" und setzt die FS Rechte
und Ownership auf postgres.postres. Danach connected
es sich selbst auf die DB und legt die Tablespaces
mit CREATE TABLESPACE in dem vorher erstellten Verzeichnis
an. Dies ist schon deswegen notwendig, da PG für CREATE
TABLE Spaces nun einmal einen existenten Ordner verlangt.

Danach erstellt es noch die notwendigen User, Schematas
und Tabellen und für Basisbetriesparameter ein.

Damit bin ich relativ schnell in der Lage die AppDB
Struktur auf dem neu in Betrieb zu nehmenden DB-Server
binnen sek zu erstellen.

> Bis dann
> P.S.: Warum kommt es mir so vor, als ob die Anforderung nur lautete
> "muss ohne Downtime funktionieren", ohne sich vorher konkret Gedanken
> über die Aufteilung der Struktur gemacht zu haben? Wenn ich deine
> Tablespaces sehe, könnte ich mir auch sehr gut verteilte Lösungen
> vorstellen, die sich recht einfach realisieren lassen.

Weil es nun mal so ist und ohne Downtime funktionieren muss, ganz
einfach, das ist die Anforderung!

Dabei müssen einzelne Komponenten trotzdem austauschbar und das
Gesammtsystem wartbar und skalierbar bleiben. Ich mache mir sicherlich
nicht die ganze konzeptionelle arbeit, messe und evaluiere so mal
eben zum Spass. Wenn das Ding mal läuft, soll es Gewinne abwerfen und
da muss man eben besser sein als die Konkurenz.

Downtimes und schlechte Performance bei konstanten sowie stark
wachsenden Userzahlen sind ein KO Kriterium und no go das unbedingt
vermieden werden muss und daher ist es Gegenstand der aktuellen Planspiele.

Momentan gilt es eigentlich nur noch das Thema Plattenkapazität erhöhen
im laufenden Betrieb abzuklären. Mein Provider bietet einen service an,
der ungefähr in die Richtung geht, aber eher auf Radundanz abzielt
(also Raid 10 SCSI Controller nachrüsten u.s.w)

ein verteiltes Szenario ist aber ein interessanter Gedanke, nur scheinen
80 GByte Server Festplatte dabei trotzdem zu wenig, gerade wenn eine
Tabelle schon über 450 GByte gross ist und stark weiter wächst.

Mfg

Quoting Ralf Burger <ralf(at)Burger-AG(dot)de>:

> du machst dir gedankten ueber loadbalancing und bist bei einem provider,
> der dir nur "eine begrenzte Kapazität was Festplattenspeicher"
> einrichtet?? ;

Ich mache mir keine Gedanken über Loadbalancing, sondern habe es schon
in meine Applicationabfrage Architektur implementiert. Normale,
preiswerte Rootserver haben nun mal nicht besonders grosse Festplatten,
sie reichen aber aus um einen guten Start für wenig Geld hinzulegen.

> grundsaetzlich haben zwar alle festplattenspeicher nur eine begrenzte
> kapazität - aber ich kenne selbst anwendungen mit mehreren zig mio.
> queries am tag, die ohne loadbalancing laufen.

Das ist mir auch klar, nur geht es auch um die vermeidung von Singlepoint of
Failures. Wenn ich festelle, das mein DB-Server gepatcht oder für
eine Wartung herruntergefahren werden muss und möglicherweise sogar
ein neues Backup eingespielt werden muss, was locker zig Stunden dauern
kann, dann will ich das der Betrieb trotzdem einfach weiter geht.

Dies erreiche ich durch einen gespiegelten DB-Server auf den für
die Zeit der Downtime ausgewichen werden kann. Sobal der gewartete
Server wieder ready ist und wieder online gehen kann, glieder er sicht
wieder in den DB-Server Pool ein. Dann kann man in Ruhe DB-Server
2 und 3 Warten während das Gesammtsystem weiterläuft.

Engpass ist jetzt halt einfach die Festplatte pro Server.
Eine Verteilte Architektur mit DB-Server für spezielle Aufgaben
wäre zwar wünschenswert, aber auch schwerer zu balancen, zu spiegeln,
zu sichern und insgesammt schwerer zu warten, da es hier einfach mehr
Komplexität hat.

> doch selbst wenn du mehrere GB daten in deiner table haben solltest,
> waere ein
> select * into blah from blubb
> kein problem. und damit waeren die daten ggf. in einem anderen tablespace.

ERM und Query Design bleiben auch nach wie vor wichtige Dinge, jedoch
kann und will ich nicht die gesammte Applikation mit einem engen
Flaschenhals umsetzen, wenn es sich irgend möglich vermeiden lässt.

Besser vorher Gedanken machen, als hinterher in der Falle sitzen!

rudi(at)je-more(dot)de schrieb:

> Es gibt nicht viele Provider die eine redundante Leitug zum DECIX
> haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
> zum günstingen Discountpreis sowie unlimited Traffic inkl. Bei einem kleinen
> Wald und Wiesen Provider wirds meist teuer und die Leitung von und zum
> Inet hin ist lahm und meist muss man noch den Traffic extra bezahlen.

Sei mir nicht bös, aber das von dem du da gerade erzählst klingt
ziemlich nach Wald&Wiesen-Provider mit Fehleinschätzung der Situation :).

Cheap, Fast, Reliable ist nahezu immer (ausser die Housing/Hosting
Business Unit der Firma ist nicht Gewinnorientiert) ein "pick two out of
three".

[..Storagewahnsinn..]

Mit einzelnen Systemen kannst du bis zu einer gewissen Größe
Blockdevicemässig wachsen. Dies wird eigentlich nur durch die Diskslots
im Gehäuse bzw. die SATA/SAS-Ports am Controller beschränkt. Sinnvolle
RAID-Controller (zB HP Smartarray) können Volumes online extenden bzw.
erzeugen; obs das darunterliegende OS mit Volume-Manager kann gilt es
auszuprobieren.

Falls man Gefahr läuft relativ bald ans Limit des Gehäuses/Controllers
zu kommen, sollte man einen Blick in Richtung SAN werfen, die sind
meistens noch eine Spur besser online erweiterbar.

Oder man knallt gleich einen Abstraktionslayer vor die Datenbanken die
sich um Replikation und Verteilung kümmert, dann hast du mit so
langweiligen Sachen wie "Blockdevice Space" weniger Stress. Aber das
haben wir ja schon kurz angeschnitten...

Da du wieder Gefahr läufst ins 99,999999% Traumland abzudriften wärs
langsam wirklich nett wenn du wo ein komplettes Konzept bzw.
Anforderungsprofil als Diskussionsbasis hinterlegen könntest,
mittlerweile wirds (zumindest für mich) wieder ein bisschen Anstrengend
dir zu folgen ;).

lg,
Michael

--

Michael Renner
InQnet GmbH
Praterstraße 31
A-1020 Wien

Tel.: +43 1 212 7650 521
Fax.: +43 1 212 7650 610

On Wed, 21 May 2008 14:43:38 +0200 rudi(at)je-more(dot)de wrote:

> Quoting Andreas 'ads' Scherbaum <adsmail(at)wars-nicht(dot)de>:
>
> > > Mein Provider hat auf seinem Server eine begrenzte Kapazität was
> > > Festplattenspeicher betrifft. Bei wachsender DB
> > > möchte ich jedoch Handlungsfähig bleiben, nur wie lässt sich das am
> > > besten einrichten?

[X] Dein Charset ist kaputt.
Bring deinen Mailclient bitte in Ordnung, du schickst:

Content-Type: text/plain; charset=ISO-8859-1

aber hast die Umlaute und Sonderzeichen als UTF8 geschrieben.

> > Indem man einen anderen Provider wählt, der flexibler ist.
> > Ausserdem: sprechen wir über Tablespaces auf dem gleichen oder auf
> > einem zweiten Server? So recht will sich mir nämlich der Sinn deiner
> > Frage nicht erschließen bzw. kann es sein, dass du in die falsche
> > Richtung denkst.
>
> Es gibt nicht viele Provider die eine redundante Leitug zum DECIX
> haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
> zum günstingen Discountpreis sowie unlimited Traffic inkl.

Du willst ganz viel Leistung für ganz wenig Geld, verstehe.
Ich enthalte mich weiterer Kommentare.

> > Dein Programm legt hoffentlich hoffentlich unterhalb von $PGDATA
> > überhaupt nichts alleine an. Auf $PGDATA greift nur die Datenbank zu,
> > wo genau die Daten dann liegen, interessiert dich nicht.
>
> Doch, tut es, weil PG es nicht selber kann.
> Es liest beim Start env(PGDATA) aus und erstellt relativ
> dazu ein Verzeichnis "mydd_name" und setzt die FS Rechte
> und Ownership auf postgres.postres. Danach connected
> es sich selbst auf die DB und legt die Tablespaces
> mit CREATE TABLESPACE in dem vorher erstellten Verzeichnis
> an. Dies ist schon deswegen notwendig, da PG für CREATE
> TABLE Spaces nun einmal einen existenten Ordner verlangt.

[X] Du hast Tablespaces nicht verstanden.

*Grusel* Bitte beschäftige dich erst mit einem Thema, bevor du
versuchst, selbiges einzusetzen.

> Weil es nun mal so ist und ohne Downtime funktionieren muss, ganz
> einfach, das ist die Anforderung!

"Ohne Downtime" kann nicht die einzige Anforderung sein.

> Downtimes und schlechte Performance bei konstanten sowie stark
> wachsenden Userzahlen sind ein KO Kriterium und no go das unbedingt
> vermieden werden muss und daher ist es Gegenstand der aktuellen Planspiele.

Marketing ...

> ein verteiltes Szenario ist aber ein interessanter Gedanke, nur scheinen
> 80 GByte Server Festplatte dabei trotzdem zu wenig, gerade wenn eine
> Tabelle schon über 450 GByte gross ist und stark weiter wächst.

Ich erinnere dich mal an deine eigenen Aussagen, dass du Terabyte bzw.
Exobyte an Daten ablegen wolltest. Da sind auch Festplatten mit 450 GB
nicht geeignet und du solltest dir frühzeitig (nämlich genau jetzt)
Gedanken darüber machen, wie du deine Daten ablegst und wie du
Speicherplatz aufrüstest.

Bis dann

--
Andreas 'ads' Scherbaum
German PostgreSQL User Group
European PostgreSQL User Group - Board of Directors

Hallo Rudi,

rudi(at)je-more(dot)de wrote:
> Ich mache mir keine Gedanken über Loadbalancing, sondern habe es schon
> in meine Applicationabfrage Architektur implementiert. Normale,
> preiswerte Rootserver haben nun mal nicht besonders grosse Festplatten,
> sie reichen aber aus um einen guten Start für wenig Geld hinzulegen.

Kann Sequoia nicht sowas wie RAIDb 1+0 oder 0+1? Oder was ist RAIDb-2
von Sequoia? Schau mal hier [1].

Mir ist nicht klar, wie Du mit Tablespaces eine hoehere Verfuegbarkeit
erreichen willst. Eher das Gegenteil scheint mir der Fall zu sein:
sobald Du Tablespaces auf anderen Systemen baust, erhoehst Du die Zahl
der moeglichen Fehlerquellen - und verringerst somit die Verfuegbarkeit.

> Engpass ist jetzt halt einfach die Festplatte pro Server.
> Eine Verteilte Architektur mit DB-Server für spezielle Aufgaben
> wäre zwar wünschenswert, aber auch schwerer zu balancen, zu spiegeln,
> zu sichern und insgesammt schwerer zu warten, da es hier einfach mehr
> Komplexität hat.

Ja, ja, all die Probleme, die multi-master replication mit sich bringt...

Markus

[1]: Die RAIDb Levels von Sequoia:
http://sequoia.continuent.org/doc/2.10/userGuide/ar01s09.html#raidb2

Quoting Andreas 'ads' Scherbaum <adsmail(at)wars-nicht(dot)de>:

> > Es gibt nicht viele Provider die eine redundante Leitung zum DECIX
> > haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
> > zu gue¼nstingen Discountpreisen sowie unlimited Traffic inkl.
>
> Du willst ganz viel Leistung fuer ganz wenig Geld, verstehe.
> Ich enthalte mich weiterer Kommentare.

Wer will das nicht?

> > Doch, tut es, weil PG es nicht selber kann.
> > Es liest beim Start env(PGDATA) aus und erstellt relativ
> > dazu ein Verzeichnis "mydd_name" und setzt die FS Rechte
> > und Ownership auf postgres.postres. Danach connected
> > es sich selbst auf die DB und legt die Tablespaces
> > mit CREATE TABLESPACE in dem vorher erstellten Verzeichnis
> > an. Dies ist schon deswegen notwendig, da PG für CREATE
> > TABLE Spaces nun einmal einen existenten Ordner verlangt.
>
> [X] Du hast Tablespaces nicht verstanden.
>
> *Grusel* Bitte beschäftige dich erst mit einem Thema, bevor du
> versuchst, selbiges einzusetzen.

Also nun frage ich mich ob Du die Doku von der Du dauernd
redest wirklich verstanden hast.

Lies mal besser selber:
http://www.postgresql.org/docs/8.0/interactive/sql-createtablespace.html

Da steht:
Examples

CREATE TABLESPACE dbspace LOCATION '/data/dbs';

Genau das führt mein Programm aus, nur der Parameter
LOCATION eben $PGDATA/mylocation entspricht.

Was soll denn daran bitte schoen falsch sein?
Möglicherweise hast Du ja auch etwas nicht richtig verstanden,
man lernt nie aus ;d

> > Weil es nun mal so ist und ohne Downtime funktionieren muss, ganz
> > einfach, das ist die Anforderung!
>
> "Ohne Downtime" kann nicht die einzige Anforderung sein.

Downtime bedeutet Verlust von Geld. Daher ist es eigentlich recht
logisch das man sie versucht so gut es geht zu vermeiden. Natürlich
ist das die wirtschaftliche Seite, aber die ist eben auch
wichtig.

> > Downtimes und schlechte Performance bei konstanten sowie stark
> > wachsenden Userzahlen sind ein KO Kriterium und no go das unbedingt
> > vermieden werden muss und daher ist es Gegenstand der aktuellen
> Planspiele.
>
> Marketing ...

Tja, für irgendwen entwickelt man seine Software als Softwareentwickler
nun mal, am liebsten fue diejenigen Kunden die auch bereit sind
dafuer zu zahlen und fuer Binsenweisheiten zahlen die Leute nun mal
nicht viel.

> > ein verteiltes Szenario ist aber ein interessanter Gedanke, nur scheinen
> > 80 GByte Server Festplatte dabei trotzdem zu wenig, gerade wenn eine
> > Tabelle schon über 450 GByte gross ist und stark weiter wächst.
>
> Ich erinnere dich mal an deine eigenen Aussagen, dass du Terabyte bzw.
> Exobyte an Daten ablegen wolltest. Da sind auch Festplatten mit 450 GB

Ich sprach davon das eine bestimmte Tabelle bereits die Marke von
450 GByte erreicht hat und das Oracle 8 Exobate an Daten verwalten kann.

Un nun bleib mal locker;D

Quoting Andreas 'ads' Scherbaum <adsmail(at)wars-nicht(dot)de>:

> > Es gibt nicht viele Provider die eine redundante Leitung zum DECIX
> > haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
> > zu gue¼nstingen Discountpreisen sowie unlimited Traffic inkl.
>
> Du willst ganz viel Leistung fuer ganz wenig Geld, verstehe.
> Ich enthalte mich weiterer Kommentare.

Wer will das nicht?

> > Doch, tut es, weil PG es nicht selber kann.
> > Es liest beim Start env(PGDATA) aus und erstellt relativ
> > dazu ein Verzeichnis "mydd_name" und setzt die FS Rechte
> > und Ownership auf postgres.postres. Danach connected
> > es sich selbst auf die DB und legt die Tablespaces
> > mit CREATE TABLESPACE in dem vorher erstellten Verzeichnis
> > an. Dies ist schon deswegen notwendig, da PG für CREATE
> > TABLE Spaces nun einmal einen existenten Ordner verlangt.
>
> [X] Du hast Tablespaces nicht verstanden.
>
> *Grusel* Bitte beschäftige dich erst mit einem Thema, bevor du
> versuchst, selbiges einzusetzen.

Also nun frage ich mich ob Du die Doku von der Du dauernd
redest wirklich verstanden hast.

Lies mal besser selber:
http://www.postgresql.org/docs/8.0/interactive/sql-createtablespace.html

Da steht:
Examples

CREATE TABLESPACE dbspace LOCATION '/data/dbs';

Genau das führt mein Programm aus, nur der Parameter
LOCATION eben $PGDATA/mylocation entspricht.

Was soll denn daran bitte schoen falsch sein?
Möglicherweise hast Du ja auch etwas nicht richtig verstanden,
man lernt nie aus ;d

> > Weil es nun mal so ist und ohne Downtime funktionieren muss, ganz
> > einfach, das ist die Anforderung!
>
> "Ohne Downtime" kann nicht die einzige Anforderung sein.

Downtime bedeutet Verlust von Geld. Daher ist es eigentlich recht
logisch das man sie versucht so gut es geht zu vermeiden. Natürlich
ist das die wirtschaftliche Seite, aber die ist eben auch
wichtig.

> > Downtimes und schlechte Performance bei konstanten sowie stark
> > wachsenden Userzahlen sind ein KO Kriterium und no go das unbedingt
> > vermieden werden muss und daher ist es Gegenstand der aktuellen
> Planspiele.
>
> Marketing ...

Tja, für irgendwen entwickelt man seine Software als Softwareentwickler
nun mal, am liebsten fue diejenigen Kunden die auch bereit sind
dafuer zu zahlen und fuer Binsenweisheiten zahlen die Leute nun mal
nicht viel.

> > ein verteiltes Szenario ist aber ein interessanter Gedanke, nur scheinen
> > 80 GByte Server Festplatte dabei trotzdem zu wenig, gerade wenn eine
> > Tabelle schon über 450 GByte gross ist und stark weiter wächst.
>
> Ich erinnere dich mal an deine eigenen Aussagen, dass du Terabyte bzw.
> Exobyte an Daten ablegen wolltest. Da sind auch Festplatten mit 450 GB

Ich sprach davon das eine bestimmte Tabelle bereits die Marke von
450 GByte erreicht hat und das Oracle 8 Exobate an Daten verwalten kann.

Un nun bleib mal locker;D

Quoting Michael Renner <renner(at)inqnet(dot)at>:

> rudi(at)je-more(dot)de schrieb:
>
> > Es gibt nicht viele Provider die eine redundante Leitug zum DECIX
> > haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
> > zum günstingen Discountpreis sowie unlimited Traffic inkl. Bei einem
> kleinen
> > Wald und Wiesen Provider wirds meist teuer und die Leitung von und zum
> > Inet hin ist lahm und meist muss man noch den Traffic extra bezahlen.
>
> Sei mir nicht bös, aber das von dem du da gerade erzählst klingt
> ziemlich nach Wald&Wiesen-Provider mit Fehleinschätzung der Situation :).

Ganz groß kann ja auch "auch" ein Problem sein, weil die ausser
Stangenwahre nichts spezielles machen, das ist eben Massengeschäft.
Zu klein kann jedoch den Nachteil haben schlecht angebunden oder technisch
nicht auf dem hohen Niveau der großen zu sein.

Daher bin ich dort wo ich bin eigentlich recht zufrieden. Ich habe
mittlerweile angrafragt und sie würden mir auf wunsch auch biszu 4 Platten
einbauen, das Problem ist somit vorerst aus der Welt ;d

> Cheap, Fast, Reliable ist nahezu immer (ausser die Housing/Hosting
> Business Unit der Firma ist nicht Gewinnorientiert) ein "pick two out of
> three".
>
>
> [..Storagewahnsinn..]
>
> Mit einzelnen Systemen kannst du bis zu einer gewissen Größe
> Blockdevicemässig wachsen. Dies wird eigentlich nur durch die Diskslots
> im Gehäuse bzw. die SATA/SAS-Ports am Controller beschränkt. Sinnvolle
> RAID-Controller (zB HP Smartarray) können Volumes online extenden bzw.
> erzeugen; obs das darunterliegende OS mit Volume-Manager kann gilt es
> auszuprobieren.

Debian Etch 4.0 64-Bit. Über NFS mache ich einiges, aber LVM
habe ich bisher nicht angerührt, ist für PG wohl aber auch nciht empfohlen,
zumindest laut Performanceguide aus der offiziellen Doku.

> Falls man Gefahr läuft relativ bald ans Limit des Gehäuses/Controllers
> zu kommen, sollte man einen Blick in Richtung SAN werfen, die sind
> meistens noch eine Spur besser online erweiterbar.

Und kosten ein Vermögen ;d Das Geld muss erstmal reinkommen, dann
kann das kommen, vorher erstmal kleine Brötchen backen ohne gegen die Wand
zu fahren. Ich bin überzeug das auch das geht ;d

> Da du wieder Gefahr läufst ins 99,999999% Traumland abzudriften

Kann deine Ansicht diesbezüglich nicht teilen, da ich schon standalone MySQL
Tabellen habe die jenseits von 450 Gybte liegen und permanent anwachsen.
Die gesammt DB knackt bald die 800 GByte Grenze, daher muss das Ablösesystem
mit Postgres 8.3 bald zum Zug kommen. Dabei dürfen aber die alten, schlechten
Attribute wie Downtimes und schlechte skalier und wartbarkeit kein Problem
mehr sein.

>wärs
> langsam wirklich nett wenn du wo ein komplettes Konzept bzw.

Sorry, das ist etwas zu umfangreich ;d

rudi(at)je-more(dot)de schrieb:

> Daher bin ich dort wo ich bin eigentlich recht zufrieden. Ich habe
> mittlerweile angrafragt und sie würden mir auf wunsch auch biszu 4 Platten
> einbauen, das Problem ist somit vorerst aus der Welt ;d

[..]

> Debian Etch 4.0 64-Bit. Über NFS mache ich einiges, aber LVM
> habe ich bisher nicht angerührt, ist für PG wohl aber auch nciht empfohlen,
> zumindest laut Performanceguide aus der offiziellen Doku.

[..]

>> Falls man Gefahr läuft relativ bald ans Limit des Gehäuses/Controllers
>> zu kommen, sollte man einen Blick in Richtung SAN werfen, die sind
>> meistens noch eine Spur besser online erweiterbar.
>
> Und kosten ein Vermögen ;d Das Geld muss erstmal reinkommen, dann
> kann das kommen, vorher erstmal kleine Brötchen backen ohne gegen die Wand
> zu fahren. Ich bin überzeug das auch das geht ;d

[..]

>> wärs
>> langsam wirklich nett wenn du wo ein komplettes Konzept bzw.
>
> Sorry, das ist etwas zu umfangreich ;d

[..]

Echt jetzt. Sei mir nicht bös, aber mir drängt sich langsam der Verdacht
auf dass du in vielen Bereichen in die das ganze Reinspielt keine
Erfahrung hast _UND_ akut lernresistent bist. Wenn man selbst keine
Möglichkeit hat Sachen auszuprobieren muss man sich Leute suchen deren
Meinung man ernst nimmt, auch wenn es aus der jetzigen Perspektive
keinen Sinn macht. Alles was hier gesagt wurde lässt sich auf Wunsch mit
Beispielen und Fakten untermauern, dazu muss man allerdings bereit sein
seinen eigenen Standpunkt zu wechseln und darf ihn nicht mit einem
Bolzenschussgerät vor Diskussionsbeginn in den Fels rammen.

Eine dieser Konstanten besagt, dass jede "9" hinter dem "99," bei der
Verfügbarkeit ein kleines Vermögen kostet (entweder durch entsprechende
Hardware, komplexere Wartung oder hohe Setupkosten). Wenn man das nicht
im Vorfeld berücksichtigt tritt man sich sehr komplexe und entweder
unverhältnismässig teure oder wenns "billig" gelöst ist, wackelige
Systeme ein.

Bitte tu' dir selbst einen Gefallen und stell mal Anforderungen, Budget
und Realität gegenüber und schau ob das überhaupt Sinn macht, ich hab
schon langsam akute Zweifel. Und lies das Scalable Internet
Architectures. Bitte.

Etwas food for thought zu diesem Thema gibts auch unter
http://highscalability.com/; sind nicht alle Sachen interessant, sind
aber immer wieder nette Beiträge dabei die den Blickwinkel etwas weiten
können.

Und so generell zu Operations oder "Was muss ich alles in meinen 99,9+%
Verfügbarkeit Berücksichtigen": http://www.sysadmin.com.au/sa-bok.html .

lg,
michael

On Wed, 21 May 2008 16:15:26 +0200 rudi(at)je-more(dot)de wrote:

> Quoting Andreas 'ads' Scherbaum <adsmail(at)wars-nicht(dot)de>:
>
> > > Es gibt nicht viele Provider die eine redundante Leitung zum DECIX
> > > haben, ein Rechenzentrum nach den neuesten Standards und Spitzenhardware
> > > zu gue¼nstingen Discountpreisen sowie unlimited Traffic inkl.
> >
> > Du willst ganz viel Leistung fuer ganz wenig Geld, verstehe.
> > Ich enthalte mich weiterer Kommentare.
>
> Wer will das nicht?

Du bekommst aber eine Mogelpackung.
Entweder du zahlst für die Leistung, die du verlangst oder irgendwo
fehlt letztendlich etwas, worauf du dich aber verlässt.

Alles andere ist Marktwirtschaftlich Schwachsinn und deine Idee darauf
zu begründen wird dich auf keinen grünen Zweig bringen.

> > [X] Du hast Tablespaces nicht verstanden.
> >
> > *Grusel* Bitte beschäftige dich erst mit einem Thema, bevor du
> > versuchst, selbiges einzusetzen.
>
> Also nun frage ich mich ob Du die Doku von der Du dauernd
> redest wirklich verstanden hast.

Ich denke, das habe ich.

> Da steht:
> Examples
>
> CREATE TABLESPACE dbspace LOCATION '/data/dbs';
>
> Genau das führt mein Programm aus, nur der Parameter
> LOCATION eben $PGDATA/mylocation entspricht.

'/data' != $PGDATA

> Was soll denn daran bitte schoen falsch sein?

Der Grund, warum man Tablespaces benutzt, steht in "Description":

http://www.postgresql.org/docs/8.3/interactive/sql-createtablespace.html

Lass mich zitieren:

"A tablespace allows superusers to define an alternative location on
the file system where the data files containing database objects (such
as tables and indexes) can reside."

Deine Struktur, die du unterhalb von $PGDATA zementierst, ist keine
"alternative location", das ist schlicht unüberlegter Schwachsinn.
Tablespaces sind dafür gedacht, Daten auf andere Festplatten im System
auszulagern und nicht, weitere Verzeichnisse in $PGDATA anzulegen.

Der andere Grund, den du da früher genannt hattest, dass PG die
Verzeichnisse nicht alleine anlegt:

"directory: The directory that will be used for the tablespace. The
directory must be empty and must be owned by the PostgreSQL system
user. The directory must be specified by an absolute path name."

Warum sollte es - der Administrator der Datenbank bzw. des Systems
weiss selbst am besten, wo die Daten hingeschrieben werden sollen. Wenn
Tablespaces genutzt werden, soll derjenige auch festlegen, wo genau.

> Möglicherweise hast Du ja auch etwas nicht richtig verstanden,
> man lernt nie aus ;d

Ja, genau.
Und du wirst schon wieder persönlich.

> > > Weil es nun mal so ist und ohne Downtime funktionieren muss, ganz
> > > einfach, das ist die Anforderung!
> >
> > "Ohne Downtime" kann nicht die einzige Anforderung sein.
>
> Downtime bedeutet Verlust von Geld. Daher ist es eigentlich recht
> logisch das man sie versucht so gut es geht zu vermeiden. Natürlich
> ist das die wirtschaftliche Seite, aber die ist eben auch
> wichtig.

Ohne Downtime bedeutet "100% Verfügbarkeit". Das zu realisieren nimm
dir besser erst gar nicht vor.

Wenn du so etwas versuchen wolltest, müsste deine Anwendung im
Endausbau bereits stehen, sobald dein Dienst startet. Mit allem drum
und dran, Plattenplatz, Backup und was nicht alles. Obwohl - Backup
brauchst du ja nicht. Schliesslich willst du sowieso 100% Verfügbarkeit
garantieren.

Das was du dir unter "ohne Downtime" vorstellst, ist immer ein Schnitt
aus "möglichst geringe Ausfallzeiten" und "wieviel Hardware und Leute
stehen bereit, das zu garantieren". Wenn du bei einem normalen Hoster
anfängst, hast du schon mal ~ 15 min Downtime, bevor sich irgendjemand
deines Problems annimmt. Das kratzt schon sehr an deinen 100%
Verfügbarkeit.

So, und jetzt überdenk dein Konzept noch mal und leg fest, wieviele
Neunen du hinter dem Komma stehen haben möchtest - und wie ev. die Zahl
vor dem Komma aussieht. Eine Webseite darf auch mal offline
sein. So etwas kündigt man an, richtet Wartungsfester ein und gut ist.
Wenn du den Schnittpunkt zwischen "Kosten für 100% Verfügbarkeit" und
"Einnahmen durch die Webseite" überschreitest, wird dich jeder Manager
zurückpfeifen und dir sagen, dass du da etwas falsch angehst.

> > > Downtimes und schlechte Performance bei konstanten sowie stark
> > > wachsenden Userzahlen sind ein KO Kriterium und no go das unbedingt
> > > vermieden werden muss und daher ist es Gegenstand der aktuellen
> > Planspiele.
> >
> > Marketing ...
>
> Tja, für irgendwen entwickelt man seine Software als Softwareentwickler
> nun mal, am liebsten fue diejenigen Kunden die auch bereit sind
> dafuer zu zahlen und fuer Binsenweisheiten zahlen die Leute nun mal
> nicht viel.

"Ohne Downtime" ist die Binsenweisheit, die du hier verkaufen möchtest.
Haben dir ein paar andere hier aber auch schon geschrieben, du hörst
nunmal nicht zu.

> > > ein verteiltes Szenario ist aber ein interessanter Gedanke, nur scheinen
> > > 80 GByte Server Festplatte dabei trotzdem zu wenig, gerade wenn eine
> > > Tabelle schon über 450 GByte gross ist und stark weiter wächst.
> >
> > Ich erinnere dich mal an deine eigenen Aussagen, dass du Terabyte bzw.
> > Exobyte an Daten ablegen wolltest. Da sind auch Festplatten mit 450 GB
>
> Ich sprach davon das eine bestimmte Tabelle bereits die Marke von
> 450 GByte erreicht hat und das Oracle 8 Exobate an Daten verwalten kann.

Ich möchte dich auf:

http://archives.postgresql.org/pgsql-de-allgemein/2008-05/msg00017.php

verweisen, wo du genau das selbst schreibst.

> Un nun bleib mal locker;D

Ich bin locker, ich habe ein Archiv der Mailingliste zur Verfügung und
weiss, wie man darin sucht. Was ist dein Argument?

Bis dann

--
Andreas 'ads' Scherbaum
German PostgreSQL User Group
European PostgreSQL User Group - Board of Directors

Andreas 'ads' Scherbaum schrieb:
>>>> zu guenstingen Discountpreisen sowie unlimited Traffic inkl.
>>>>
>>> Du willst ganz viel Leistung fuer ganz wenig Geld, verstehe.
>>> Ich enthalte mich weiterer Kommentare.
>>>
>> Wer will das nicht?
>>
>
> Du bekommst aber eine Mogelpackung.
> Entweder du zahlst für die Leistung, die du verlangst oder irgendwo
> fehlt letztendlich etwas, worauf du dich aber verlässt.
>
> Alles andere ist Marktwirtschaftlich Schwachsinn und deine Idee darauf
> zu begründen wird dich auf keinen grünen Zweig bringen.
>
Wenn ich mir mal die Website eurer Firma anschaue und deine bisherigen
Tätigkeiten dort mal
als Referenz ansehen kann, dann bist Du nicht unbedingt der richtig
Ansprechpartner in Sachen
BWL.

Vielleicht bist du ja technisch eine Leuchte, zumindest behauptest Du
das die ganze Zeit in dem
du mir versuchst einzureden ich hätte keine Ahnung, aber Du hast Du ober
über Mega Ahnun
ohne dabeui jedoch mal kokret zu werden. Ich verlasse mich beim
Webhosting Preisleistungstechnisch
auf ein gutes Mittelmaß, was Du allerdings vorschlägst ist nicht
ersichtlich - nur das alles was mein Provider
anbietet nun mal schlechter sein soll.

Coole Argumentation, das braucht man sicherlich um Consultingleistungen
für Leute die sich ein x für ein u
vormachen lassen, aber es bleibt zweifelhaft ob Du jemand der selber aus
der Branche ist so einen Unsinn
verkaufen kannst.Wenn Du es nicht bleiben lassen kannst andere
Systemearchitekturen zu tollerieren und
immer deine Ansichten als einzig wahrhaftige zu verkaufen solltest Du
besser schweigen und gar nichts mehr
sagen, denn sowas geht auf den Keks und glaubhafter wirst Du dadurch
bestimmt nicht.

Ist mir nun auch egal ob Du das schön findest oder nicht. Wenn ich
lernresistent bin, weil ich mir keinen
Unsinn von Dir erzählen lasse, dann bist Du renitent und penetrant.

On Wed, 21 May 2008 19:50:20 +0200 rudi(at)je-more(dot)de wrote:

> Wenn ich mir mal die Website eurer Firma anschaue und deine bisherigen
> Tätigkeiten dort mal
> als Referenz ansehen kann, dann bist Du nicht unbedingt der richtig
> Ansprechpartner in Sachen
> BWL.

Ich weiss ja nicht, welche Webseite du dir angeschaut hast ... aber ich
habe gar keine Webseite (für meine Firma). Erst recht brauche ich (und
habe ich auch nicht) meine Referenzen nirgendwo angeben. Mir ist also
nicht bekannt, woher du dein Halbwissen beziehst, aber vielleicht
solltest du mehr Zeit auf Dokumentation lesen und dem Aufsetzen von
Testcases verwenden anstatt herumzuraten, welche Webseite denn von mir
sein könnte. Das bringt dich und dein Projekt weiter.

Dass ich mit einigen der hier ebenfalls Postenden zusammenarbeite
genügt mir persönlich als Aussage, dass ich doch ein kleines bischen
von dem verstehe, was ich schreibe.

Mit dem Spruch hast du dich jetzt jedoch endgültig disqualifiziert.
Zuerst erzählst du hier Sachen, von denen du hinterher behauptest, das
nie gesagt zu haben (siehe z.B. Aussage über Exobyte Daten) und dann
wirst du ständig ausfallend, sobald man deine Gedankengänge kommentiert
oder in Frage stellt. Konkrete Antworten auf Fragen schaffst du nicht,
aber wenn man dir daraufhin etwas vorschlägt, ist dir das zu schwammig.

Geh weg.

--
Andreas 'ads' Scherbaum
German PostgreSQL User Group
European PostgreSQL User Group - Board of Directors

ist mir wirklich ein Rätsel wie sehr hier gefüttert wird.

/tm