News Internet Archive: Marke von 10 Petabyte überschritten

[przszy]

Das von Brewster Kahle 1996 in San Francisco gegründete gemeinnützige Projekt „Internet Archive“ hat es sich mit seiner bekannten „Wayback Machine“ zur Aufgabe gemacht, späteren Generationen die Möglichkeit zu geben, internetbezogene Entwicklungen unserer Zeit nachvollziehen zu können.

Zur News: Internet Archive: Marke von 10 Petabyte überschritten

 

[Sherman123]

Wer buttert eigentlich die Kohle in dieses Projekt?
Gemeinnützig ist zwar schön und gut, aber der (US)Steuerzahler wirds doch nicht blechen müssen, oder?

 

[Popel1]

Da dürfte dann die größte Sammlung an Sex Seiten gespeichert sein

 

[D1rty]

Wieso, du zahlst doch auch für die deutschen Archive...

 

[carom]

Ich finde schade, dass man alte Seiten von vor 5-10 Jahren nicht mehr anschauen kann, wenn sie heute (also erst seit kurzem) eine robots.txt haben...

 

[Weltenspinner]

Lasst Youtube und Pornos weg und man kommt mit wenigen
Terrabytes aus! XD

 

[Adiak]

"Um die großen Daten jedoch speichern zu können, hat das Internet Archive zu diesem Zweck ein erstes System mit einer Speicherkapazität von einem Petabyte an."

-->da fehlt doch ein Wort oder?

 

[spcqike]

@adiak, nicht nur da. ich hab auch das gefühl, der newsschreiber war gestern länger unterwegs

 

[Wattwanderer]

Erschreckend, dass es nur 2.500 HDDs bedarf um einen "Backup" vom Internet zu ziehen.

 

[ice-breaker]

Die Wayback-Machine macht kein komplettes Backup des Internets sondern meist nur die Hauptseite der Domain.

 

[Mighty X]

Die Wayback-Machine macht kein komplettes Backup des Internets sondern meist nur die Hauptseite der Domain.

Das macht die ganze Sache schon wieder ziemlich nutzlos.

 

[x.treme]

Facebook's hadoop-Speicher ist alleine 100 Petabyte groß

 

[Fipsi16]

Ich hoffe, dass die Daten gut komprimiert und am besten dedupliziert abgespeichert werden. Ansonsten entsteht da ein rießiger Overhead der völlig unnötig ist.

 

[Laggy.NET]

Erschreckend, dass es nur 2.500 HDDs bedarf um einen "Backup" vom Internet zu ziehen.

Seh ich genauso. 10 Petabyte sind nicht wirklich sehr viel.

Selbst ein Mittelständisches Hardware-Versandunternehmen wird wohl weit mehr als 2500 HDDs im Lagerbestand haben. Grob geschätzt werden die HDDS wohl locker auf eine oder zwei Europaletten passen.
Aus sicht eines Unternehmens sind das wahrscheinlich fast schon peanuts.

Zum Vergleich: Festplattenhersteller stellen so um die 100-200 Millionen HDDs im Monat her.

Klar werden hier sicherlich hochwertige Server HDDs + Backups genutzt. Aber man sieht im Vergleich mal, dass man relativ "wenig" Platz und ressourcen braucht, um solch vermeintlich gewaltigen Datenmengen zu speichern.

 

[Hypeo]

...sondern meist nur die Hauptseite der Domain.

Nenne doch mal ein Beispiel, denn ich konnte bei meinem kurzen zufälligen Test eben auch Unterseiten erreichen.

 

[Vivster]

und bei Providern wird schon gemeckert wenn sie ein paar kb mehr als 3 Wochen lang speichern.

 

[Silverangel]

Erschreckend, dass es nur 2.500 HDDs bedarf um einen "Backup" vom Internet zu ziehen.

Die 10 Petabyte sind nicht das ganze Internet, sondern lediglich das, was das Archiv bisher gesammelt hat. Zudem oftmals nur die Hauptseite eines Internetauftritts.
Das Internet bzw. Anzahl Daten im Internet ist DEUTLICH mehr.

 

[Nutzer_50300]

Das Ding ist einfach der Hammer.

Dank dessen konnt ich so einiges in Sachen "Amiga" noch bekommen, wovon wahrscheinlich sonst keiner mehr was wüsste

z.B. Updates für CyberGraphX (Treiber für Grafikkarte beim Amiga), da man sich ja auch in der guten alten MS-DOS 6.22 Welt auch immernoch herumtreibt auch dafür ebenfalls eine tolle Sache (Mal eben 6.22 teil-Update auf 7.10, dem im 98SE )

Vor kurzen den Voodoo3-Patch für NFS III, damit das dann mit registry-fummeln auch auf der Voodoo5 5500 AGP läuft. u.s.w.

Ich kann dazu nur sagen, weiter so -> Spitze Arbeit


Gruss Dennis_50300