Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsMemory Extension Drive: Western Digital macht NVMe-SSD zur RAM-Ergänzung
1 Mio Fotos als BLOBs in die Datenbank reinzuschmeissen wäre ein Grund für Kündigung wg. Inkompetenz?
Selbst in Zeiten von Quasi-Stillstand bei HDDs scheinen mir 10 TB kaum beeindruckend. Erst recht wenn manche Hobbyisten 100+ TB NAS im Keller stehen haben. Dann überlegt man wie viel Speicher in ein paar Racks voller HDDs für ein mittelständisches Unternehmen reinpassen?
Hier mal eine Cloudanwendung bei Walmart. 40+ PB Cloud, soll 2,5 PB pro Stunde durchwühlen.
Deduplikation ist wohl ein sehr einleuchtendes Beispiel für jede Menge RAM. Doppelte Daten findet man am schnellsten wenn der gesamte Datenbestand ins RAM passt.
Big Data ist wohl auch ein Thema. Es gab mal ein Interview von einem Wissenschaftler bei Facebook. Da meinte er die Daten wären sehr interessant aber wenn er sie richtig auswerten wollte würden die Rechner hunderte von Jahren rechnen und so müsse der Schatz noch ungehoben bleiben. In erster Linie sollte das uns beruhigen aber dennoch ahnt man wozu schnelle Speicher genutzt werden könnten.
Nein, ist es nicht. Was schnell klar wird wenn man als Gedankenexperiment mal eine Ramdisk in der Größe des "Memory Extension Drive" anlegt. Als Aktionär wäre so eine Meldung für mich der Anlass gaaaaanz schnell raus zu gehen.
Das Geld ist in einer größeren SSD deutlich besser verplant.
Abgesehen davon haben immer mehr Leute nicht mal mehr HDDs im Einsatz, oder nur noch als Datengrab.
Ich selber habe eine SSD für meine Spiele und eine NVME für mein System.
Im Leben würde ich kein Geld für son Gedöns ausgeben
In einem Unternehmen HEUTE? Ja! Für sowas gibts NoSQL oder Storage Systeme + Index der dann gerne in den RAM kann. Und ich wiederhole mich: Partitionierung!
Und wer behauptet das ist in den letzten, sagen wir 10 Jahren so gewachsen hatte mindestens 4x die Chance das zu ändern...
Wenn Dich da Dein Gefühl mal nicht täuscht, nicht umsonst bietet Intel seine Skylake-SP Xeons auch in den M Versionen mit Unterstützung für 1,5TB statt nur 768GB RAM pro Sockel an und AMD hebt bei EPYC immer wieder hervor, wie viel RAM man dort pro CPU betreiben kann. Samsung hat gerade erst das erste 256GB DIMM für Server gezeigt:
Jetzt kommt WD hier mit einer NVMe SSD die damit eigentlich gar nichts zu tun hat, will diese aber auch unbedingt in diesem Bereich vermarkten und zwar weil es eben nicht ein sehr kleiner Markt ist, sondern einer der schon rapide wächst und dem viel Potential zugetraut wird:
Es werden eben immer mehr Daten erzeugt und gesammelt, aus denen die Unternehmen auch Gewinne erzielen wollen, sonst kostet es ja nur Geld diese aufzubewahren. Nach der möglichst personalisierten Werbung kommen nun die personalisierten Preise. Statt sich bei den Preisen gegenseitig zu unterbieten zu wollen, ist es doch viel gewinnbringende wenn man den Kunden im Onlinehandel dann Preise anzeigt die statt so gering wie möglich zu sein, so gerade noch unter deren persönlicher Schmerzgrenze liegen bei sie noch auf Kaufen klicken. Wenn dann für 24,99 statt sonst 19,95 gekauft wird, dann werden für den Anbieter des Dienstes fette Provisionen fällig, weit mehr als für einen Kunden der über das Schalten einer Anzeige in den Onlineshop gekommen ist.
Stunrise schrieb:
Während damals aber der Storage noch mit lahmen Magnetplatten mit ca. 150 IOPS pro HDD gelaufen ist und da durchaus Potenzial für sowas gewesen wäre, sind heute die Performance Storage Systeme All-Flash
Was WD hier anbietet ist ja nur ein Storage, mit RAM hat es nichts zu tun, außer man legt das Swapfile drauf, aber das eigentlich Thema sind eben InMemory Datenbanken, nur kann ein SSD oder auch NAND Hersteller dazu nichts beitragen und nichts verdienen. Samsung versucht den Z-SSDs mit geringer Latenz ein Stück vom Kuchen abzubekommen, aber im Vergleich zu dem was sie davon über ihre DRAM Fertigung erhalten, dürften dies nur Krümmel werden. WD hat keine DRAM Fertigung, die müssen eben auch versuchen ihre SSDs da irgendwie ins Gespräch zu bringen und versuchen dann wohl auch die Latenz zu senken um den Intel Optane SSDs ein paar Kunden abzujagen, sie haben aber nichts gegen die Optane DIMMs die Intels wirklich heiße Eisen in dem Markt sind.
Die könnte derzeit nur Micron bieten, da man ja 3D XPoint zusammen mit Intel entwickelt hat und es auch noch gemeinsam fertigt. Aber wie so oft sehe ich da keinen roten Faden bei der Produktpolitik von Micron. Statt wie Intel das 3D XPoint als RAM anzubieten, bauen die solche 32GB RAM Riegel mit einem NAND drauf, die dann mit eine Pufferbatterie verbunden werden müssen und bei einem Stromausfall den RAM Inhalt ins NAND schreiben. Für sowas dürfte der Markt wirklich sehr klein sein, auch wenn man diese Riegel ohne Anpassungen des RAM Controller verwenden kann, so muss das BIOS damit umgehen können, damit es das RAM nicht beim Booten prüft und dabei den geretteten Inhalt löscht und auch das OS dann dort weiterlaufen lassen kann, wo es zuletzt ausgeführt wurde.
kullakehx schrieb:
Die Transferraten sind nicht berauschend, das stimmt. Worauf es doch aber ankommt sind die Latenzen.
Das könnte man, aber dies ist nicht umsonst zu haben, neben der Leistungsaufnahme und dem Platz auf dem Mainboard, bedeutet es auch mehr Pins im Sockel der CPU (man nimmt ja mehrere DIMM pro Channel weil man dafür im Vergleich zu einem weiteren Channel viele Pins einspart) und daher mit Layer für das Mainboard, mehr Platz für die CPU und auch mehr Leistungsaufnahme ihrer RAM Controllers.
Das macht man im Dual-Channel Modus doch sowieso, da werden die Riegel dann wie ein Platten im RAID 0 zusammen betrieben und statt 64 Bit hat man so ein virtuelles 128 Bit RAM. Damit werden pro Übertragung doppelt so viel Daten in den Cache gelesen, aber dies hat nicht nur Vorteile, denn es erhöht die Latenz. Dies sieht man in den Benchmarks wie AIDA nicht, da wird ja nur von einem Kern aus gebencht, aber es gibt schon heute CPUs mit 8 Kernen um Mainstream (28 bzw. 32 Kernen bei Servern), die alle auf das RAM zugreifen wollen und wenn einer auf eine RAM Adresse zugreift, müssen die anderen warten bis diese durch ist und sie an die Reihe kommen.
Betreibt man die RAM Kanäle unabhängig, so bencht der eine Kern auf dem AIDA RAM Zugriffe testet zwar nur etwa die Hälfte des RAM Durchsatzes, aber ein zweite Kern kann zumindest dann wirklich zeitgleich ebenfalls aufs RAM zugreifen, wenn die Adresse auf einem Riegel ist der am anderen Channel hängt. Die durchschnittliche Latenz der RAM Zugriffe über alle Kerne gesehen, fällt also und was nun besser ist, hängt wie immer von der jeweiligen Anwendung ab.
Ergänzung ()
dMopp schrieb:
Wer ne Single 10TB DB hat, sollte sich mal um seine Weiterbildung Gedanken machen.
die Daten wären sehr interessant aber wenn er sie richtig auswerten wollte würden die Rechner hunderte von Jahren rechnen und so müsse der Schatz noch ungehoben bleiben. In erster Linie sollte das uns beruhigen aber dennoch ahnt man wozu schnelle Speicher genutzt werden könnten.
Natürlich wir der Schatz gehoben so weit es geht und natürlich braucht man dafür enorme HW Resourcen und je mehr HW Resourcen man hat, umso mehr kann Profit kann man aus den Daten schlagen, gerade wenn man solche Menge hat wie Facebook oder Google. Diese Unmengen an Daten zu archivieren kosten sehr viel Geld und dies würde man nicht ausgeben, wenn man sich davon nicht am Ende auch einen Gewinn erhofft, also Einnahmen die die Kosten übersteigen.
Hayda Ministral schrieb:
Als Aktionär wäre so eine Meldung für mich der Anlass gaaaaanz schnell raus zu gehen.
Mal abgesehen davon das man sich generell im Moment fragen sollte in welche Phase des Marktes wir uns befinden und ob es nicht besser wäre nun nach so einem langen Bullenmarkt Gewinne zu realisieren, verstehe ich nicht wieso diese Meldung für Dich ein Anlass wäre nun auszusteigen. WD wir bei Big-Data allenfalls eine Nebenrolle spielen und kann die Massenspeicher verkaufen auf denen die Daten gesammelt werden, was sie ja schon seit vielen Jahren auch machen, bei der Hardware für die eigentliche Verarbeitung dieser Daten sind sie aber nicht dabei, auch wenn deren Marketing so eine NVMe SSD dafür anzubieten versucht.
@Holt Mehr als „zum Glück“ hast du nicht zu bieten?
Wer seine Datenbank so beschissen (sorry, anders kann man das nicht nennen) aufbaut, dass sie nicht Partionierbar ist bei einer zu erwartenden Größe wie hier genannt kann gerne DBA spielen, ist aber keiner. Da helfen auch keine Ausreden wie Workflows! Oder bist du eher so der Typ alles um den Mist rum zu basteln der verzapft wurde? Wenn eine DB nicht mehr der wachsenden Anforderung entspricht gehört sie neu designt! Datenbankentwicklung ist genauso wichtig wie Applikationsentwicklung!
Aber heute geht man ja lieber den „BER“ Weg, nicht wahr?
Es ist nun mal so, dass in den meisten Fällen irgendwelche Javaentwickler DBs anlegen und dabei nicht mal den Grundsatz der 3ten Normalform (meist nicht mal die erste oder zweite) kennen. Diese Javaentwickler sind oft Schuld an solchen Mist! Was meinst du wie oft ich schon LOGS(!!) in einer Postgres gesehen habe? Oder BLOBS?
PS: Wenn deine „Workflows“ kein trennen zulassen, sind diese kein deut besser als die DB und Schritt 1 MUSS SEIN die DB mittels Abstraktionslayer von den Applikationen zu entkoppeln und anschließend zu shaden. Vielleicht , aber nur vielleicht, schafft es parallel mal jemand deine Workflows zu entstauben...
Und um das mal klar zu machen: Über „Sinn“ oder „Unsinn“ des Produktes diskutiere ich garnicht, ich hasse nur dieses Hardware vs Personal ausspielen das ich immer häufiger sehe.
Wer sagt das solche Datenbanken automatisch den Anforderungen nicht mehr entsprechen? Ich kenne genug Datenbanken die mehr als 10TB haben und dennoch wunderbar funktionieren, Projekt läuft, Kunde ist glücklich, wieso sollte da jemand Geld für ein Redesign ausgeben, zumal dann auch die Clientsoftware redesignt werden müsste?
dMopp schrieb:
Was meinst du wie oft ich schon LOGS(!!) in einer Postgres gesehen habe? Oder BLOBS?
Mag sein das Postgres damit Probleme hat und ob man Logs, gerade die von Java in eine Datenbank schreiben sollte, kann man sicher auch diskutieren, aber wenn die BLOBs zu den Datensätzen gehören, wenn sollten sie auch in der Datenbank stehen, dafür haben die meisten Datenbanken diese Datentyp ja auch und dies erleichtert auch das Backup, da man nicht verschiedene Sache backuppen muss und dann im Worst-Case womöglich inkonsistente Daten hat, weil ein Teil der Daten in einem Backup ist, der Teil im anderen aber älter oder jünger.
Es ist eben nicht so das jede Datenbank so groß ist, weil unfähige Leute am Werk waren die diese unnötig aufgebläht haben und du scheinst noch keinen Blick jenseits des Tellerrandes des spezifischen Problems in deinem Umfeld geworfen zu haben, welches dich offenbar sehr frustriert.
Das Geld ist in einer größeren SSD deutlich besser verplant.
Abgesehen davon haben immer mehr Leute nicht mal mehr HDDs im Einsatz, oder nur noch als Datengrab.
Ich selber habe eine SSD für meine Spiele und eine NVME für mein System.
Im Leben würde ich kein Geld für son Gedöns ausgeben
Solche Kommentare machen mich immer ein Stück weit fassungslos Kleiner Tipp: Computer werden nicht nur von von Gamern verwendet, sondern nahezu unsere gesamte moderne Wirtschaft basiert auf IT-Prozessen. WOAH BOOOM MIND BLOWN
Das sind so die Leute die erklären, die neuen 64 Kern CPUs von AMD wären sinnlos, weil Games nur 8 Kerne ausnutzen oder die Intel Optane für Schwachsinn erklären, weil ne SATA SSD ja schnell genug zum Zocken ist
PS:
Die wilde Inge schrieb:
Da kommen große Enterprise SSDs mit SAS Anschluss rein
Das Jahr 2005 hat angerufen und will seine Technologien zurück, das Jahr 2005 bitte!
______________________________________________
Zum Thema: Irgendwie bin ich unterwältigt und sehe den Vorteil nicht. Eine All-Flash Storage mit einem einigermaßen sinnvollen Controller sollte doch genau dieselbe Performance bieten wie eine Storage mit dem Teil hier, das ist doch auch nur Flash der halt anders bezeichnet wird, aber deshalb doch nicht schneller wird? Oder habe ich etwas Entscheidendes nicht kapiert? 3DXpoint hat ja gerade den riesen Vorteil dass er schneller als klassischer FLash ist und deshalb genau in die Lücke zwischen Ram (schnell aber teuer) und Flash (relativ günstig aber relativ langsam) passt, wenn man die passende Anwendung hat.
„Wenn“ der Bedarf nach einer „FullMemory“ DB besteht, dann wurde ohne mögliche Partiotionierung bei der Größe ein Designfehler begangen. Was willst du da weiter diskutieren? Und glaube mir, ich kenne diverse Anwendungszwecke, auch jenseits der TB Grenzen.
Es gibt noch wenige Ausnahmen, diese beachte ich aber nicht, da diese
A.) Nur die wenigsten Kunden betrifft (vielleicht 10-20 in ganz DE)
B.) Diese Projekte sicher solch ein Produkt hier nicht benötigen.(Da gehts mehr Richtung FullFlash Storage und sharding wo immer es geht... Überraschung!)
Generell solltest du mal von deinem Ross steigen, denn nur weil „Dein Kunde“ Happy ist, muss es nicht richtig sein...
Oder wie in der IT leider viel zu oft treffend:
„Das kann man schon so machen, aber dann ist es halt kacke“
Was das hier nun konkret für Flash ist und wie hoch dessen Latenzen sind, wissen wir ja nicht, die Details fehlen ja noch. Generell zeigt das Z-NAND von Samsung aber, dass es auch bei NAND durchaus sehr unterschiedliche Latenzen gibt und es möglich ist die Latenzen gegenüber dem in Consumer SSD verwenden NAND zu senken, wobei der Controller natürlich auch eine Rolle spielt.
dMopp schrieb:
Generell solltest du mal von deinem Ross steigen, denn nur weil „Dein Kunde“ Happy ist, muss es nicht richtig sein...
Egal wie eine Lösung aus akademischer Sicht zu bewerten ist, wenn der Kunde happy ist, dann ist die Lösung richtig, da von dem hohen Ross sollte hier also nur einer runterkommen. Eine Lösung kann noch so sauber designt und implementiert sein, wenn der Kunden am Ende nicht zufrieden ist, hat man dennoch etwas ganz wichtiges falsch gemacht. Es ist in der Wirtschaft nämlich immer der Kunde der das Gehalt bezahlt, der Chef verteilt nur das Geld welches er von den Kunden bekommt! Wenn der Chef auch noch zufrieden ist weil die Kosten im Rahmen geblieben sind, dann wird das dem eigenen Anteil bei dieser Umverteilung auch nicht schaden.
Ich weis zumindest nun um welchen Dienstleister ich nen Bogen machen würde.
Dem Kunden technisch unausgegorenes Zeug verkaufen nach eigenem Gusto hauptsache es läuft. Damit bestätigt sich was ich täglich immer wieder sehe. Fusch!
Ich lasse dem Kunden zumindest die Wahl. Es gibt immer 2-3 Optionen. Das MINIMUM mit allen Nachteilen (auch benannt), das OPTIMUM und je nach Größe des Projekts noch eine Alternative dazwischen. Alle Lösungen sind kein „Hauptsache es läuft“ Produkt und im Regelfall entscheiden sich die Kunden eh für die große Variante.
Aber macht ihr nur weiter und treibt uns die Kunden in die Arme.
Eigentlich schade, dass beim Hauptspeicher idR nicht so viel sequenziell gelesen wird, sonst könnte man bei solchen DRAM-Ersatzlösungen mit noch mehr Parallelisierung bestimmt noch gut was rausholen. Aber so wie es ist, werden vmtl. die reinen Zugriffszeiten das maßgebende Kriterium sein und die wird man wohl nur durch Änderungen an der zugrundeliegenden Architektur entscheident verbessern können.
Wenn Du mit den Optane die Optane SSDs meinst, also vor allem die DC P4800X, dann vielleicht, aber in Konkurrenz zu den Optane DIMMs wird keine NVMe SSDs treten können.
RYZ3N schrieb:
Ein Fragezeichen sehe ich noch im Bezug auf die Haltbarkeit im Vergleich zu DRAM- und Optane-Lösungen.
Und ich sehe vor allem eines bzgl. der Performance. Die Optane SSDs sind nicht nur wegen ihre extrem geringen Latenz beim Lese so schnell, auch die Performance beim Schreiben im Steady State (sowas kennen die Optane gar nicht) und bei gleichzeitigen Lese- und Schreibzugriffen ist weitaus besser als bei jeder SSD mit NAND, bei der ja immer erst ganze Blöcke gelöscht werden müssen um eine Page neu beschreiben zu können und wo die Adressierung der Dies vielleicht in 2 Planes unterteilt werden kann, aber wenn eine davon angesprochen wird um z.B. darauf zu schrieben, dann muss der Vorgang erst beendet werden um den nächsten Zugriff beginnen zu können und der dauert eben viel länger als bei 3D XPoint.
Mal abgesehen davon das man sich generell im Moment fragen sollte in welche Phase des Marktes wir uns befinden und ob es nicht besser wäre nun nach so einem langen Bullenmarkt Gewinne zu realisieren, verstehe ich nicht wieso diese Meldung für Dich ein Anlass wäre nun auszusteigen.
Weil WD hier eine reine Bullshit-News produziert. Blendgranaten und Nebelkerzen wirft eine börsennotierte Firma wenn was im Busch ist von dem abgelenkt werden soll.
3DXP ist nunmal kein "normaler" Flash. Aber genau den will WD den Kunden als Alternative dazu aufdrücken. Es hat schon seinen Grund, warum an persistant Memory geforscht wird. (siehe auch MRAM)
Es ist nicht nur so, daß die Speicherzellen an sich anders ist. Das ganze Ansprechverhalten ändert sich und auch diie Arbeitsweise der Controller.
Die Lösung, die von WD angeboten wird, ist in meinen Augen normales Paging auf ner PCIe-SSD.
Schon interessant, wäre eventuell bei uns auch von Interesse.
Will jetzt nicht wirklich in die DB Diskussion einsteigen, aber wir benutzen spezifische Applikationen und sind in einem Bereich tätig, der grosse Datenmengen verarbeitet. Bei uns steht auch ein Cluster mit 2TB RAM, was gewisse Kunden bei weitem überbieten. DB Grössen gehen regelmässig gegen 1-10TB. Die Applikation bietet eine NoSQL Erweiterungen an, jedoch mit ziemlich massiven Einschränkungen, weshalb praktisch niemand darauf umsteigt.
Je nach Performanceeinbruch könnte das schon interessant sein - schlussendlich hat momentan nur ein kleiner Teil der DB im RAM Platz, was grösstenteils in Ordnung ist, bei einigen Queries darf dann aber der Flash ran - von daher ist jedes MB das zusätzlich auf schnellerem Flash oder im RAM sitzt viel Wert - nur eben nicht soviel wie 10TB RAM
Ist das Gewissheit, oder einfach die wahrscheinlichste Vermutung als Fakt verkauft? Ich konnte nämlich beim Überfliegen weder in den Pressemitteilungen noch im "Data Sheet" eine Info dazu finden was hier für Flash verkauft werden soll. Generell steht da extrem wenig zur konkreten Technik...
Kleiner Tipp: Computer werden nicht nur von von Gamern verwendet, sondern nahezu unsere gesamte moderne Wirtschaft basiert auf IT-Prozessen. WOAH BOOOM MIND BLOWN 
