News Google: Zahlen zur Code-Basis des Suchmaschinen-Giganten

[Piktogramm]

Die zwischenmenschlichen Probleme die sich da ergeben finde ich irgendwie interessanter. Das Projektmanagement welches bei Google stattfindet würde ich gern kennenlernen.

 

[S.Kara]

Bei dieser Codemenge dürfte es auch mit einer sauberen Doku (z.B. einem WIKI o.ä.) nur sehr langwierig möglich sein zu prüfen, ob eine Funktion bereits mit dem benötigten Algorithmus irgendwo implementiert ist.

Das ist ja nicht ein 86 TB Projekt, sondern viele "kleine", da passt das schon. Eine durchdachte Organisation ist natürlich das A&O.

Da müssten ein paar dunkle Mächte doch mächtig scharf drauf sein.

Mit Sicherheit. Auf das wichtige Zeug werden deswegen auch nur die wichtigen Leute Zugriff haben. Ansonsten würde sich wohl fast jeder die 86 TB nehmen und für ein paar Millionen/Milliarden verkaufen. Facebook und Microsoft würden bestimmt eine Menge locker machen.

 

[Brötchenesser]

ach sind doch nur 86 TB...kann auch jeder selber zuhause anlegen so ein Archive

holt man sich 86 1TB Festplatte oder 43 2TB oder 21 4TB oder 11 8TB usw usw...und baut sie sich in nen Rechner ein ..vorrausgesetzt man hat so viele Anschlüsse für Festplatten da..zur not halt alle über Usb anschliessen...

 

[Senephar]

Und nicht zu vergessen die 86TB sind nicht nur der aktuelle Code, sondern sämtlicher Code der jemals geschrieben wurde.

In einem Code Repository liegen schließlich alle Änderungen vom ersten Commit an.

 

[Trinoo]

nicht schlecht

hab ja auch gewusst das Google groß ist .. aber mit Zahlen bzw in Zahlen ausgedrückt wirkt das Ganze doch schon sehr beeindruckend.

 

[mambokurt]

Hallo,
ich glaube nichtmal unbedingt dass es technisch ein großes Problem ist, vielmehr dürfte es schwierig sein, das ganze sauber zu Organisieren.

Als Beispiel wurde ja hervorgehoben, dass bei neuen Projekten gleich Zugriff auf viele Libraries möglich wäre. Ich glaube kaum, dass ein Entwickler einen überblick über sämtliche Projekte, Codefiles etc. hat. Bei dieser Codemenge dürfte es auch mit einer sauberen Doku (z.B. einem WIKI o.ä.) nur sehr langwierig möglich sein zu prüfen, ob eine Funktion bereits mit dem benötigten Algorithmus irgendwo implementiert ist.

Greetz
hroessler

Ja und nein, ich denke schon dass die intern einen Index für bestimmte Sachen laufen haben, sprich die Normalalgorithmen gibts fertig und die werden weiterbenutzt. Natürlich lässt das noch einen Haufen Code offen, wäre wahrscheinlich ein netter Job: Codeverwalter bei Google - frag mich und ich zeige dir Quellcode, wäre das richtige für Leute mit absolutem Gedächtnis und etwas Hang zum Coden...

Ergänzung (20. September 2015)

Die zwischenmenschlichen Probleme die sich da ergeben finde ich irgendwie interessanter. Das Projektmanagement welches bei Google stattfindet würde ich gern kennenlernen.

Wenn man nur die richtigen Leute rekrutiert braucht man lustigerweise nur eine Stufe fürs Projekt Man muss halt einfach Vollblutingineure rekrutieren, die kommen dann auch untereinander aus.

 

[Gorby]

Irre... mehr kann man dazu nicht sagen...

 

[Faust2011]

Interessanter Artikel. Noch spannender wäre es jedoch zu wissen, wie viele Entwickler beschäftigt sind? Und wie arbeiten diese über die verteilten Standorte zusammen? Wie sind die Erfahrungen damit? Wird der Code beim Checkin automatisch gebaut im Sinnne eines Continouus Delivery? Gibt es statische Codeanalysen, die ebenfalls nach dem Commit automatisiert durchgeführt werden? Das wären interessante Fakten zum täglich Brot in der Entwicklung bei Google!

"Potvin erläutert, warum Google trotzdem die gesamte Codebasis in einem großen Archiv fast allen Mitarbeitern vollständig zugänglich macht."

Das muss doch gar nicht sein. Eine Offenlegung der Schnittstelle reicht und wenn man die Implementierung braucht, dann bindet man das Binary mit dazu. Denn sonst führt es bei folgendem: "Er kann zudem Code aus unzähligen anderen Projekte einsehen und weiter verwenden." Hier gibt es das Problem, dass man ruck-zuck eine riesige Menge duplizierten Code hat (Remember aus dem Bericht: 86TB Code! ) und wenn der Mal einen Bug hat, dann darf man alle duplizierten Stellen finden und dort den Bug fixen. Na wunderbar

Ich glaube Code aus dem Repository für sein eigenes Projekt herauszusuchen dauert länger, als diesen neu zuschreiben...deshalb der exponentielle Wachstum

Ja, siehe meine Ausführung.

 

[UrlaubMitStalin]

Wenn man Ahnung davon hat, dann weiß man, dass diese nackten Zahlen gar nichts aussagen.
Ich habe eher das Gefühl, dass da ständig neue Branches hinzu kommen und sehr viel toter Code liegt bzw. Code der nie mehr benutzt wird.
Oder das einfach jede Version jeder Datei gespeichert wird und nicht ältere Builds gelöscht werden.

Zweifellos ist Googles Codebasuis gewaltig, aber um das wirklich vergleichen zu können müsste man die selbe Versions-Verwaltungs-Politik bei den anderen großen Projekten (Linux-Kernel, Windows, etc.) fahren.

edit: Eigentlich ist nur "Lines of Code" einigermaßen aussagekräftig. Wobei hier die bloße Anzahl auch nichts über Qualität aussagt

 

[St3ppenWoLF]

Rein vom Standpunkt der puren Zahl her ist das mehr als beeindruckend
Hätte ich niemals gedacht


Gruß,
Der Doc.

 

[psYcho-edgE]

Kann mir die Zahl auch nicht ganz erklären. In Q2 2015 hatte Google 57.148 Mitarbeiter.

Sagen wir mal so. Ich denke der Anteil an Entwicklern ist in der reinen Google Gruppe schon groß, Alphabet hingegen wird einen kleineren Anteil an Entwicklern haben

 

[ranzassel]

Leute, das sind keine 86TB Code sondern 86TB Content (siehe Bilder).... Revisionen, Icons, Bilder, Videos, Sounds, Dokus, Libraries die nur in Binärform vorliegen etc..... der Code selber braucht davon fast nichts.

Einfaches Rechenbeispiel: 2 Milliarden Zeilen Code, jede ist im Durchschnitt 50 Zeichen lang (was schon maßlos übertrieben ist) und da Quellcode selten Sonderzeichen enthält können wir von einem Byte pro Zeichen ausgehen. Macht am Ende also 100 Millarden Bytes... da kommen wir auf weniger als 100GB tatsächlichen Code.

Immer noch beachtlich, aber eben nur ein sehr kleiner Anteil.

 

[S.Kara]

Du hast die History vergessen. Binarys gehören nicht in ein Repository.

 

[erazzed]

ach ganz im ernst, ich glaube der gerade an dem suchalgorithmus von google ist garnicht so viel dran. google ist nur deswegen die beste suchmaschine, weil sie auch die meistgenutzte ist. dadurch haben sie halt viel mehr daten von menschen, deren suchverhalten sie analysieren können, was die suche verbessert.

Und genau diese Analyse und Verarbeitung der Userdaten erfolgt maschinell => Programme und Systeme werden entwickelt => es wird massig Code erzeugt.
Ich denke ein Großteil des Codes ist auf Anwendungen und Algorithmen im Backend zurückzuführen, die wir User in denen für uns zugänglichen Google-Anwendungen nicht einmal ansatzweise zu Gesicht bekommen.

Den Ansatz, das alles in einem gigantischen Repo vorzuhalten, finde ich sehr interessant. Vermutlich haben sie hierfür sogar eine eigene skalierbare Versionsverwaltung entwickelt... Kann mir nicht vorstellen, dass reguläre Versionsverwaltungstools mit dieser Masse an Projekten und Code klarkommen.

Da "alle" Mitarbeiter auf dieses Repo zugreifen können, wird Google sicherlich ziemlich scharfes Auditing einsetzen und jegliche Userinteraktionen aufzeichnen. Das wiederum wird vermutlich maschinell ausgewertet, d.h. wieder einige tausende Zeilen Code mehr im Repo

 

[UnitedUniverse]

Dieses riesige Archiv wird von rund 25.000 Entwicklern benutzt, was in etwa 95 Prozent von Googles Angestellten ausmacht.

Das finde ich noch interessanter als die Datenmenge. Sicher jetzt gibt es "Alphabet" doch bei Google selbst hätte ich mehr Werbefachleute erwartet, aber vielleicht muss bei Google auch ein gewöhnlicher Mediengestalter programmieren können. ....

 

[ComputaMan]

Da wissen wir ja wer Skynet Online schaltet.

 

[nex0rz]

Ich finde den Verlgiech zu Microsoft nicht gut.
Windows ist ein OS.
Google hat ja mehr als nur 1 OS.

Aber das sind dennoch echt krasse zahlen. Vor allem das Wachstum ist krass!
Denke dabei immer etwas an Skynet...

Man stelle sich mal vor, alle Sicherungen gehen flöten. Auch wenn es quasi unwahscheinlich ist,
man stelle sich das nur mal vor.

Geht ja wirklich nur darum, sich das in etwa vorstellen zu können. Microsoft als OS, dass die meisten Leute weltweit nutzen, das jeder kennt und eine der komplexesten Softwares für PCs ist. Schon beeindruckend, imo.

 

[Taube Nuss]

Ich finde solche Angaben von Zahlen/Werten stink langweilig,
steht in einer Reihe mi​t:
8x die Strecke Erde <----->Mond gestapelt/oder so
10x um die Erde gelegt/aneinander gereiht/oder so

 

[Toron]

Facebook und Microsoft würden bestimmt eine Menge locker machen.

Die würden gar nichts locker machen. Die würden Google eher helfen den Idioten dingfest zu machen, der ihnen den geklauten Code verkaufen will.

Man muss schon echt deppert sein eine Art von Diebstahl zu fördern, die einen selbst treffen könnte. Aus genau diesem Grunde kaufen viele Bauunternehmer (zumindest die halbwegs seriösen) keine von Baustellen geklauten Metalle: aus Solidarität und um die Nachfrage so klein wie ebend möglich zu halten.

 

[M@C]

Zudem handelt es sich hierbei um riesige Softwaresysteme und nicht einen kleinen Algorithmus im Stil einer Colarezeptur. Ich frage mich echt, wie sich das manche hier vorstellen.
Das klaut und verwendet man nicht einfach so.

Wie gewisse Dinge funktionieren weiss man zudem auch, schliesslich werden gewisse Loesungsansaetze auf Konferenzen erklaert. Doch die richtige Implementation und Integration in die eigenen Dienste ist eben auch eine Herausforderung.