SQL Datenbanken zusammenführen

[Marvolo]

Kennst du dich denn mit den WhatsApp-Datenbanken aus? @wilk84

 

[wilk84]

Kenne mich mit DB grundsätzlich aus.

 

[Marvolo]

www.fiverr.com

Ich denke, ich werde mich dort mal umschauen. Zwar haben hier einige sicherlich sehr wertvolle Anregungen und Inputs gegeben, wie das alles in der Theorie machbar wäre, aber wie schon öfters gesagt: ich hatte mit Coding / Programmiersprache(n) und Scripts noch keine einzige Berührung bisher. Ich weiß noch nicht mal, wo ich eure ganzen hier vorgeschlagenen Queries eingeben muss, in CMD? Oder sonst irgendeinem Programm?

Da WhatsApp in erschreckender Regelmäßigkeit immer mal wieder Updates und damit verbunden auch wieder neue Funktionen etc. rausbringt - es steht jetzt gerade erst wieder etwas größeres an - rennt hier in gewisser Weise auch etwas die Zeit davon. Zwar gibt sich @Micke ja gerade dankenswerterweise große Mühe, dieses Merger-Tool von Github dem aktuellen WA anzupassen, aber wenn WA seine Struktur wechselt wie andere ihre Unterhosen, dann fürchte ich, wird's nicht lange dauern, bis die Bemühungen bzw. Ergebnisse von Micke direkt wieder veraltet sein werden und man das Tool erneut wieder auf die aktuellen Schemata anpassen müsste oder aber in die Tonne kloppen könnte.

Bis ich soweit bin, mich hier nebenberuflich und freizeitmäßig in totalem Selbststudium so tief in Informatik und Datenbanken eingelesen zu haben, dass ich auch verstehe, was wie wo gemacht werden muss, haben wir schon wieder mindestens 20 neue WA-Versionen mit vermutlich wieder ganz anderem Layout und Aufbau.

Ohne eine wirklich idiotensichere Schritt-für-Schritt-Anleitung (und das würde schon damit losgehen, wo ich den Code wie genau eingeben müsste), bin ich da glaube ich eher aufgeschmissen und selbst DANN befürchte ich, könnte noch sehr viel schiefgehen, weil ich einfach auch gar nicht wüsste, was ich da jetzt genau tue und weshalb. Verstehen würde ich es gerne, neugierig bin ich da schon, aber ich bezweifle, dass ich das jetzt alles innerhalb von ner Woche gelernt bringe.

Mit jedem neuen Tag wächst zudem ja auch wieder meine eigene WA-Chatdatenbank, da ich die App ja täglich nutze und somit dann auch wieder die Menge an Daten, die man bei einem dann immer weiter in der Vergangenheit liegenden Chatstand, den es zu mergen gilt (Januar-März), verarbeiten müsste.

Ich habe in der Theorie ein ungefähres Verständnis dafür, was bei meinen Datenbanken das Problem ist und wüsste in der Theorie glaub auch, wie es zu lösen wäre, nur geht das ohne Automatisierung per Hand nicht. Das ist, als würde man mit einem Buttermesser versuchen, eine dicke Eiche zu fällen.

 

[Marvolo]

Update:

Ich habe eine Lösung gefunden, um meine Chatstände so zu vereinen, dass ich sie nun auf dem PC als Komplettarchiv auslagern konnte.

Ein Zurückspielen der vereinten Chatstände in WhatsApp selbst wäre u.U. technisch machbar, benötigt aber zwingend Root und würde zudem gegen WhatsApp's Nutzungsbedingungen verstoßen, da hiefür umfangreiche Modifikationen an Systemdateien vorgenommen werden müssten, die normalerweise mangels Root nicht öffentlich adressierbar und aufrufbar wären.

Aber eine private Kopie meiner vereinten Chats als HTML oder PDF-Datei auf dem PC im Sinne eines Archivs reicht mir.

Wichtig auch für alle anderen Interessierten, die so ein Vorhaben umsetzen möchten: rein schon aus rechtlichen Gründen erklärt es sich von selbst, dass man nur die eigene Datenbank bzw. die eigenen WhatsApp-Chat-Backups entschlüsseln und einsehen/bearbeiten darf. Fremdbackups bzw. Datenbanken von WhatsApp-Accounts, deren Inhaber man nicht selbst auch ist, dürfen nicht entschlüsselt, eingesehen, oder gar veröffentlicht werden, da dies schnell gegen Persönlichkeits- bzw. Datenschutzrechte aller in diesen Datenbanken vorkommenden Chatpartner verstoßen würde.

Solange man lediglich seine eigene Datenbank / eigenen Chats lokal (offline) ansieht und bearbeitet und diese danach dann auch nur lokal / offline auf dem PC als Chatarchiv auslagert, sollte man nicht gegen Datenschutz-, Persönlichkeitsrechte oder gegen Meta's Nutzungsbedingungen verstoßen!

 

[ermek]

Oha wow cool, freut mich sehr, dass Du es geschafft hast.
Hast Du Dein Script für SQLITE3 zum aufschneiden der Chats?
Würde mich freuen, wenn Du die alle Tools/Scripts, die Du verwendet hast, kurz auflistest 😍😍

 

[Marvolo]

Hast Du Dein Script für SQLITE3 zum aufschneiden der Chats?
Würde mich freuen, wenn Du die alle Tools/Scripts, die Du verwendet hast, kurz auflistest 😍😍

Das Schneide-Script, mit dem ich die einzelnen Sektionen aus der WhatsApp-Datenbank herausgeschnitten habe, ist z.B. das hier:

Das schneidet in der Tabelle "Message" die dort gespeicherten Chat-Nachrichten nach jeweiliger Message_ID.
Sprich: ich möchte nur Nachrichten behalten, die von Message_ID 280571 bis 280795 gehen, dann sähe das Schneide-Script so aus:

##Pfad zur Datenbank
dir="/storage/emulated/0/msgstore.db"

##SQL-Befehl:
sqlite3 $dir "delete from message where _id < 280571 or _id > 280795;"

Aufgrund der in der WA-Datenbank gesetzten Triggers werden dadurch auch in allen restlichen Tabellen nur jene Inhalte behalten, die exakt nur mit dieser ausgeschnittenen Range an Nachrichten zu tun haben. Also auch gesendete Medien (bzw deren Verweise in der Datenbank), zitierte Nachrichten in der Tabelle "message_quoted", etc.

 

[ermek]

https://github.com/salozubz/WhatsApp-Db-Merger

jemand hat in der Tat funktionierendes Script geschrieben
Hat bei mir super geklappt

 

[Marvolo]

Wie genau bist du vorgegangen: dürfen die verschiedenen Datenbanken keine sich überlappenden Nachrichten haben - sprich, müssen die erst, wie bei mir oben, zurechtgeschnitten werden, sodass jede zu verschmelzende Datenbank nur "Neues" enthält und nicht bereits Daten, die auch schon in früheren Datenbanken da waren?

 

[ermek]

@Marvolo Doch, dürfen schon. Habe nichts extra gemacht, außer manuell die Dateinamen geändert. Die Nachrichten werden mit dem Script automatisch sortiert.
Mit Dateinamen ist das Problem, dass WA inkrementele Dateibenennung nutzt, sprich die Dateien an einem Tag starten immer mit WA00001, egal ob Audio/Video/Bild/Voice.
Das kann Überlappungen in den Chats verursachen und es werden dadruch falsche Medien geladen.
Ich habe auf einem Datenbank Mediennamen einfach von WA0xxx zu WA1xxx geändert und lokale Dateien entsprechend umbennant.
Dadurch habe ich jetzt beide Datenbanken intakt mit den allen Mediendateien.

Viele Grüße

 

[Marvolo]

👍