Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- gf2:datenbanken:herausforderungen [2024/05/19 22:02] – marroc
+++ gf2:datenbanken:herausforderungen [2024/06/12 14:57] (aktuell) – marroc
@@ Zeile 1: / Zeile 1: @@
 ====Verschiedene Datenbanktypen===
-Das Speichern von Datensätzen kann verschieden gelöst werden. Zum einen werden oft die uns nun bekannten relationale Datenbanken genutzt und Datensätze oder Felder via SQL abgefragt. Werden diese relationale Datenbanken genutzt werden, dann muss zum Analysieren dieser Daten wird oft eine andere Datenbank, sog. OLAP, verwendet. Wird mit relationalen Datenbanken gearbeitet, ist somit immer ein zweites Analysesystem nötig, um die verwalteten Daten zu analyiseren, Prognosen zu stellen oder ähnliches.
+Das Speichern von Datensätzen kann verschieden gelöst werden. Zum einen werden oft die uns nun bekannten relationale Datenbanken genutzt und Datensätze oder Felder via SQL abgefragt. Werden diese relationale Datenbanken genutzt werden, dann muss zum Analysieren dieser Daten wird oft eine andere Datenbank, sog. OLAP, verwendet. Wird mit relationalen Datenbanken gearbeitet, ist somit immer ein zweites Analysesystem nötig, um die verwalteten Daten zu analyiseren, Prognosen zu stellen oder ähnliches.\\
+Falls jedoch die gesammelten Daten nicht vom gleichen Typ sind oder sich vom Typ her ändern können, dann kann nicht mehr eine relationale Datenbank genutzt werden.
 <accordion>
 <panel title="Datenbankentypen im Überblick">
@@ Zeile 15: / Zeile 16: @@
 </accordion>
 ==== Herausforderungen für grosse Datenbanken ====
-Im Vergleich zu unserem Instahub mit den generierten 200 Nutzern ist Instagram mit momentan über 2 Milliarden Nutzern ([[https://de.statista.com/themen/2506/instagram/#topicOverview| Siehe hier]]) verwaltet seine riesigen Datenmengen.
+{{ :gf2:datenbanken:instahubinstagram.png?direct&150|}}
+Im Vergleich zu unserem Instahub mit den generierten 200 Nutzern ist Instagram mit momentan über 2 Milliarden Nutzern ([[https://de.statista.com/themen/2506/instagram/#topicOverview| Siehe hier]]) verwaltet seine riesigen Datenmengen. \\
+\\
+Viele heute grosse Tech-Unternehmen standen vor 10 bis 15 Jahren vor den folgenden zentralen Fragen, deren Beantwortung zur Entwicklung der nötigen Technologien für unsere heutigen (und vermutlich auch viele zukünftige) sozialen Netzwerke oder auch andere Anwendungen (Google, Amazon-Store, ...) zentral sind.   \\
+\\
+<color #7092be>In diesem Zusammenhang muss von BIG DAGA und der Herausforderung des Verwaltens und Analysierens von grossen Datenmengen gesprochen werden.</color> \\
+Doch, was ist überhaupt genau BIG DATA? Einen kurzen und guten Überblick bietet der Film. Sicherlich haben die vergangenen Jahre gezeigt: // Grundsätzlich werden immer mehr Daten erzeugt, diese sind oft unstrukturiert von verschiedenen Quellen und müssen fast zeitgleich verarbeitet und anschliessend gut abgespeichert werden, möglichst fehlerfrei // versteht sich. Dies scheint ein fast unmögliches Vorhaben, diese unglaublich grosse Menge an Daten zu speichern, zu bearbeiten und zu analysieren.
 |{{ youtube>pIjG44CScnk }}[[https://datasolut.com/was-ist-big-data/]] |{{:gf2:datenbanken:bigdata4v.png?direct&400 | https://datasolut.com/was-ist-big-data/}}|
-Viele heute grosse Tech-Unternehmen standen vor 10 bis 15 Jahren vor den folgenden zentralen Fragen, deren Beantwortung zur Entwicklung der nötigen Technologien für unsere heutigen (und vermutlich auch viele zukünftige) sozialen Netzwerke oder auch andere Anwendungen (Google, Amazon-Store, ...) zentral sind. \\
+====Big Data und die Herausforderungen====
-====Big Data - wenn unglaublich grosse Datensätze bzw. Datenbanken bearbeitet und analysiert werden sollen ... ====
 Um diese unglaubliche Menge an Daten überhaupt verwalten und analysieren zu können, ist eine Kombination verschiedener Technologien und Architekturen nötig. Diese sind auf **Skalierbarkeit**, **Leistung** und **Zuverlässigkeit** ausgelegt.  \\
+Wir betrachten die zentralen Herausforderungen von Instahub. Vieles davon gilt für alle anderen Riesendatenbanken gleich. Es werden auch sehr oft die gleichen Technologien verwendet.
-{{ :gf2:datenbanken:db_robot.jpg?direct&200| Generiert von firefly.adobe.com am 19. Mai 23}} Es geht darum, dass die Datenbank auf verschiedene Server (bzw. Rechenzentren) verteilt wird, dass bei steigender Anzahl an Nutzern eine Verfügbarkeit wichtig ist. Zudem sollte möglichst rasch und effizient, mit kleiner Fehlertoleranz eine Abfrage bearbeitet werden – oder Analyse von Daten möglich sein. Die Anwendung, welche die riesige Datenbank nutzt (als Beispiel Instagram) muss aber konstant und korrekt zu funktionieren, ohne Ausfälle oder Fehler. \\
+Es geht darum, dass die Datenbank auf verschiedene Server (bzw. Rechenzentren) verteilt wird, dass bei steigender Anzahl an Nutzern eine Verfügbarkeit wichtig ist. Zudem sollte möglichst rasch und effizient, mit kleiner Fehlertoleranz eine Abfrage bearbeitet werden – oder Analyse von Daten möglich sein. Die Anwendung (als Beispiel Instagram), welche die riesige Datenbank nutzt, muss aber konstant und korrekt zu funktionieren, ohne Ausfälle oder Fehler. \\
 <color #7092be>**Dies ist bei dieser schieren Datenflut eine echte Herausforderung. ** </color> \\
 Im Folgenden werden einige der wichtigsten zentralen technischen Fragestellungen und Probleme der Verarbeitung von sehr grossen Datenmengen thematisiert. Diese Probleme wurden oft gemeinsam von vielen heute grossen Tech-Unternehmen wie Amazon, Google oder auch einigen Universitäten, welche sich in diesem Gebiet spezialisierten, gelöst. Eine erste Antwort ist jeweils formuliert und zusätzliches Lesematerial bereitgestellt.\\
-Die mit diesem Thema einhergehenden ethischen oder auch politischen Themen werden ausgeklammert, wären aber sehr interessant.
+Die mit diesem Thema einhergehenden ethischen oder auch politischen Themen werden ausgeklammert, wären aber sehr interessant. \\
+[[https://www.ionos.de/digitalguide/online-marketing/web-analyse/big-data-definition-und-beispiele/
+|Was ist Big-Data?]]
 <WRAP nicebox blue>
-{{ :gf2:datenbanken:fragezeichen1.png?direct&50|}}
+===Wie können Billionen von Bildern gespeichert oder auch gefunden werden?===
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
+Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden. Dies bedingt aber, dass es gute Datenbankmanegementsysteme gibt, die dies überhaupt ermöglichen.
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
+Diese Insta-Datenbank und die damit verbundenen Hardware- und Softwaresysteme müssen verschiedene Kriterien erfüllen:
+  * Wir als Nutzer möchten, dass wir immer auf Instagram zugreifen können und es keine technischen (oder zeitlichen) Verzögerungen oder Ausfälle gibt.
+  * Es sollte auf Seiten Instagram möglichst wenig Fehler geben und die Daten sollten für alle Nutzer gleich aktuell sein.
+  * Es darf nie Probleme geben, dass ein Bild nicht gespeichert werden kann, somit muss Instagram sehr viel Speicherplatzflexibilität aufweisen können.
+  * Die Nutzerdaten sollten sicher auf Instagram verwaltet werden.
+  *  ...
 </WRAP>
-<WRAP nicebox blue>
-{{ :gf2:datenbanken:fragezeichen2.png?direct&50|}}
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
+<WRAP nicebox yellow>
+===Insta's Antworten auf die Herausforderung===
+  * Instagram hat sehr **viele Server**, alle davon stehen in Kalifornien. Das Unternehmen kann sehr schnell mehr Server dazuschalten.
+  * Es gibt eine gute **technische Überwachung des Systems**, welches ein gutes Management der Server, ein gutes Backup und eine optimierte Abfrage und Datenspeicherung garanitiert.
+  * Die Aktivität der Nutzer wird in viele kleine Anwendungen (Services) bzw. **Teilaufgaben** aufgeteilt. So können diese oft unabhängig voneinander bearbeitet werden. Spannend ist auch, dass diese Aufgaben oft **asynchron** bearbeitet werden und es hier viel Geschick brauchte, damit dieses nicht gleichzeitige Bearbeiten überhaupt fehlerfrei möglich wird und von uns Nutzern nicht bemerkt wird.
+  * Instagram muss zudem auch sicherstellen, dass es **keine Überlastung** von einzelnen Servern gibt (etwas von Influencer-Konten, welche viele Follower haben). Erstaunlich ist auch, dass die Daten teilweise zwei oder dreimal abgespeichert werden, somit eine Redundanz auf den Servern entsteht. Aber dadurch kann die Zugriffszeit verringert werden und eine punktuelle Überlastung vermieden werden.
+  * Was der Nutzer nicht merken sollte, aber sicher hin und wieder zum Einsatz kommt, ist ein gut funktionierendes **Backupsystem**, welche sicherstellt, dass auch bei einem technischen Problem immer alle Daten sicher aktuell vorhanden sind.
+  * Wird bei einer so grossen Datenbank eine **Abfrage** gemacht, muss diese **optimiert** werden (JOINs brauchen viel Zeit und sollten möglichst vermieden oder auf kleinere Datenmengen angewandt werden...)
+  * ...
 </WRAP>
-<WRAP nicebox blue>
-{{ :gf2:datenbanken:fragezeichen3.png?direct&50|}}
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
-</WRAP>
+===Wo werden die Daten gespeichert?===
-<WRAP nicebox blue>
+Ein Datencenter von innen...wo die Daten physisch gespeichert sind...
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
+https://youtu.be/_r97qdyQtIk
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
+{{ youtube>_r97qdyQtIk }}
-</WRAP>
+==Links - Technisches zu Instagram==
-<WRAP nicebox blue>
+   * [[https://scaleyourapp.com/instagram-architecture-how-does-it-store-search-billions-of-images/| Datenarchitektur von Insta]]
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
+   * [[https://medium.com/@ishwaryas1412/tech-stack-instagram-89d9f69ae9d2|Tech-Stack von Instagram]] und dazu den [[https://www.analyticssteps.com/blogs/how-instagram-uses-ai-and-big-data-technology|Begleittext zum Tech-Stack]]
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
-</WRAP>
+===Daten sind Macht ===
-<WRAP nicebox blue>
+== Ein Experiment ==
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
-</WRAP>
+[[https://www.zeit.de/datenschutz/malte-spitz-vorratsdaten| Hier]] ein **Experiment** von Malte Spitz (einem Journalisten) zu Bewegungsdaten und was daraus geschlossen werden kann! Malte hat auch eine Website dazu: [[https://apps.informatik.cc/tracking/]]. Dies ist eine beeindruckende und zugleich simple Illustration der Macht verknüpfter Daten allgemein. \\
-<WRAP nicebox blue>
+\\
-<color #7092be>**Wie kann eine so grosse Datenbank überhaupt gespeichert werden?**</color>
+== KI und Datenmengen ==
-Die Datenbank muss auf verschiedene Server- bzw. Rechenzentren verteilt werden!
+Was passiert, wenn grosse Datenmengen mit Hilfe von **KI** durchsucht, geordnet oder auch **analysiert** werden?
+- Macht verknüpfter Daten mithilfe von KI [[https://www.srf.ch/news/gesellschaft/ki-und-gesammelte-daten-eine-solche-datensuchmaschine-ist-eine-weltneuheit | SRF-Beitrag]] und allgemein ein Dokument zu KI und Daten(-analyse) [[https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG1_Whitepaper_Von_Daten_zu_KI.pdf]]
+\\
+\\
+==Macht der grossen Tech-Konzerne==
+[[https://www.wikimedia.de/abcdesfreienwissens/abcdesfreienwissens/macht-der-daten/macht-der-daten/| Macht der Daten]] ist ein Artikel von Katharina Nocun, Publizistin, Politik- und Wirtschaftswissenschaftlerin, ehemalige Netzaktivistin, Bloggerin und Politikerin.
+[[https://www.Opendata.ch | Opendata.ch]], Gegensteuer zu den grossen Tech-Konzernen, //lasst uns gemeinsam unsere digitale Zukunft gestalten, um auf soziale Bedürfnisse zu reagieren und Menschen zu unterstützen. An diesen Projekte arbeiten wir, um unsere Vision zu verwirklichen.//
-</WRAP>