| Beide Seiten der vorigen Revision Vorhergehende Überarbeitung Nächste Überarbeitung | Vorhergehende Überarbeitung |
| gf2:datenbanken:herausforderungen [2024/05/20 08:31] – marroc | gf2:datenbanken:herausforderungen [2024/06/12 14:57] (aktuell) – marroc |
|---|
| <color #7092be>**Dies ist bei dieser schieren Datenflut eine echte Herausforderung. ** </color> \\ | <color #7092be>**Dies ist bei dieser schieren Datenflut eine echte Herausforderung. ** </color> \\ |
| Im Folgenden werden einige der wichtigsten zentralen technischen Fragestellungen und Probleme der Verarbeitung von sehr grossen Datenmengen thematisiert. Diese Probleme wurden oft gemeinsam von vielen heute grossen Tech-Unternehmen wie Amazon, Google oder auch einigen Universitäten, welche sich in diesem Gebiet spezialisierten, gelöst. Eine erste Antwort ist jeweils formuliert und zusätzliches Lesematerial bereitgestellt.\\ | Im Folgenden werden einige der wichtigsten zentralen technischen Fragestellungen und Probleme der Verarbeitung von sehr grossen Datenmengen thematisiert. Diese Probleme wurden oft gemeinsam von vielen heute grossen Tech-Unternehmen wie Amazon, Google oder auch einigen Universitäten, welche sich in diesem Gebiet spezialisierten, gelöst. Eine erste Antwort ist jeweils formuliert und zusätzliches Lesematerial bereitgestellt.\\ |
| Die mit diesem Thema einhergehenden ethischen oder auch politischen Themen werden ausgeklammert, wären aber sehr interessant. | Die mit diesem Thema einhergehenden ethischen oder auch politischen Themen werden ausgeklammert, wären aber sehr interessant. \\ |
| | [[https://www.ionos.de/digitalguide/online-marketing/web-analyse/big-data-definition-und-beispiele/ |
| | |Was ist Big-Data?]] |
| <WRAP nicebox blue> | <WRAP nicebox blue> |
| ===Wie können Billionen von Bildern gespeichert oder auch gefunden werden?=== | ===Wie können Billionen von Bildern gespeichert oder auch gefunden werden?=== |
| * ... | * ... |
| </WRAP> | </WRAP> |
| https://youtu.be/_r97qdyQtIk | |
| {{ youtube>_r97qdyQtIk }} | |
| |
| <WRAP nicebox yellow> | <WRAP nicebox yellow> |
| * ... | * ... |
| </WRAP> | </WRAP> |
| ==Links zum Weiterlesen== | |
| * https://scaleyourapp.com/instagram-architecture-how-does-it-store-search-billions-of-images/ | ===Wo werden die Daten gespeichert?=== |
| * Tech Stack https://medium.com/@ishwaryas1412/tech-stack-instagram-89d9f69ae9d2 | Ein Datencenter von innen...wo die Daten physisch gespeichert sind... |
| * https://www.analyticssteps.com/blogs/how-instagram-uses-ai-and-big-data-technology | https://youtu.be/_r97qdyQtIk |
| * https://www.ionos.de/digitalguide/online-marketing/web-analyse/big-data-definition-und-beispiele/ | {{ youtube>_r97qdyQtIk }} |
| | |
| | ==Links - Technisches zu Instagram== |
| | * [[https://scaleyourapp.com/instagram-architecture-how-does-it-store-search-billions-of-images/| Datenarchitektur von Insta]] |
| | * [[https://medium.com/@ishwaryas1412/tech-stack-instagram-89d9f69ae9d2|Tech-Stack von Instagram]] und dazu den [[https://www.analyticssteps.com/blogs/how-instagram-uses-ai-and-big-data-technology|Begleittext zum Tech-Stack]] |
| |
| ===Daten sind Macht === | ===Daten sind Macht === |
| - Macht verknüpfter Daten allgemein (Beispiel Bewegungsdaten von Malte Spitz https://www.zeit.de/datenschutz/malte-spitz-vorratsdaten und noch besser https://apps.informatik.cc/tracking/) | == Ein Experiment == |
| - Macht verknüpfter Daten mithilfe von KI https://www.srf.ch/news/gesellschaft/ki-und-gesammelte-daten-eine-solche-datensuchmaschine-ist-eine-weltneuheit | |
| - https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG1_Whitepaper_Von_Daten_zu_KI.pdf | [[https://www.zeit.de/datenschutz/malte-spitz-vorratsdaten| Hier]] ein **Experiment** von Malte Spitz (einem Journalisten) zu Bewegungsdaten und was daraus geschlossen werden kann! Malte hat auch eine Website dazu: [[https://apps.informatik.cc/tracking/]]. Dies ist eine beeindruckende und zugleich simple Illustration der Macht verknüpfter Daten allgemein. \\ |
| | \\ |
| | == KI und Datenmengen == |
| | |
| | Was passiert, wenn grosse Datenmengen mit Hilfe von **KI** durchsucht, geordnet oder auch **analysiert** werden? |
| | - Macht verknüpfter Daten mithilfe von KI [[https://www.srf.ch/news/gesellschaft/ki-und-gesammelte-daten-eine-solche-datensuchmaschine-ist-eine-weltneuheit | SRF-Beitrag]] und allgemein ein Dokument zu KI und Daten(-analyse) [[https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG1_Whitepaper_Von_Daten_zu_KI.pdf]] |
| | \\ |
| | \\ |
| | ==Macht der grossen Tech-Konzerne== |
| | [[https://www.wikimedia.de/abcdesfreienwissens/abcdesfreienwissens/macht-der-daten/macht-der-daten/| Macht der Daten]] ist ein Artikel von Katharina Nocun, Publizistin, Politik- und Wirtschaftswissenschaftlerin, ehemalige Netzaktivistin, Bloggerin und Politikerin. |
| | |
| | [[https://www.Opendata.ch | Opendata.ch]], Gegensteuer zu den grossen Tech-Konzernen, //lasst uns gemeinsam unsere digitale Zukunft gestalten, um auf soziale Bedürfnisse zu reagieren und Menschen zu unterstützen. An diesen Projekte arbeiten wir, um unsere Vision zu verwirklichen.// |
| | |