Storage for Big Data
- Details
- Category: Discipline
- Kleppmann, Martin - Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems. 1ª ed. Sebastopol, CA: O'Reilly Media, 2017. 616 p. ISBN: 978-1449373320. White, Tom - Hadoop: The Definitive Guide. 4ª ed. Sebastopol, CA: O'Reilly Media, 2015. 756 p. ISBN: 978-1491901632. Garrison, Deepti Gupta; Suri, Rajesh - NoSQL and SQL Data Modeling: Bringing Together Data, Semantics, and Software. 1ª ed. Nova Iorque: Apress, 2020. 312 p. ISBN: 978-1484256244. Marz, Nathan; Warren, James - Big Data: Princípios e Melhores Práticas de Sistemas de Dados Escaláveis ¿¿em Tempo Real. 1ª ed. Shelter Island, NY: Manning Publications, 2015. 328 p. ISBN: 978-1617290343.
- Computer Applications for Data Science
- 6382
- 23556
- Storage for Big Data
- IPLUSO6382-23556
- 2
- 5
- 0
- 4
- Não
- Português
- Lectures and discussions provide a solid theoretical foundation, while students review learning materials before or after class to reinforce key concepts. Classroom time is dedicated to interactive activities such as problem-solving, case studies, practical demonstrations to promote active learning and provide personalized instructor support. Project-based learning is integrated into practical laboratory sessions, enabling students to apply theoretical knowledge to real-world Big Data storage scenarios, develop problem-solving and teamwork skills to create practical solutions that can be included in their professional portfolios. Collaborative learning, guided exercises, and the use of modern digital tools are incorporated throughout the course to increase student engagement, encourage critical thinking, and support the development of practical competencies. These methodologies aim to enable students to design and implement effective solutions to Big Data storage challenges.
- Mandatory
- Upon successful completion of this course, students will be able to: Understand the basic concepts of Big Data storage. Learn different data storage technologies. Apply basic Big Data storage techniques. Develop fundamental skills in managing large datasets.
- 1. Introdução ao Big Data Conceitos e características do Big Data Aplicações e desafios 2. Fundamentos de armazenamento de dados Tipos de dados Arquiteturas de armazenamento Organização e gestão de dados 3. Tecnologias de base de dados Bases de dados relacionais Bases de dados NoSQL Comparação e casos de uso 4. Sistemas de armazenamento distribuídos Conceitos básicos de armazenamento distribuído Escalabilidade e fiabilidade Introdução aos sistemas de ficheiros distribuídos 5. Armazenamento em nuvem Conceitos de armazenamento na nuvem Lagos de dados e data warehouses Benefícios e limitações 6. Segurança e governação de dados Privacidade de dados Princípios de segurança Backup e recuperação 7. Introdução às aplicações de armazenamento de Big Data Aplicações no mundo real Considerações básicas de desempenho 8. Tendências atuais e futuras 9. Aplicações práticas Estudos de caso Exercícios práticos com recurso a tecnologias de armazenamento de Big Data Avaliação de desempenho e melhores práticas
Description of assessment instruments (individual and group) - tests, practical work, reports, projects... respective submission/presentation dates... and weighting in the final grade.
Example:
Description
Deadline
Weighting
Assessment test
17-11-2026
40%
Portfolio
5-01-2027
60%
(...)
A avaliação final baseia-se numa componente prática, baseada em trabalhos práticos, participação nas aulas e assiduidade, e numa componente teórica baseada em testes escritos sobre os diferentes tópicos abordados.Acomponentepráticateráumpesode60%,sendo40%paraentregadeprojetose20% para trabalhos e trabalhos de aula e a componente teórica terá um peso de 40%, na nota final. A nota mínima de ambas as componentes será de 9.5 valores. As componentes prática e teórica são requeridas emtodasasépocasdeavaliação.Assim,aépocaderecursopodeconsistirem:-Exameescrito:para os alunos que não tiveram aproveitamento na componente teórica em avaliação contínua. - (Re)Submissãodostrabalhos:paraosalunosquenãotiveramaproveitamentonacomponenteprática em avaliação contínua. - Exame escrito + (re)submissão dos trabalhos: para os alunos que não tiveram aproveitamento nem na componente teórica nem na componente prática em avaliação contínua
- Semestral
- The Big Data Storage course unit introduces the concepts, architectures, and technologies used for storing, managing, and processing large-scale data in distributed environments. It covers relational and NoSQL storage models, distributed file systems, cloud storage, data lakes, data warehouses, and Big Data platforms such as Hadoop and Spark. The course belongs to the fields of Computer Engineering, Data Science, and Information Systems, preparing students to design, implement, and manage scalable, secure, and efficient data storage solutions
