본문 바로가기

SQL

[220817] 평점 낮은 리뷰가 많다고 가장 많은 불만이 있다고 할 수 있을까?
👍 회고 기록/😎 업무 회고 2022. 8. 17. [220817] 평점 낮은 리뷰가 많다고 가장 많은 불만이 있다고 할 수 있을까? 📌수업 내용 캐글 데이터 중, 아래의 이커머스 의류 리뷰 데이터를 SQL에 import 해서 분석해보는 실습을 진행했다. Women's E-Commerce Clothing Reviews 23,000 Customer Reviews and Ratings www.kaggle.com SQL csv import 방법 (1) workbench 사용해서 바로 업로드 (용량이 많은 경우 오래 걸린다) (2) python으로 업로드 (좀 더 큰 파일에 용이) 상품 리뷰 데이터 분석 (부서별 평점, 연령대별 평점, 특정 키워드 비율 등) 💡보고 느낀 것 평점 낮은 리뷰가 많다고 가장 많은 불만이 있다고 할 수 있을까? 리뷰 점수가 낮은 연령대를 카운팅해봤다. 카운팅 해보니, 40대의 리뷰 수가 가장 많았다. 그러면 평점 ..
[220728] 다양한 DBMS에서 데이터 가공하는 방법을 배우다
👍 회고 기록/😎 업무 회고 2022. 7. 28. [220728] 다양한 DBMS에서 데이터 가공하는 방법을 배우다 📌수업 내용 SQL수업! 기다리고 기다리던 데이터 가공 시간이었다. 4가지 도구를 사용해서 가공을 실습했다. 4가지 방법 별로 장점이 다 다르고, 실무 할 때 어떤 DBMS를 사용하게 될지 몰라 다양하게 배웠다. 💡보고 느낀 것 수업 내용 URL가공을 해보면서 Spark와 Python Pandas의 편리함을 알게되었다. MY SQL과 Postgre SQL에서는 정규표현식으로 하다가, Spark와 Python Pandas에서는 함수를 사용하니 편리했다. 리포팅을 SQL만 가지고 하는 경우는 거의 없고 전처리 작업을 SQL에서 끝낸 뒤에 python으로 가져와서 사용한다고 한다. 데이터가 너무 크면 잘 안 돌아가서, 기간을 지정해주거나 원하는 칼럼만 가져와서 작업한다고 한다. 너무 큰 데이터를 가져오는 경우..
[220727] SQL은 도착지로 가는 방법이 엄청 많다!
👍 회고 기록/😎 업무 회고 2022. 7. 27. [220727] SQL은 도착지로 가는 방법이 엄청 많다! 📌수업 내용 SQL 세 번째 시간! 두 개 이상 테이블에서 SQL조인 → WHERE조인, INNER JOIN, LEFT JOIN, RIGHT JOIN, 집합 연산 (UNION, MINUS, INTERSECT), EXISTS 데이터 정의어 → CREATE, ALTER, DROP 데이터 조작어 - 삽입, 수정, 삭제 → INSERT, UPDATE, DELETE SQL 내장 함수 NULL값 처리 행 번호 출력 서브 쿼리 💡보고 느낀 것 SQL은 도착지로 가는 방법 엄청 많은데, 같은 결과가 나오는 두 가지 쿼리의 속도를 이야기하면서 뭐가 더 효율적인지 설명해주셔서 좋았다. 전체 테이블 조인하는 경우는 실무에서 거의 없다. 이렇게 전체 조인하면 개발팀에서 전화 온다. 이러시면 안 된다고!! 실무에서는 서브 쿼리..
[220721] 블로그에 쓸게 많구만!
👍 회고 기록/😎 업무 회고 2022. 7. 21. [220721] 블로그에 쓸게 많구만! 📌수업 내용 어제에 이어, 이정원 강사님이 SQL기초에 대해 강의해주셨다. 데이터베이스 시스템 기초 ☞데이터 베이스 시스템은 사용자와 데이터 베이스를 연결시켜주는 시스템 ☞파일 시스템은 데이터베이스를 쪼개서 파일 단위로 저장( ex. Apache Hive) ☞스키마는 데이터베이스 안에 어떤 테이블에 어떤 칼럼이 있는지 구조를 이야기한다라고 생각하면 되고, 속성은 칼럼, 도메인은 칼럼에 들어갈 수 있는 값(칼럼명이 아니라 안에 들어가는 데이터 값)이 숫자인지 문자열인지 날짜인지 등등 들어갈 수 있는 값을 나타낸다. SQL 기초 ☞ 분석 전에 데이터 구조 파악이 매우 중요하다. SQL 개요 ☞ SELECT, FROM, WHERE, ORDER BY, GROUP BY, HAVING ☞ WHERE에서 LIKE, ..
[환경 세팅] 왕 초보를 위한 Window에 Apache Spark설치 방법 (설치부터 오류 해결 tip까지)
💻 SQL/🎸기타 팁 2022. 7. 21. [환경 세팅] 왕 초보를 위한 Window에 Apache Spark설치 방법 (설치부터 오류 해결 tip까지) 안녕하세요. Window에 Apache Spark 설치 방법을 말씀드리겠습니다. 설치하기 정말 힘드시죠? 저 또한 그랬습니다................. 이 글은 제가 SQL수업에서 Apache Spark를 설치하면서, 배운 것을 최대한 쉽게 작성해봤습니다. 이대로 했는데 오류가 발생하면, 어떻게 하면 좋을지는 글의 맨 아래 부분을 참고해주세요! 1. Java 설치 (JDK11설치) 먼저 Java가 설치되어 있는지 확인해주세요. 설치되어있다면 버전을 확인하고 11이아니면, 기존 버전을 삭제하고 설치 진행해주세요. 아래 링크에서 최신 버전이 아닌 11로 설치해주세요. www.oracle.com/kr/java/technologies/javase-jdk11-downloads.html 2. Python 설치 ..
[220720] 원리를 알아야 한다. 원리를 알면 작업이 엄청 빨라지고 어려움을 마주쳐도 해결할 수 있다.
👍 회고 기록/😎 업무 회고 2022. 7. 20. [220720] 원리를 알아야 한다. 원리를 알면 작업이 엄청 빨라지고 어려움을 마주쳐도 해결할 수 있다. 가장 인상 깊었던 말씀 파이썬에 패키지가 엄청 많다. 우리는 필요한 거 사용하면 되니 편하다고 생각한다. 하지만 패키지를 사용할때도, 원리를 알아야 한다. 원리를 알게되면 작업이 엄청 빨라지고 어려움을 마주칠 때 우회해볼 수 있다. 📌수업 내용 SQL 이정원 강사님이 데이터에 대한 이해에 대해 강의해주셨다. 데이터 환경 변화 (접근 분석 도구의 등장, 빅데이터 등장) 시스템 설명 (MySQL, PostgreSQL, Apache Hive, Amazon, Redshift, Google Big Query, SparkSQL) ☞ MySQL, PostgreSQL : RDB(Relational Database), 회사에서 사용해도 비용 X, 분석을 할 때는 PostgreSQL가 MySQL보다 편할 때가 있다. ☞ ..
[칼퇴족 김대리는 알고 나만 모르는 SQL 기초편] DAY 12. 데이터 및 테이블 조작
💻 SQL/🔎기초 SQL 2022. 2. 3. [칼퇴족 김대리는 알고 나만 모르는 SQL 기초편] DAY 12. 데이터 및 테이블 조작 DAY 12. 데이터 및 테이블 조작 💡 01. 데이터 조작 테이블 안에 데이터 조작언어 (DML : Data Manipulation Language)를 사용하여 데이터 행을 조작하는 방법 데이터 삽입 INSERT INTO : 동사/삽입하다, VALUE : 명사/ 값 완전한 행 삽입 INSERT INTO 테이블명 VALUES (값1,값2,값3); 열 이름과 함께 완전한 행 삽입 열 이름을 지정한 후 값을 삽입하면 오류를 줄일 수 있다 INSERT INTO 테이블명(열 이름1, 열 이름2, 열 이름3) VALUES (값1,값2,값3); 부분 행 삽입 열 이름을 지정한 후 완전한 행을 삽입한 것 과 같이, 열 이름을 지정하고 해당 열 이름에 매칭되는 값을 VALUES키워드 뒤에 순서대로 적으면 된다 INSE..
[칼퇴족 김대리는 알고 나만 모르는 SQL 기초편] DAY 11. 하위 쿼리
💻 SQL/🔎기초 SQL 2022. 2. 3. [칼퇴족 김대리는 알고 나만 모르는 SQL 기초편] DAY 11. 하위 쿼리 DAY 11. 하위 쿼리 하위쿼리란 SQL문장 안에 포함되는 또 다른 SQL문장을 의미 두 번 이상의 질의를 통해 얻을 수 있는 결과를 한 번의 질의로 해결할 수 있어, 복잡한 SQL 문장도 간단히 만들 수 있다 하위 쿼리 개념을 응용하면 훨씬 효율적이면서 오류를 줄일 수 있고, 빠른 처리 속도를 SQL문장을 만들 수 있음 💡 FROM절의 하위 쿼리 조건에 맞는 대상자 선정 후 요약할 때 하위 쿼리를 작성한 후 테이블 별칭을 주지 않으면 에러가 발생한다. 테이블 별칭을 줄 때 AS키워드를 사용해도 되고 생략해도 되지만, DBMS 중 ORACLE은 AS키워드를 생략해야한다. SELECT 열이름1, 열이름2 FROM (SELECT * FROM 테이블명 WHERE 조건절) (AS) 별칭 WHERE 조건절; 테..
[칼퇴족 김대리는 알고 나만 모르는 SQL 기초편] DAY 10. 테이블 합치기
💻 SQL/🔎기초 SQL 2022. 1. 31. [칼퇴족 김대리는 알고 나만 모르는 SQL 기초편] DAY 10. 테이블 합치기 DAY 10. 테이블 합치기 하나의 테이블에서 원하는 데이터를 모두 검색할 수 없는 경우가 많다. 이러한 경우 두개 이상의 테이블을 논리적으로 결합해서 데이터를 필터링하고 원하는 결과값을 출력할 수 있다 관계형 데이터베이스하에서는 데이터가 여러 테이블에 나뉘어 저장되어 있고, 공통된 열이름 (KEY)로 서로 조인할 수 있다 💡 01. 열(Column)합치기 _내부 조인(INNER JOIN) 내부조인은 교집합이라고 생각하면 된다. 두 테이블에 공통으로 존재하는 키값이 되는 모든 행을 나타낸다 FROM/WHERE를 사용 내부 조인은 두 테이블의 키 값이 매칭될 경우 선택된 모든 열을 나타낸다 SELECT 테이블명1.열이름1, 테이블명2.열이름2 FROM 테이블명1, 테이블명2 WHERE 테이블명1.KEY =..

티스토리툴바