[Paged File, I/O System] 초코칩(권기호) 미션 제출합니다. #3

Chocochip101 · 2024-08-27T18:02:18Z

페이지는 어떻게 구성되나요?

아래 그림의 페이지의 구조를 참고하여 구현했습니다.

public class Page implements Serializable {

    private static final int PAGE_SIZE = 16 * 1024;

    private final FileHeader fileHeader;
    private final PageHeader pageHeader;
    private final List<StorageRecord> userStorageRecords;
    private final PageDirectory pageDirectory;
    private int freeSpace;
    // ....

}

FileTrailer는 Page의 유효성을 검사하는 역할인데, 현재 단계에서는 굳이 필요성을 못느껴 구현하지 않았습니다.

페이지 교체 알고리즘은 어떤 것으로 결정하고, 왜 결정했나요?

FIFO는 성능이 안좋다고 알려져 있어, 당장 구현하기 좋았던 LRU 알고리즘을 적용했습니다. 어떤 알고리즘이 좋은지 몰라서, 알고리즘이 변경될 가능성이 있다고 판단했습니다. 따라서 전략 패턴을 적용해서 알고리즘을 교체할수 있게 구현했습니다.

HaiSeong · 2024-09-02T11:19:32Z

src/main/java/database/storageEngine/page/Page.java

+import java.util.ArrayList;
+import java.util.List;
+
+public class Page implements Serializable {


Serializable을 이용해서 페이지를 구현해주셨군요.

추후에 페이지 구조가 변경되면 이미 저장된 데이터를 역직렬화 할 수 있을까요?

우리가 만든 DBMS가 완성되어 사용자가 테이블을 만들어 데이터를 추가한 상황에서 페이지 클래스의 필드가 추가되거나 삭제, 수정되면 기존 데이터를 역직렬화 할 수 있나요?

복잡한 데이터 구조의 객체라도 직렬화 기본 조건만 지키면 큰 작업 없이 바로 직렬화가 가능하기 때문에 큰 신경을 쓰지 않아도 된다는 측면에서 사용했습니다.

추후에 페이지 구조가 변경되면 이미 저장된 데이터를 역직렬화 할 수 있을까요?

해당 부분은 직렬화를 사용하지 않아도 어떠한 방식이든(JSON, CSV, ...) 문제가 될 수 있는 부분이라 생각합니다.

HaiSeong · 2024-09-02T11:46:33Z

src/main/java/database/storageEngine/page/PageFactory.java

@@ -0,0 +1,16 @@
+package database.storageEngine.page;
+
+public class PageFactory {


이부분은 Page 클래스에 정적 팩토리 메서드로 만들 수 있는데 따로 팩토리 클래스를 만든 이유가 궁금합니다. 초코칩이 생각하는 분리의 기준이 있나요? 궁금해요!

Page 클래스에서 여러 가지 생성자로 생성 로직을 만들 수 있지만, 생성자가 많아지면 Page 클래스 내부가 길어진다는 단점이 있습니다! 생성하는 로직만 분리할 수 있다고 생각하여 팩토리 클래스를 생성했습니다!

HaiSeong · 2024-09-02T11:51:02Z

src/main/java/database/storageEngine/page/Page.java

+        this.pageHeader = new PageHeader(pageType);
+        this.userStorageRecords = new ArrayList<>();
+        this.pageDirectory = new PageDirectory();
+        this.freeSpace = PAGE_SIZE - (this.fileHeader.getHeaderSize() + this.pageHeader.getHeaderSize());


freeSpace를 계산할때 pageDirectory의 크기는 고려되지 않고 있는데요. freeSpace가 레코드로 가득 찬경우 pageDirectory의 크기 때문에 PAGE_SIZE가 초과되는 문제는 없을까요?

Page 생성 시점에서 검증하게끔 변경했습니다!

HaiSeong · 2024-09-02T12:03:38Z

src/main/java/database/storageEngine/page/FileManager.java

+
+    private static final int PAGE_SIZE = 16 * 1024;
+    private static final String DIRECTORY_PATH = "disk";
+    private static final String FILE_EXTENSION = ".ibd";


추후에 테이블의 스키마를 저장한다면 .ibd 외에 다른 확장자 파일을 만들 수도 있을것 같아요. 그때 이 클래스를 재활용 할 수 있을것 같은데 파일확장자는 상수가 아닌 인자로 받는건 어떤가요?

FileExtension Enum 클래스를 만들고, 이를 FileManager로부터 분리했습니다!

HaiSeong · 2024-09-02T12:05:49Z

src/main/java/database/storageEngine/page/FileManager.java

+                return Optional.of(page);
+            }
+        } catch (IOException | ClassNotFoundException e) {
+            return Optional.empty();


IOException에 대해서 Optional.empty()을 리턴해도 문제가 없을까요? 파일을 읽는 과정에서 문제가 발생했을때 페이지가 없다고 하면 추후에 버그가 발생했을때 잡기 어려운 코드가 될 수 있을것 같아요.

예외를 확인할 수 있도록 커스텀 Excpetion을 만들었습니다!

src/main/java/database/storageEngine/bufferpool/pageReplacementStrategies/LFUStrategy.java

HaiSeong · 2024-09-02T12:10:51Z

src/main/java/database/storageEngine/page/FileHeader.java

+    private static final int HEADER_SIZE = 38;
+
+    private final long pageNumber;
+    private final long checksum;


checksum은 어떤역할인가요!?

의도는 File의 손상 여부를 체크하는것이였으나, 현재는 사용하고 있지 않아 제거했습니다!

seokmyungham

안녕하세요 초코칩~ 코드 재미있게 봤어요 😀
저랑 구현하시는 방향이 전체적으로 비슷한 것 같아서 재미있었습니다 😊

궁금한 부분과 간단한 코멘트 남겨놨습니다. 😎

src/main/java/database/storageEngine/page/PageHeader.java

src/main/java/database/storageEngine/bufferpool/BufferPool.java

src/main/java/database/storageEngine/page/StorageRecord.java

src/main/java/database/storageEngine/page/PageHeader.java

seokmyungham · 2024-09-02T12:06:38Z

src/main/java/database/storageEngine/page/FileHeader.java

+
+    private static final int HEADER_SIZE = 38;
+
+    private final long pageNumber;


저는 페이지 번호 자료형을 int로 사용했는데 long 타입을 사용할만큼 파일 크기가 커질지..?
적절한 자료형을 잘 모르겠습니다 어떻게 생각하시나요

int와 long은 메모리 측면에서 두 배 차이가 나기 때문에 불필요하게 남용하면 메모리 낭비로 이어질 수 있어서 커지지 않는 다는 보장이 있다면 int를 쓰는게 맞다고 봐요!

개발하는 과정에서 페이지에 어느정도의 데이터가 저장되어 몇개의 페이지가 번호가 생성될 수 있을지 파악하기 힘들어 int로 설정했습니다!

HaiSeong · 2024-09-02T12:17:44Z

코드 잘 봤습니다!
페이지 교체 알고리즘을 추가로 구현하셨군요. 좋은 학습 마인드셋 입니다!

앞으로도 화이팅입니다!

Chocochip101

꼼꼼하게 봐주셔서 감사합니다 :)

Chocochip101 · 2024-11-28T05:54:03Z

src/main/java/database/storageEngine/page/FileHeader.java

+
+    private static final int HEADER_SIZE = 38;
+
+    private final long pageNumber;


int와 long은 메모리 측면에서 두 배 차이가 나기 때문에 불필요하게 남용하면 메모리 낭비로 이어질 수 있어서 커지지 않는 다는 보장이 있다면 int를 쓰는게 맞다고 봐요!

개발하는 과정에서 페이지에 어느정도의 데이터가 저장되어 몇개의 페이지가 번호가 생성될 수 있을지 파악하기 힘들어 int로 설정했습니다!

Chocochip101 · 2024-11-28T05:56:27Z

src/main/java/database/storageEngine/page/FileHeader.java

+    private static final int HEADER_SIZE = 38;
+
+    private final long pageNumber;
+    private final long checksum;


의도는 File의 손상 여부를 체크하는것이였으나, 현재는 사용하고 있지 않아 제거했습니다!

Chocochip101 · 2024-11-28T06:15:32Z

src/main/java/database/storageEngine/page/FileManager.java

+
+    private static final int PAGE_SIZE = 16 * 1024;
+    private static final String DIRECTORY_PATH = "disk";
+    private static final String FILE_EXTENSION = ".ibd";


FileExtension Enum 클래스를 만들고, 이를 FileManager로부터 분리했습니다!

Chocochip101 · 2024-11-28T06:45:06Z

src/main/java/database/storageEngine/page/FileManager.java

+                return Optional.of(page);
+            }
+        } catch (IOException | ClassNotFoundException e) {
+            return Optional.empty();


예외를 확인할 수 있도록 커스텀 Excpetion을 만들었습니다!

Chocochip101 · 2024-11-28T06:51:54Z

src/main/java/database/storageEngine/page/PageFactory.java

@@ -0,0 +1,16 @@
+package database.storageEngine.page;
+
+public class PageFactory {


Page 클래스에서 여러 가지 생성자로 생성 로직을 만들 수 있지만, 생성자가 많아지면 Page 클래스 내부가 길어진다는 단점이 있습니다! 생성하는 로직만 분리할 수 있다고 생각하여 팩토리 클래스를 생성했습니다!

Chocochip101 · 2024-11-28T10:10:04Z

src/main/java/database/storageEngine/page/Page.java

+        this.pageHeader = new PageHeader(pageType);
+        this.userStorageRecords = new ArrayList<>();
+        this.pageDirectory = new PageDirectory();
+        this.freeSpace = PAGE_SIZE - (this.fileHeader.getHeaderSize() + this.pageHeader.getHeaderSize());


Page 생성 시점에서 검증하게끔 변경했습니다!

Chocochip101 · 2024-11-28T10:12:40Z

src/main/java/database/storageEngine/page/Page.java

+import java.util.ArrayList;
+import java.util.List;
+
+public class Page implements Serializable {


복잡한 데이터 구조의 객체라도 직렬화 기본 조건만 지키면 큰 작업 없이 바로 직렬화가 가능하기 때문에 큰 신경을 쓰지 않아도 된다는 측면에서 사용했습니다.

추후에 페이지 구조가 변경되면 이미 저장된 데이터를 역직렬화 할 수 있을까요?

해당 부분은 직렬화를 사용하지 않아도 어떠한 방식이든(JSON, CSV, ...) 문제가 될 수 있는 부분이라 생각합니다.

Chocochip101 added 23 commits August 18, 2024 12:17

feat: 페이지 구조 구현

9c43ee7

feat: 페이지 직렬화

476502a

feat: 페이지 팩터리 패턴 적용

d1fd4b4

feat: 페이지 매니저 생성

a4e8b41

test: DisplayName 수정

76ac0c5

feat: 불필요 PageManager 삭제

7f03c3e

feat: 버퍼풀 구현

511b3d0

refactor: innodb 패키지 생성

8c02942

feat: 더티 상태 구현

e4e9aa4

feat: 페이지 내의 레코드 기능 구현

b2f400f

feat: 페이지 디렉터리 구현

7e67c12

feat: 레코드 추가 기능 구현

aaa047f

feat: 레코드 변경 시, 더티 체크

7f32e11

feat: 테이블 별로 페이지 저장

d1a989f

feat: 페이지 번호 반환

74c8f41

refactor: 버퍼풀 패키지 생성

7142ae7

feat: 페이지 교체 알고리즘 전략 패턴 적용

a6c932d

refactor: 포트에 final 적용

f57d61f

refactor: 코드 포멧팅

63d1330

feat: 핸들러 삽입 구현

4dc0e44

refactor: 레코드 파일 분리

ff5cfbb

refactor: 패키지명 변경

52b7b34

feat: 레코드 자료형 변경

bb6571a

Chocochip101 requested review from HaiSeong and seokmyungham August 27, 2024 18:02

Chocochip101 self-assigned this Aug 27, 2024

Chocochip101 added 4 commits August 28, 2024 03:31

refactor: pageManager 버퍼풀 내로 이동

b0a1823

refactor: 페이지 키 객체화

f79eac0

refactor: key 변경

477047e

refactor: filemanager로 클래스명 변경

709092c

Chocochip101 added the enhancement New feature or request label Sep 2, 2024

HaiSeong approved these changes Sep 2, 2024

View reviewed changes

seokmyungham reviewed Sep 2, 2024

View reviewed changes

Chocochip101 added 5 commits September 3, 2024 11:26

refactor: 개행 추가

9691d94

refactor(FileHeader): 불필요 체크섬 필드 제거

7b7dc57

refactor(FileExtension): 파일 확장자 분리

8c3fede

refactor: 예외처리 구분

5a5359c

refactor: 테스트 수정

e73e8ab

Chocochip101 commented Nov 28, 2024

View reviewed changes

Chocochip101 merged commit dc15cdf into woowacourse-study-2024:Chocochip101 Dec 2, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[Paged File, I/O System] 초코칩(권기호) 미션 제출합니다. #3

[Paged File, I/O System] 초코칩(권기호) 미션 제출합니다. #3

Chocochip101 commented Aug 27, 2024 •

edited

Loading

HaiSeong Sep 2, 2024

Chocochip101 Nov 28, 2024

HaiSeong Sep 2, 2024

Chocochip101 Nov 28, 2024

HaiSeong Sep 2, 2024

Chocochip101 Nov 28, 2024

HaiSeong Sep 2, 2024

Chocochip101 Nov 28, 2024

HaiSeong Sep 2, 2024

Chocochip101 Nov 28, 2024

HaiSeong Sep 2, 2024

Chocochip101 Nov 28, 2024

seokmyungham left a comment

seokmyungham Sep 2, 2024

Chocochip101 Nov 28, 2024

HaiSeong commented Sep 2, 2024

Chocochip101 left a comment

Chocochip101 Nov 28, 2024

Chocochip101 Nov 28, 2024

Chocochip101 Nov 28, 2024

Chocochip101 Nov 28, 2024

Chocochip101 Nov 28, 2024

Chocochip101 Nov 28, 2024

Chocochip101 Nov 28, 2024

		@@ -0,0 +1,16 @@
		package database.storageEngine.page;

		public class PageFactory {


		private static final int HEADER_SIZE = 38;

		private final long pageNumber;

[Paged File, I/O System] 초코칩(권기호) 미션 제출합니다. #3

[Paged File, I/O System] 초코칩(권기호) 미션 제출합니다. #3

Conversation

Chocochip101 commented Aug 27, 2024 • edited Loading

페이지는 어떻게 구성되나요?

페이지 교체 알고리즘은 어떤 것으로 결정하고, 왜 결정했나요?

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

seokmyungham left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

HaiSeong commented Sep 2, 2024

Chocochip101 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Chocochip101 commented Aug 27, 2024 •

edited

Loading