Forstå Hadoop Distributed File System af John Karry

TheHadoop Distributed File System er et helt bærbare filsystem, som isalso fordelt, samt skalerbare for Hadoop rammer. Det er også AFile, der er blevet skrevet i Java for samme rammer. Hver HDFScluster der hører til netop dette filsystem indeholder ét navn-mode, samt en individuel klynge af data noder som ikke altid behøver at bepresent inden for hver HDFS klynge hele tiden. Denne specifikke distribueret filsystem er det, der giver regelmæssig adgang til programdata, og thisapplication data er noget, som altid skal tillades denne adgang viathe portal gennem HDFS. Hvert data node, er en del af HDFS klyngen doesserve sit eget formål; og dette formål er at tjene hovedsageligt konstante blokke ofdata gennem netværket ved hjælp af en unik protokol, der kun tilhører theHDFS.

HadoopDistributed File System

bruger TCP /IP-lag for at gennemføre out itscommunications. HDFS kan gemme store filer, og størrelsen af ​​disse filer isequivalent til omkring et multiplum af 64 MB. Kunder, der ikke ønsker at communicatedirectly med HDFS skal have RPC, som er en forkortelse for Remote Procedure Callin for at kommunikere ordentligt. De store filer, som HDFS kan overføre gå tomultiple maskiner på samme tid.

Hadoop er baseret på en Java-platformen og understøtter theprocessing af store datasæt, som hvad vi finder på Google. Det HadoopDistributed File System er et fuldt integrateddevelopment miljø Hoteller, som bliver brugt en hel del af en masse differentcompanies og organisationer for både, produkter og til at udføre forskning. Hadoopdistributed filsystem er årsagen til hurtig overførsel af data mellem knudepunkter, således tillader et system til funktionelt uafbrudt i tilfælde af svigt. Themain anvendelse af dette system har været i søgemaskinerne og for advertisingonline.

Lad os forstå logikken bag HDFS. Den gemmer largefiles ved at distribuere data blandt en pulje af data noder. Master /slavearchitecture anvendes i denne, hvor føreren kontrollerer et eller flere slaver. Theinformation om de data knudepunkter er lagret i individuelle knudepunkter navn og datanodes er knyttet til hinanden som en klynge. Til brugeren, vil det udgøre onesingle fil. Fordelen ved HDFS er en pålidelig lagerløsning til largefiles. Den underliggende årsag til oprettelsen af ​​HDFS er pålideligheden af ​​data, selv i tilfælde af svigt.