[flume+hdfs 연동] Hadoop 3.2.1 java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper ** Flume Sink로 hdfs 연동 중 아래와 같은 오류 발생 2020-04-14 00:08:04,350 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper at org.apache.flume.sink.hdfs.BucketWriter.open(BucketWriter.java:219) at org.apache.flume.sink.hdfs.BucketWriter.append(Buc.. 더보기 [flume + hdfs] Hadoop 3.2.1 org/apache/hadoop/io/SequenceFile$CompressionType ** Flume Sink로 hdfs 연동 중 아래와 같은 오류 발생 2020-04-13 23:35:29,924 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:150)] Failed to start agent because dependencies were not found in classpath. Error follows. java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$Compressio.. 더보기 [Tomcat] Heap Memory 부족 현상 해결 * /usr/libexec/tomcat9/bin/ 경로에 setenv.sh 파일을 생성하고 아래 내용을 입력해준다. export CATALINA_OPTS="$CATALINA_OPTS -Xms256m" export CATALINA_OPTS="$CATALINA_OPTS -Xmx512m" * Xms : 최소 Heap Size * Xmx : 최대 Heap Size * 적용여부 확인 [root@ip-172-26-13-216 logs]# pwd /usr/libexec/tomcat9/logs [root@ip-172-26-13-216 logs]# grep -e "Xms" -e "Xmx" *.log catalina.2020-04-09.log:09-Apr-2020 17:25:04.265 INFO [main] org.apa.. 더보기 [Hadoop] NodeManager, ResourceManager(YARN) 데몬을 jdk 11 버전에서 실행 시, 오류발생 NodeManager, ResourceManager를 실행한 이후, Port 확인을 해보니 실행이 안되어 있음. [hadoop@localhost ~]$ jps 25168 DataNode 28067 Jps 25050 NameNode 25390 SecondaryNameNode 로그를 확인해 보니 오류가 발생함. 2020-04-08 00:23:03,168 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager org.apache.hadoop.yarn.webapp.WebAppException: Error starting http server . . . 생략 . . . Caused by: j.. 더보기 [CentOS7] 방화벽 포트 열기 ** 방화벽 포트 추가 및 Reload [root@localhost ~]# firewall-cmd --zone=public --permanent --add-port=9870/tcp success [root@localhost ~]# firewall-cmd --reload success ** 방화벽 확인 [root@localhost ~]# firewall-cmd --zone=public --list-all public (active) target: default icmp-block-inversion: no interfaces: enp0s3 sources: services: dhcpv6-client ssh ports: 9870/tcp protocols: masquerade: no forward-ports: s.. 더보기 [CentOS7] netinsall 버전으로 설치 시, 설치소스 지정 설치 소스를 위한 URL을 찾는방법 * mirror 사이트의 루트로 이동 * 카카오의 경우 http://mirror.kakao.com/ http://mirror.kakao.com/ pypi HTTP Python Package Index 24 hours mirror.kakao.com * 네이버의 경우 http://mirror.navercorp.com/ mirror.navercorp.com mirror.navercorp.com * 설치하고자하는 버전의 os 폴더에 접근한 후, 아래 해당하는 URL을 입력해준다. http://mirror.kakao.com/centos/7.7.1908/os/x86_64/ CentOS Mirror mirror.kakao.com http://mirror.navercorp.com/c.. 더보기 [Webpack] React Import 절대경로 사용하기 아래와 같이 절대경로로 컴포넌트를 호출할 수 있다. import { Main as MainLayout } from 'layouts'; 더보기 github에서 프로젝트 가져오기 간략하세 먼저 과정을 정리하면, workspace, local repository, remote repository 3가지 영역으로 나뉘는데 github에서 소스를 내려받는 과정은 아래와 같다. remote repository clone url 복사 -> clone local repository 생성(이과정에 소스 내려받아짐) -> imports project를 하여 workspace에 복사 스샷으로 과정을 자세히 살펴보면, 1. workspace 선택하여 이클립스를 기동한다. (기존 workspace는 연동되어 있어서 새로 열었다.) 2. git repository를 연다. 3. github 사이트를 들어가서 Clone or download 클릭 후 나오는 URL을 복사한다. 4. 이클립스로 돌아와서 .. 더보기 [Javascript] function ()() 문법 해석 * 함수명()() 구조에 대해 분석 1. 다음과 같이 test라는 함수명에 결과를 m이라는 파라메터를 가지는 함수를 리턴한다. function test(a,b) { return m => { switch(m) { case 1: return a + b; default: return 0; } } } 2. 문법 const result = test(a, b)(m); // m이 1이면, a+b, 아니면 0 반환 3. 테스트 const result = test(1,2)(1); console.log(result); // 3 더보기 [AWS-CentOS] nodejs라는 계정으로 node.js + npm + yarn 설치하기 1. idosoft 라는 그룹으로 nodejs 계정 생성 [root@ip-172-26-13-216 home]# useradd -m -g idosoft nodejs [root@ip-172-26-13-216 home]# passwd nodejs 2. nodejs 계정으로 터미널 새로 접속 후, nvm 설치 [nodejs@ip-172-26-13-216 ~]$ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.8/install.sh | bash [nodejs@ip-172-26-13-216 ~]$ nvm --version 0.33.8 3. nvm으로 node.js + npm 설치 [nodejs@ip-172-26-13-216 ~]$ nvm instal.. 더보기 이전 1 2 3 4 ··· 28 다음
