MarkLogic, Hadoop 빅 데이터 미래 지향

MarkLogic은 NoSQL 데이터베이스와 오픈 소스 대용량 데이터 플랫폼 인 Hadoop 간의 연결 고리를 확대하려는 의도를 강조했습니다.

엔터프라이즈 소프트웨어, TechnologyOne은 농업, 협업, 오늘날의 디지털 작업장 구성 원리는 무엇입니까?, 엔터프라이즈 소프트웨어, 스위트 수세! HPE는 Linux 배포판, 엔터프라이즈 소프트웨어, 애플은 9 월 13 일에 iOS 10, 9 월 20 일에는 macOS Sierra를 발표했다.

Hadoop과 관련하여 2011 년 11 월까지는 XML 기반 데이터베이스 용 Hadoop 커넥터를 출시했으며, 이는 대용량의 비 체계적인 데이터를 실시간으로 처리 할 수 ​​있습니다.

한 노련한 데이터 과학자는 큰 데이터의 세계로 첫발을 내딛을 때 조직이 당면한 어려움을 해결할 수있는 방법을 제시합니다.

이제 마크 로직의 CEO 인 게리 블룸 (Gary Bloom)은 BBC의 런던 2012 올림픽 웹 사이트의 엔진 인 데이터베이스의 미래 반복을 통해 관계가 더욱 발전 할 것이고, 이는 초당 최대 2 만 5 천 건의 트랜잭션을 처리한다고 말합니다.

“우리는 Hadoop 환경과 더욱 긴밀하게 인터페이스하기 위해 제품에서 더 많은 기술을 계속 수행 할 것입니다. 특히 계층화 된 스토리지와 관련해서는 더욱 그렇습니다.”

블룸 (Bloom)에 따르면 계층화 된 스토리지의 중요성은 모든 데이터가 가장 비싼 EMC 디스크 어레이에있을 필요가 없기 때문에 기업이 다양한 가격과 다양한 가용성 수준으로 스토리지를 채택 할 수있는 옵션을 제공한다는 것입니다.

“따라서 하위 계층의 일부가 매우 높은 성능으로 발전하고 있지만, 이들과 관련된 서비스 수준은 앞으로 갈수록 약간 줄어들 것입니다.”

MarkLogic이 수행 할 작업은 Hadoop을 사용하고 여러 계층의 스토리지에 걸쳐 데이터를 계층화 한 다음 모든 데이터를 검색 할 수 있다는 것입니다. 어떤 계층인지는 신경 쓰지 않습니다. 일부 데이터가 오프라인 인 경우 – 나는 그 시점에서 그 데이터를 검색하지 않을 것입니다. 하위 계층의 아카이브 된 데이터가 실행되고 있지 않아도 가동 상태를 유지할 수있는 유연성이 있습니다.

Bloom은 Hadoop과의 관계는 커넥터가 등장한 이래로 계속 진화 해왔다고 전했다. MarkLogic이 Hadoop 분산 파일 시스템에서 기본적으로 실행할 수 있다는 발표에 이어 조직에서는 Hadoop의 일괄 처리를 사용하여 대용량 데이터를로드 한 다음 MarkLogic과 함께 사용할 수있게되었습니다.

“Hadoop 위에 MarkLogic 스택이 없으면 Hadoop 자체가 본질적으로 파일 시스템이기 때문에 본질적으로 자체 데이터 관리 아키텍처 및 검색 기능을 구축해야합니다. 디스크에 정보를 저장하는 것이 좋으며 효율적으로, “블룸 말했다.

2 월 MarkLogic 사는 Hadoop 환경을 관리하기 위해 Intel의 Hadoop 버전과 함께 제공되는 관리 도구를 함께 배포한다고 발표했습니다.

Bloom에 따르면 MarkLogic-Hadoop 조합의 일반적인 응용 프로그램은 월 스트리트 유형 환경 또는 금융 서비스 부문에있을 수 있으며, 경우에 따라 10 년 또는 20 년 동안의 데이터 저장이 필요합니다.

Teradata의 통합 데이터 아키텍처에 대한 최근 추가는 데이터웨어 하우스 시스템, Aster의 검색 플랫폼, Hadoop 및 동급 최강의 하드웨어를 심층적으로 통합하는 것을 목표로합니다.

테이프 백업에 넣고 ‘데이터를 얻었습니다’라고 말할 수는 없습니다. 당신은 그것을 검색 할 수 있기를 원합니다. 그런 다음 소셜 애널리틱스 및 기타 작업을 수행하는 고객을 대상으로 이야기하면 대용량의 데이터가 발생하며 내 제품을 타겟팅하고 수익을 창출하는 방법을 파악할 수 있기를 원합니다. 내 모든 데이터를 검색 할 수 있고 다른 종류의 저장 장치로도 처리 할 수 ​​있습니다. “라고 Bloom은 말했습니다.

그것이 Hadoop과 함께하기를 원하는 것입니다. Hadoop이 가진 문제는 정말 흥미로운 기술이며, 많은 사람들이 Hadoop이 지금 발생한 문제를 해결할 것이라고 생각했습니다 (큰 데이터 문제). 그들은 그것이 독립 실행 형 솔루션이라고 생각했고 실현해야 할 것은 하둡 자체만으로는 그다지 효과를 내지 못한다는 것입니다. “라고 그는 말했습니다.

정말 아주 고급 파일 시스템입니다. 디스크의 데이터를 가져 와서 효율적으로 일괄 처리하고 데이터를 생성하고 일부 사전 처리를 수행합니다. 그러나 일단 디스크에 저장하면 검색 할 수 있어야합니다. MarkLogic 검색 엔진 및 데이터베이스는 다음과 같은 작업을 수행합니다. 이제 모든 데이터에 실제로 액세스 할 수있는 환경을 만들 수 있습니다.

금융 서비스와 함께 MarkLogic은 미디어, 정부 보안, 보험 사기 탐지 및 의료 분야에서 더 많은 고객을 찾을 것으로 기대합니다. 최근 새로운 수직 시장에 마케팅 및 판매를 지원하기 위해 신규 자금으로 2 천 5 백만 달러를 모금했습니다.

Bloom은 MarkLogic이 세 가지 기술 주제에 중점을 둡니다. 계층화 된 스토리지와 함께 클라우드 컴퓨팅이 최우선 과제이며 피크 수요를 충족시키기 위해 버스트 용량을 관리하기위한 관리 도구를 만듭니다.

“아마존을 사용하고 있다면, 오후 7시에 최고 처리 기간 동안 50 개의 노드를 잡고 6시에 와서 50 개의 노드를 할당 받았다는 것을 알기를 바랍니다. 그들에게 돈을 지불 할 것 “이라고 말했다.

세 번째 영역은 MarkLogic의 데이터베이스 및 검색 공급 업체로서의 위치를 ​​활용하여 의미를 추가하는 것입니다.

그는 “우리는 고객에게 검색 엔진과 데이터베이스를 제공하기 때문에 많은 의미 론적 작업을 수행 할 것이고 데이터를 데이터베이스에 저장하는 과정에서 많은 양의 사전 처리 작업을 수행 할 것”이라고 말했다. .

따라서 데이터가 수집 될 때 우리는 그 당시 많은 의미 기능을 확립하고 검색 엔진에서 의미 처리의 마지막 부분을 수행하게 될 것입니다.

Hadoop 관리 도구

? TechnologyOne, 농업에 620 만 호주 달러 계약 체결

오늘날의 디지털 작업장의 조직 원리는 무엇입니까?

달콤한 수세! HPE 자체가 Linux 배포판을 방해합니다.

애플은 9 월 13 일 iOS 10, MacOS Sierra는 9 월 20 일에 출시합니다.

MarkLogic 판매 촉진을위한 자금 조달