Phân tích Business Intelligence dựa trên Big Data

Phân tích Business Intelligence dựa trên Big Data Các doanh nghiệp và khách hàng toàn cầu ngày càng thay đổi. Nó không chỉ còn là dữ liệu khách hàng. Mục đích của một nền tảng phân tích Big Data và Business Intelligence tích hợp là khai thác sâu hơn các câu hỏi vì sao, ở đâu, cái gì và như thế nào về khách hàng, sản phẩm và công ty. Bài này sẽ thảo luận về việc tích hợp Business Intelligence và phân tích Big Data. Hệ thống doanh nghiệp trên thế giới đang thay đổi, sự năng động của khách hàng đang thay đổi, và chính khách hàng cũng đang thay đổi. Tất cả đang chạy đua để tìm ra lý do cho câu hỏi tại sao thay vì tìm ra đó là ai và sự việc đó như thế nào. Nó không còn đơn thuần chỉ để hiểu làm thế nào một công ty có những bước chuyển đổi từ A đến B. Các doanh nghiệp đang ở trong một cuộc chiến cạnh tranh thời gian thực để biết khi khách hàng mua một cái gì đó, họ mua ở đâu, và những gì họ đang suy nghĩ trước khi họ bước vào một cửa hàng hoặc truy cập vào một website. Sức mạnh của Big Data, phân tích Big Data (Big Data analytics), nền tảng Business Intelligence (BI) tích hợp và phân tích Big Data có thể giúp doanh nghiệp làm được điều đó. Lĩnh vực phân tích Big Data và BI vẫn còn mới. Làm thế nào để tích hợp các khái niệm tương đồng nhưng khác nhau? Nó không chỉ còn là về dữ liệu hoặc công nghệ, mà đó là tất cả mọi thứ — truyền thông mạng xã hội, hành vi của khách hàng, và phân khúc khách hàng, những điều đó cũng chỉ là một vài đặc trưng mà thôi. Bạn không thể dựa vào trong một số ứng dụng Big Data và mong muốn nhìn thấy tương lai được. Cả BI, quản lý dữ liệu chủ (MDM - Master Data Mangement), Big Data, và khả năng phân tích phải được tích hợp vào cùng một nền tảng, và triển khai thành một giải pháp trực quan sáng tạo. Điểm tương đồng và khác biệt giữa BI và Big Data analytics BI không phải là một khái niệm mới. Data warehouses, data mining, và các công nghệ database đã hiện hữu trong các hình thức khác nhau trong nhiều năm. Big data có thể là một thuật ngữ mới, nhưng nhiều chuyên gia IT đã làm việc với dữ liệu lớn trong các ngành khác nhau trong nhiều năm qua. Tuy nhiên bây giờ Big Data không chỉ là về dữ liệu lớn. Điểm mới ở đây là đi sâu và phân tích dữ liệu bán cấu trúc và phi cấu trúc. 15 năm trước, chúng ta không phân tích các email, tập tin PDF, hoặc video. Có cảm giác như Internet chỉ mới xuất hiện gần đây thôi; và điện toán phân tán cũng chỉ mới ra đời ngày hôm qua, nhưng điểm mới ở đây là khả năng phổ biến và mở rộng hệ thống chỉ trong chớp mắt — thậm chí đối với một ngân sách hạn hẹp. Tương tự như vậy, muốn dự đoán tương lai không phải là một khái niệm mới, nhưng điểm mới chính là có thể truy cập và lưu trữ tất cả các dữ liệu được tạo ra. Có nhiều thông tin cho rằng 90 phần trăm các dữ liệu tồn tại ngày nay là từ hai năm trước. Và dữ liệu đang tăng trưởng nhanh. Nếu 90 phần trăm tất cả dữ liệu trên toàn thế giới được tạo ra trong hai năm qua thì ta có thể nói gì về dữ liệu đó? Nhiều doanh nghiệp có nhiều cơ sở dữ liệu và nhiều nhà cung cấp cơ sở dữ liệu, với nhiều terabyte hoặc thậm chí petabyte dữ liệu. Một số các hệ thống tích lũy dữ liệu trên 30 hoặc 40 năm. Nhiều doanh nghiệp xây dựng toàn bộ kho dữ liệu và nền tảng phân tích ra dữ liệu cũ này. Tập đoàn bán lẻ lớn như Wal-Mart, đã trở thành công ty tỷ đô la trước thời Big Data. Vì vậy, dữ liệu không phải là yếu tố quyết định chính mà chính là cách thức kinh doanh của họ. Dữ liệu như một dịch vụ có thể điều khiển một doanh nghiệp. Tuy nhiên hãy suy nghĩ về Amazon. Đó là một công ty thương mại điện tử trực tuyến. Bây giờ, mọi người nhìn vào Amazon như là một công ty cung cấp nền tảng dịch vụ, phần mềm, Big Data, và trung tâm dữ liệu điện toán đám mây. Trong những năm qua, Amazon xây dựng giới thiệu các công cụ đáng kinh ngạc từ các công nghệ mã nguồn mở khác nhau. Zynga, công ty game Facebook được biết đến với tựa game ăn khách Farmville, đã sử dụng các dịch vụ đám mây của Amazon để mở rộng cơ sở dữ liệu và phân tích riêng của mình. Đối với dữ liệu có ích cho người dùng, nó phải tích hợp với tài chính của khách hàng và dữ liệu bán hàng, với các sản phẩm dữ liệu, với các tiếp thị dữ liệu, truyền thông xã hội, với các dữ liệu nhân khẩu học, với các dữ liệu đối thủ cạnh tranh, và nhiều hơn nữa. Những thách thức trong việc xây dựng một hệ thống BI và Big data analytics Thiết kế một nền tảng tích hợp không bao giờ là dễ dàng. Extract, Transfer, và Load (ETL) luôn luôn là giai đoạn dài nhất trong các dự án Data Warehouse. Có nhiều giải pháp ETL khác nhau, đôi khi chúng có tác dụng, đôi khi không. Nếu ETL không được thực hiện tốt, thì bạn ngẫu nhiên bạn sẽ có dữ liệu không chính xác và không tin cậy. Dữ liệu không tin cậy sẽ tạo ra một hệ thống không đáng tin và không sử dụng được. Tất nhiên chẳng ai muốn điều đó cả. Có thể bạn sẽ dễ dàng nghĩ rằng đây có thể một thứ gì đó giống như một cơ sở dữ liệu sản phẩm. Nhưng nó sẽ trở thành một trò chơi với nhiều phiên bản, lỗi, bản cập nhật, bản phát hành khác nhau, chu kỳ phát hành khác nhau, giấy phép khác nhau, và giấy phép khác nhau dựa trên địa điểm. Và đó chỉ là trong một công ty với một vài sản phẩm. Nó sẽ trở nên phức tạp hơn trong trường hợp các công ty bán lẻ có hàng ngàn sản phẩm khác nhau. Nền tảng Big Data và BI tích hợp có thể có dữ liệu phi cấu trúc từ các email. Chúng có thể bao gồm dữ liệu bán cấu trúc từ các bản ghi log. Hệ thống Email có thể được phân tán trong cơ sở dữ liệu khác nhau trong nhiều trung tâm dữ liệu trên toàn cầu. Trong một dự án, việc tích hợp thêm vài tường lửa, hay đột nhiên di chuyển dữ liệu từ nơi này sang nơi khác cũng là một cơn ác mộng. Trong một dự án khác, hệ thống bản ghi log có thể là phi định dạng, bán định dạng hoặc một mớ hỗn độn. Có một lý do mà tại sao các công nghệ Big data như Apache Hadoop khuyến khích di chuyển hệ thống đến nơi có dữ liệu thay vì di chuyển dữ liệu vào hệ thống. Phải mất thời gian để di chuyển dữ liệu qua đường mạng, giữa các bức tường lửa. Bạn có thể bị mất dữ liệu, các gói dữ liệu, tập tin. Độ tin tưởng sẽ trở thành một vấn đề lớn. Một khái niệm cốt lõi của NoSQL và Hadoop là để di chuyển các ứng dụng đến dữ liệu, ngoại trừ việc điều này không phải là đơn giản. Nếu bạn có 100 hệ thống khác nhau, bạn có thêm vào 100 trường hợp của cùng một ứng dụng cho mỗi hệ thống không? Mặc dù một số người nghĩ rằng họ có thể làm chủ MDM, nhưng thực ra là chẳng có ai cả. Khi bạn có một sản phẩm MDM, MDM bán hàng, và một khách hàng MDM mà không tích hợp hoặc tham gia dễ dàng, việc thêm một ứng dụng vào mỗi hệ thống không có nghĩa là tích hợp hay tham gia vào chúng. Nó vẫn là một hệ thống với nhiều rào cản mà không ai có thể kết nối. Ngay cả khi một doanh nghiệp được cài đặt một ứng dụng Big Data trên một nền tảng hoàn hảo mà có thể tích hợp và kết nối với các dạng khác nhau của dữ liệu, thì cũng sẽ có lúc xảy ra những vấn đề nghiêm trọng. Sự thật là bạn không thể đột nhiên chạy các thuật toán phức tạp trên một hệ thống mà người dùng đang sử dụng. Điều này có thể thất bại. Nó có thể làm chậm hiệu suất thực thi. Nó có thể lấy hết dữ liệu. Có thể có vấn đề bảo mật. Cài đặt một ứng dụng yêu cầu một lượng lớn không gian, bộ nhớ và tốc độ có thể khiến một hệ thống cũ hỏng hóc. Thậm chí nó có thể không hoạt động chính xác trên hệ thống cũ. Nếu nó hoạt động, nó có gì khác so với hệ thống đang tồn tại không, bạn chọn MDM không kết nối hay hệ thống BI? Một nền tảng BI và Big Data analytics cần sự sáng tạo. Nó phải là thế hệ tiếp theo. Nó phải sử dụng công nghệ trong bộ nhớ hoặc cấu hình một hệ thống sử dụng các công cụ như Hadoop và Apache Cassandra như area, sandbox, hệ thống lưu trữ và có một hệ thống ETL mới và cải tiến. Nó phải tích hợp dữ liệu cấu trúc, phi cấu trúc và bán cấu trúc. Có rất nhiều phần trong bài toán khó này. Giải pháp Một nền tảng BI tích hợp và Big Data analytics là một hệ thống khác nhau. Bạn có quyền lựa chọn việc mua hay tự xây dựng. Bạn phải xem xét các hệ thống hiện có, các trường hợp sử dụng, mức độ kinh nghiệm và năng lực của nhân viên của bạn. Một số công ty có thể muốn xây dựng một hệ thống mã nguồn mở chỉ sử dụng Hadoop (Hadoop Distributed File System [HDFS] và MapReduce), Zookeeper, Solr, Sqoop, Hive, HBase, Nagios, và Cacti, trong khi người khác có thể tìm kiếm hỗ trợ nhiều hơn và cố gắng xây dựng một hệ thống sử dụng IBM ® InfoSphere ® BigInsights ™ và IBM Netezza. Các công ty khác có thể muốn tách dữ liệu có cấu trúc và phi cấu trúc, và xây dựng một giao diện (GUI) lớp người dùng đồ họa cho người dùng bình thường, người dùng có nhiều quyền hạn, và các ứng dụng. Nó thực sự phụ thuộc vào công ty. Và nó không chỉ là một hệ thống plug-and-play. Mặc dù bạn quyết định mua hay tự xây dựng thì ở mỗi cấp độ đều có những phần khác nhau. ETL ETL, giai đoạn hiện thực và kiểm soát dữ liệu, và tất cả quá trình liên quan luôn luôn là một bước tiến quan trọng đầu tiên. Bạn không thể đặt ứng dụng Big Data vào một hệ thống giao dịch và mong muốn mọi thứ hoạt động mà không làm ảnh hưởng hệ thống ban đầu, hay mong đợi nó tích hợp tốt với mọi thứ khi mà hệ thống vẫn đang hoạt động. Do đó, một số dữ liệu cần được đưa vào Hadoop hay bất cứ hệ thống noSQL nào khác hay một Data Warehouse xử lý song song (MPP). Có nhiều công cụ và phương pháp để làm việc này, và hầu hết chúng phụ thuộc vào hệ thống, mã nguồn, dữ liệu, kích thước và nhân lực. Bạn có thể bắt đầu với Sqoop. Nó là một công cụ tuyệt vời để xử lý dữ liệu từ hệ thống quản lý cơ sở dữ liệu quan hệ. Bổ sung thêm các công cụ mã nguồn mở khác như Flume hoặc Scribe có hỗ trợ ghi log. Ngoài ra còn có các công cụ ETL như Talend hoặc IBM InfoSphere DataStage ®, cả hai đều đã tích hợp Big Data. Những công cụ này trực quan hơn và không cần phải có một tiến sĩ máy tính để xây nên cơ sở hạ tầng. Cả hai công cụ cung cấp các tài liệu kỹ thuật, các bản cập nhật, và giao diện trực quan, chúng luôn được cải thiện, và đang được sử dụng trong nhiều ngành công nghiệp và trong các doanh nghiệp. Một số công ty chỉ thích dùng mã nguồn mở. Các công ty khác có thể có nhiều hệ thống được xây dựng trên các sản phẩm IBM khác nhau. Rõ ràng, tích hợp những gì đã được sử dụng với các công nghệ mới là một việc quan trọng cần xem xét. Đó là thời gian bạn dành để xây dựng hệ thống ETL, và thật đáng buồn nếu kết quả không như bạn mong đợi. Hadoop có nhiều thành phần mà bạn có thể cần tới hơn là Sqoop. Việc tích hợp và bổ sung nhiều thành phần có thể gây phản tác dụng, đặc biệt là nếu bạn không có kinh nghiệm và kiến thức hoặc muốn tự xây dựng công cụ ETL. Quá trình này đòi hỏi thời gian và sự kiên nhẫn. Có thể bạn cũng sẽ gặp nhiều trở ngại. Bạn có thể sử dụng một công cụ mã nguồn mở cho các cộng đồng sau này. Hoặc bạn có thể cấu hình và phát triển các công cụ ETL của riêng mình với các ứng dụng nội bộ khác nhau và các công cụ mã nguồn mở, và sau đó, nếu cộng đồng mã nguồn mở có những thay đổi hay một vài nhân viên phát triển của bạn không còn làm việc nữa, lúc này tự dưng bạn sẽ có một hệ thống mà chẳng ai biết cách để duy trì hay sửa chữa. Các doanh nghiệp khôn ngoan tập trung vào nhân viên, kinh nghiệm, ngân sách, tiềm năng và thực tế của họ. Ví dụ, nếu một doanh nghiệp có đội ngũ nhân viên IT tương đối nhỏ thì việc so sánh cách xây dựng hệ thống với Google hay Facebook chưa phải là một ý tưởng tốt. Đừng bao giờ so sánh công ty nhỏ của bạn với các công ty có đã có sẵn hệ thống máy chủ và các chuyên gia máy tính làm việc trên những hệ thống và cơ sở hạ tầng cụ thể. Đôi khi, sử dụng dịch vụ điện toán đám mây hoặc nhân viên bên ngoài có thể là lựa chọn duy nhất. Những lần khác, các thiết bị Big Data như Netezza chính là lựa chọn tốt nhất. Lưu trữ Lưu trữ dữ liệu là một yếu tố rất lớn và có thể yêu cầu bạn sử dụng nhiều công nghệ khác nhau. Trong hệ thống Hadoop, ta có HBase. Nhưng một số công ty sử dụng Cassandra, Neo4j, Netezza, HDFS, và các công nghệ khác, tùy thuộc vào những gì cần thiết. HDFS là một hệ thống lưu trữ tập tin. HBase là một hệ thống lưu trữ theo cột (column) tương tự như Cassandra. Nhiều công ty sử dụng Cassandra cho việc phân tích gần hơn với thời gian thực. Tuy nhiên HBase cũng đang ngày càng được phát triển. Bạn có thể xem xét giữa HBase hoặc Cassandra khi muốn sử dụng một hệ thống quản lý cơ sở dữ liệu mã nguồn mở cho việc phân tích Big Data. Theo các nền tảng Data Warehouse, Netezza là một trong những công nghệ hàng đầu trong công nghệ phân tích và BI. Sự lựa chọn tốt nhất để tích hợp Big Data là sử dụng một nền tảng tích hợp bao gồm Hadoop và Cassandra cho dữ liệu phi cấu trúc hoặc bán cấu trúc và Netezza cho dữ liệu có cấu trúc. IBM Netezza Customer Intelligence Appliance kết hợp một số công nghệ khác nhau vào một nền tảng. Ở lớp trên cùng, đó là lớp người dùng, nó dựa trên phần mềm IBM Cognos® BI, một sản phẩm phân tích và báo cáo kinh doanh thông minh. Cognos BI là một sản phẩm ấn tượng mà nhiều doanh nghiệp sử dụng cho nhiều mục đích BI khác nhau và Data Warehouse. Tại các kho dữ liệu lớp lưu trữ, Netezza là công cụ tuyệt vời cho hệ thống cơ sơ dữ liệu MPP. Hệ thống này hướng đến dữ liệu có cấu trúc, nhưng khi sử dụng Hadoop hoặc Cassandra cho dữ liệu phi cấu trúc và bán cấu trúc bạn tạo ra một nền tảng tích hợp BI và Big Data analytics. Giao diện người dùng (GUI) Tại lớp đầu cuối và giao diện đồ họa người dùng (GUI), có nhiều phần khác nhau trong hệ thống. Người dùng có quyền hạn có thể sử dụng các công cụ như IBM SPSS® Statistics, hoặc phiên bản R, để khai phá dữ liệu, mô hình dự báo, máy học, và xây dựng các thuật toán phức tạp và điển hình. Các nhân viên kinh doanh của bạn có thể sử dụng các công cụ như Cognos để làm các báo cáo BI, báo cáo Big Data, biểu đồ, và các bảng thống kê. Cognos là một công cụ tuyệt vời cung cấp cho người dùng nhiều cách khác nhau để khám phá dữ liệu hay xem các báo cáo đơn giản. Có nhiều phần trong giao diện GUI và lớp đầu cuối (front-end), như các công cụ máy học (ví dụ như Apache Mahout) hay Apache Hive (dùng ngôn ngữ truy vấn có cấu trúc - Structured Query Language - SQL), nhưng những công cụ cũng có thể là một phần của cơ sở hạ tầng. Yếu tố lớn nhất là tích hợp dữ liệu có cấu trúc và phi cấu trúc như một phần của cơ sở hạ tầng BI, Data Warehouse, và Big Data analytics. Đó có phải là dịch vụ không? Và đối tượng người dùng là ai? Người dùng không quan tâm đến cơ sở hạ tầng. Họ cũng không quan tâm tới việc tích hợp của nó. Họ chỉ quan tâm đến việc nhận được xữ liệu ở thời điểm thích hợp. Kết luận Tích hợp BI và big data analytics là nhiệm vụ không dễ dàng. Mục đích của bất kỳ hệ thống dữ liệu hay phân tích là làm cho dữ liệu trở nên hữu ích và có tính sẵn sàng cao cho người dùng. Ứng dụng Big data là một trong những cách làm được điều đó. Còn hệ thống mã nguồn mở Hadoop là một hướng khác. Nhưng cả hai đều đòi hỏi thời gian, sự kiên nhẫn và sáng tạo. Một hệ thống mã nguồn mở là giải pháp nhanh và ít tốn kém để thực hiện, nhưng bạn cần một đội ngũ nhân viên có kinh nghiệm. Nếu bạn không có kinh nghiệm trong lĩnh vực Big Data, thì tốt nhất là bạn nên thuê một công ty chuyên về Big Data làm cho bạn, mặc dù có thể hơi tốn kém. Hãy nhớ rằng không phải ai cũng muốn mở công ty làm về phần mềm hay phần cứng. Đôi khi việc xây dựng một nền tảng BI tích hợp và Big Data đòi hỏi phải tốn chi phí mua và phát triển ở nơi bạn cần tới.