API安全性以及憑證和訪問控制的重要性
大數(shù)據(jù)安全是指在存儲、處理和分析數(shù)據(jù)集的過程中，為保護數(shù)據(jù)免受惡意活動侵害而采取的任何措施，這些數(shù)據(jù)集太大、太復雜，無法由傳統(tǒng)數(shù)據(jù)庫應用程序處理。大數(shù)據(jù)可以采用結(jié)構(gòu)化格式（組織成包含數(shù)字、日期等的行和列）或非結(jié)構(gòu)化格式（社交媒體數(shù)據(jù)、PDF 文件、電子郵件、圖像等）。不過，據(jù)估計，高達90%的大數(shù)據(jù)是非結(jié)構(gòu)化的。
大數(shù)據(jù)的力量在于它往往包含隱藏的見解，可以改善業(yè)務流程、推動創(chuàng)新或揭示未知的市場趨勢。由于分析這些信息的工作量通常結(jié)合了敏感的客戶或?qū)Ｓ袛?shù)據(jù)以及第三方數(shù)據(jù)源，因此適當?shù)臄?shù)據(jù)安全至關重要。聲譽受損和巨額財務損失是大數(shù)據(jù)泄露和泄露的兩個主要后果。
在嘗試保護大數(shù)據(jù)時，實際上有三個關鍵階段需要考慮：
這些環(huán)境中的安全威脅類型包括不適當?shù)脑L問控制、分布式拒絕服務 (DDoS) 攻擊、生成虛假或惡意數(shù)據(jù)的端點，或大數(shù)據(jù)工作負載期間使用的?庫、框架和應用程序中的漏洞。
由于涉及的架構(gòu)和環(huán)境復雜性，大數(shù)據(jù)安全面臨許多挑戰(zhàn)。在大數(shù)據(jù)環(huán)境中，分布式計算環(huán)境中存在各種硬件和技術(shù)的相互作用。以下是一些挑戰(zhàn)示例：
這些挑戰(zhàn)是對保護任何類型數(shù)據(jù)所面臨的通常挑戰(zhàn)的補充，而不是替代。
在了解所涉及的挑戰(zhàn)之后，讓我們繼續(xù)討論一些加強大數(shù)據(jù)安全的最佳實踐。
可擴展的靜態(tài)數(shù)據(jù)和傳輸數(shù)據(jù)加密對于跨大數(shù)據(jù)管道實施至關重要?？蓴U展性是這里的關鍵點，因為除了 NoSQL 等存儲格式外，您還需要跨分析工具集及其輸出加密數(shù)據(jù)。加密的強大之處在于，即使威脅行為者設法攔截數(shù)據(jù)包或訪問敏感文件，實施良好的加密過程也會使數(shù)據(jù)無法讀取。?
正確控制訪問可以有效防范一系列大數(shù)據(jù)安全問題，例如內(nèi)部威脅和過度特權(quán)。基于角色的訪問有助于控制對大數(shù)據(jù)管道多層的訪問。例如，數(shù)據(jù)分析師應該有權(quán)訪問 R 等分析工具，但他們可能不應該訪問大數(shù)據(jù)開發(fā)人員使用的工具，例如 ETL 軟件。最小特權(quán)原則是訪問控制的一個很好的參考點，它僅將訪問權(quán)限限制為執(zhí)行用戶任務所必需的工具和數(shù)據(jù)。?
大數(shù)據(jù)工作負載本身就需要巨大的存儲量和處理能力，因此大多數(shù)企業(yè)都可以使用云計算基礎設施和服務來處理大數(shù)據(jù)。但是，盡管云計算具有吸引力，但暴露的 API 密鑰、令牌和錯誤配置都是值得認真對待的云風險。如果有人將 S3 中的AWS數(shù)據(jù)湖完全開放并可供互聯(lián)網(wǎng)上的任何人訪問，該怎么辦？使用自動掃描工具可以快速掃描公共云資產(chǎn)以查找安全盲點，從而?更輕松地降低這些風險。
在復雜的大數(shù)據(jù)生態(tài)系統(tǒng)中，加密的安全性需要采用集中式密鑰管理方法，以確保有效地以策略驅(qū)動的方式處理加密密鑰。集中式密鑰管理還可以控制從創(chuàng)建到密鑰輪換的密鑰治理。對于在云中運行大數(shù)據(jù)工作負載的企業(yè)來說，自帶密鑰 (BYOK) 可能是最佳選擇，它允許集中式密鑰管理，而無需將加密密鑰創(chuàng)建和管理的控制權(quán)移交給第三方云提供商。?
在大數(shù)據(jù)管道中，數(shù)據(jù)從許多不同的來源獲取，包括來自社交媒體平臺的流數(shù)據(jù)和來自用戶終端的數(shù)據(jù)，因此流量不斷流動。網(wǎng)絡流量分析可以查看網(wǎng)絡流量和任何潛在異常，例如來自物聯(lián)網(wǎng)設備的惡意數(shù)據(jù)或正在使用的未加密通信協(xié)議。?
2021 年的一份報告發(fā)現(xiàn)，98%的組織感到容易受到內(nèi)部攻擊。在大數(shù)據(jù)背景下，內(nèi)部威脅對敏感公司信息的機密性構(gòu)成嚴重風險。有權(quán)訪問分析報告和儀表板的惡意內(nèi)部人員可能會向競爭對手透露見解，甚至出售其登錄憑據(jù)。進行內(nèi)部威脅檢測的一個好方法是檢查常見業(yè)務應用程序（例如 RDP、VPN、Active Directory 和端點）的日志。這些日志可以揭示值得調(diào)查的異常情況，例如意外的數(shù)據(jù)下載或異常的登錄時間。
威脅搜尋會主動搜索網(wǎng)絡中未被發(fā)現(xiàn)的威脅。此過程需要經(jīng)驗豐富的網(wǎng)絡安全分析師的技能，利用來自現(xiàn)實世界攻擊、威脅活動的情報或關聯(lián)來自不同安全工具的發(fā)現(xiàn)來制定有關潛在威脅的假設。具有諷刺意味的是，大數(shù)據(jù)實際上可以通過揭示大量安全數(shù)據(jù)中隱藏的見解來幫助改善威脅搜尋工作。但作為提高大數(shù)據(jù)安全性的一種方式，威脅搜尋會監(jiān)控數(shù)據(jù)集和基礎設施，以查找表明大數(shù)據(jù)環(huán)境受到威脅的工件。
出于安全目的監(jiān)控大數(shù)據(jù)日志和工具會產(chǎn)生大量信息，這些信息通常會出現(xiàn)在安全信息和事件管理 (SIEM) 解決方案中。鑒于大數(shù)據(jù)環(huán)境中通常會高速生成大量數(shù)據(jù)，SIEM 解決方案容易出現(xiàn)誤報，分析師會被太多警報淹沒。理想情況下，某種事件響應工具可以提供安全威脅的背景信息，從而實現(xiàn)更快、更高效的事件調(diào)查。?
用戶行為分析比內(nèi)部威脅檢測更進一步，它提供了一套專用的工具來監(jiān)控用戶在與之交互的系統(tǒng)上的行為。通常，行為分析使用評分系統(tǒng)來創(chuàng)建正常用戶、應用程序和設備行為的基線，然后在偏離這些基線時向您發(fā)出警報。借助用戶行為分析，您可以更好地檢測內(nèi)部威脅和受損的用戶帳戶，這些威脅到大數(shù)據(jù)環(huán)境中資產(chǎn)的機密性、完整性或可用性。
未經(jīng)授權(quán)的數(shù)據(jù)傳輸?shù)目赡苄宰尠踩鞴芤共荒苊?，尤其是當?shù)據(jù)泄露發(fā)生在大數(shù)據(jù)管道中時，因為大數(shù)據(jù)管道中可能復制大量潛在敏感資產(chǎn)。檢測數(shù)據(jù)泄露需要深入監(jiān)控出站流量、IP 地址和流量。首先要防止數(shù)據(jù)泄露，需要使用能夠發(fā)現(xiàn)代碼中的有害安全錯誤和錯誤配置的工具以及數(shù)據(jù)丟失防護和下一代防火墻。另一個重要方面是教育和提高組織內(nèi)部的意識。
框架、庫、軟件實用程序、數(shù)據(jù)提取、分析工具和自定義應用程序 — 大數(shù)據(jù)安全始于代碼級別。?無論您是否實施了上述成熟的安全最佳實踐，代碼中的有害安全錯誤都可能導致數(shù)據(jù)泄露。?
因此，如果您是負責組織大數(shù)據(jù)管道的開發(fā)人員或工程師，您需要一個解決方案來快速準確地掃描專有、自定義和開源代碼，以查找環(huán)境中暴露的 API 密鑰、令牌、憑據(jù)和錯誤配置。從安全的代碼庫開始，大數(shù)據(jù)安全的挑戰(zhàn)就變得不那么可怕了。
文章來源：10 Essentials for Big Data Security
