Lam's Blog

Sow nothing, reap nothing.

Ubuntu16.04 下多節點集群的 Spark 及 Hadoop HDFS 安裝、配置及運行（二）

多節點集群的 Spark + HDFS 部署

前言 本文是 Spark + HDFS 系統的第二篇文章，第一篇介紹了 Spark 以及 Hadoop 的安裝，在本文章（二）中會介紹如何在多節點的集群上進行設置以及部署。 *文章中部分名詞在解釋概念時因方便讀者理解並沒有採用 Spark/HDFS 的專用名詞，採用了便能意會的詞彙如 master/slave 等。 前置工作 Spark 和 HDFS 的部署十分簡單，但是我們需要做一...

Posted by laochanlam on May 18, 2020

Ubuntu16.04 下多節點集群的 Spark 及 Hadoop HDFS 安裝、配置及運行（一）

多節點集群的 Spark + HDFS 安裝

前言 本系列文章利用多台機器建立 HDFS 以及 Spark 服務。若你只需要使用 Spark，可以不必額外進行 Hadoop 的安裝，但由於筆者有 HDFS + Spark 的需求，而且 HDFS 是在 Hadoop 裡面，所以把 Hadoop 也一併裝上。 本文所示範的例子使用的是 Hadoop2.7 + Spark2.4。 JAVA 版本 要配置 HDFS 或使用 Hadoop ...

Posted by laochanlam on May 18, 2020

暗網和洋蔥路由

暗網和洋蔥路由

暗網和洋蔥路由 暗網一詞，素來給人感覺恐懼且神秘，尤其是在近年恐懼小說作家及媒體的大肆渲染下，使“暗網”一詞增添了不少邪惡的色彩元素。各種犯罪行為，都市傳說，人類內心最陰暗的部分，傳說都能夠暗網裡找得到，甚至有人說暗網中所提供的網站佔全部網站的 96%（笑）。 那麼，到底什麼才是暗網？ 0x00 暗網 暗網，是指相對於一般表層網絡之下，需要使用特殊的配置方式或協議才能進入的“深層...

Posted by laochanlam on December 3, 2018

使用 Ubuntu + Nginx + NameCheap 輕鬆架站

使用 Ubuntu + Nginx + NameCheap 輕鬆架站

前言 若你希望能夠使用自己家中的電腦架設一個像 www.google.com 一般的網頁但又無從入手，那麼這篇文章十分適合你。 事先準備 一個固定的 Public IP 一個 Web Server — Nginx 一個 Domain Name — NameCheap Public IP 我們先來說IP 的概念，主要來說，IP 代表著你在網絡上的”地址”，只要你的設備有連...

Posted by laochanlam on February 16, 2018

使用 RYU 實現簡易 Switch

使用 RYU 實現簡易 Switch

前言 RYU 相比起其他主流的 Controller 來說，的確是十分容易上手，方便易用，而且是用 Python 寫成，可讀性十分高，接下來讓我們從範例開始，一步一步深入學習！ 事先準備 模擬網絡環境的 Mininet， sudo apt-get install mininet 以及本次教學所使用的控制器 Ryu， pip install ryu 完成就可以開始囉！ 從範例開始！ ...

Posted by laochanlam on November 17, 2017

ONOS 從零入門教學 （應用程式新增，安裝及測試）

ONOS 從零入門教學 （應用程式新增，安裝及測試）

前言 話說最近需要開發一個 SDN 環境下的應用，打算趁這個機會學習 ONOS，在開始了良久之後，悟透了一個道理，就是 RYU 真的很方便，嗯。 要怎樣開始？ 第一步當然是要把 ONOS 的 Source Code 抓下來囉～ $ git clone https://gerrit.onosproject.org/onos 然後把 onos 中備有的 script 加入自己的 .bas...

Posted by laochanlam on September 16, 2017

FEATURED TAGS
SDN SPARK HADOOP HDFS BIGDATA
ABOUT ME

/*      Lao Chon Lam      */

✉️ laochanlam@gmail.com