게시 됨 업데이트 됨Projects / AptManagement

아파트 온도, 습도, 전력 실시간 데이터 관리 프로젝트 마무리하며.

아파트 실시간 데이터 관리 프로젝트를 마무리하며 느꼈던점

Node.js를 기반으로한 협업을 통해? 사실 현업에 계신 분 2명과 취준생 2명이 모인 스터디라 현업 개발자 분들 께서 많은 정보와 팁을 알려주신 재능기부 현장느낌이였다. 하지마 어디서도 들을 수 없는… 그런 정보들을 얻는 기회였다고 생각한다. 물론 프로젝트를 그분들께 의존하지는 않았다. 기본적인 세팅과 아이디어를 제공해주시고 거의 2명이 만든 그런 느낌이였다.

Mqtt라는 통신기법에 대해 처음 알게되었고 어떤 기능을 위해 여러가지 고려하여 다양한 선택을 하는 생각의 폭을 넓힐 수 있는 좋은 경험으로 생각된다. 무턱대고 기능을 위해 내가 아는 것만 활용하여 물론 아는것이 많지도 않다. 하지만 틀에 갖혀서 개발하는 것보다 기능을 위해 많은 것을 생각하고 고려하면 또다른 방향으로도 더 좋은 결과를 낳을 수 있다는 것을 느끼는 프로젝트 였다.

또한 과연 내가 백엔드 개발자를 꿈꾸지만 그에 맞는 준비를 하고 있었는가 그냥 무턱대고 코드만 치며 내것이 되었다라고 생각하던 것은 아니였을까 라는 의문을 나에게 던지는 값진 시간이 되었다.

좋은 결과물을 위해서는 많은 공부와 시간을 투자할 준비가 되어있어야 한다. 새로운 것에 대한 도전 그리고 알아가기 위해 노력하는 자세 또 그것을 내 것으로 만들 준비 이러한 덕목이 앞으로 개발자가 되기 위해 내가 준비하는 과정에서 가장 중요하지 않을까 라는 생각이 들었던 프로젝트였다.

지난 프로젝트들을 정리하며 그때 내가 생각했던것을 정리하고 다시 생각을 해보며 그때 생각한 것을 나는 지키고 있는가. 모든 다짐을 지키지는 못했지만 이때 다짐했던 하나의 결과를 위해 고민을 수없이 하고 의문을 가지고 기능 구현에 안주하지 않는 자세를 지금까지 갖고 있었구나 라는 생각을 하게 된다. 어쩌면 프로젝트를 진행하는 과정에서 사용하는 기술, 언어, 모듈에 대한 이해도 모두 중요하지만 이러한 과정에서 나를 발전시킨 것이 아니였을까. 또 아직 더 발전해야 하는 나의 모습을 더욱 앞으로 나아가게 하는 과정이라고 생각된다.

 게시 됨 업데이트 됨Projects / AptManagement

아파트 온도, 습도, 전력 실시간 데이터 관리 프로젝트 Part 2.

스케줄러를 통한 이메일 보내기 기능 구현

사용자의 실시간 데이터를 서버로 전송받고 데이터베이스에 저장하여 쌓인 데이터를 연산하여 사용자에게 특정한 일자에 보내도록 하는 기능을 제공하기로 했다.

가장 먼저 생각한 방식이자 이상적인 방법이였던 카카오톡으로 전송하기는 토이 프로젝트이기에 사업자 번호 등 카카오에서 요구하는 조건에 부딧혀 포기하고 구글 이메일 보내기로 방향을 틀게 되었다.

구상하는 방식은 이렇다.

  1. 매월 1일 자정에 모든 동 호수의 데이터를 그래프로 그린다.
  2. 각 호수별 사용자이자 입주민이라는 가정하에 그래프 이미지를 이메일로 매월 1일 00시 15분에 발송한다.

스케줄러 활용

우리는 node-schedule모듈을 활용하여 스케줄러를 작성하여 메일을 발송하기로 했다.

  1. 그래프 이미지 그리기
  • 모든 집의 데이터를 각각 그래프로 그려 이미지로 파일로 저장
그래프 그리기 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
const get_month = () => {
	const today = new Date();
	return today.getMonth() + 1;
}

// 아파트 단지, 동, 호 일별 데이터 가져오기
const sensorData = async (Complex, Dong, Ho) => {
    let exData = await apt_Info.sensorFind(Complex, Dong, Ho);
    return exData;
};

// 아파트의 모든 단지 동 호 정보 가져오기
const basename = async () => {
    const aptInfo = await apt_Info.aptFind();
    
    for(let i=0; i < aptInfo.length; i++) {
        // 파일 이름 지정  => ex) 단지 동 호.png
        let fileName = `${aptInfo[i].AptDong.apt_complex}${aptInfo[i].AptDong.apt_dong}${aptInfo[i].apt_ho}`; 
        // 단지, 동, 호의 센서 데이터 받아오기.
        let data = await sensorData(aptInfo[i].AptDong.apt_complex, aptInfo[i].AptDong.apt_dong, aptInfo[i].apt_ho);

        // 차트를 그리기위한 날짜, 데이터 별 배열 분리
        let dateArray = []; 
        let humiArray = [];
        let tempArray = [];
        let wattArray = [];
        data.map((sensor) => {
            let newDate = new Date(sensor.dataValues.date);
            dateArray.push(dateAndTime.format(newDate, 'MM-DD'));
            tempArray.push(sensor.dataValues.humidityAVG);
            humiArray.push(sensor.dataValues.temperatureAVG);
            wattArray.push(sensor.dataValues.electricitySUM);
        });
        
        // 차트 그리기 함수로 파일 이름과 데이터 배열 전달
        humiChart(fileName, humiArray, dateArray);
        tempChart(fileName, tempArray, dateArray);
        wattChart(fileName, wattArray, dateArray);
    };
    console.log("차트 그리기 시작");
    logger.info('create chart');
};

// 아파트 모든 세대의 전력 차트 그리기
const wattChart = (fileName, data, date) => {
    const filewatt = fileName + "watt.png";
    saveChart(filewatt, "Watt", data, date);
};

// 아파트 모든 세대 온도 차트 그리기
const tempChart = (fileName, data, date) => {
    const filetemp = fileName + "temp.png";
    saveChart(filetemp, "Temp", data, date);
};

// 아파트 모든 세대 습도 차트 그리기
const humiChart = (fileName, data, date) => {
    const filehumi = fileName + "humi.png";
    saveChart(filehumi, "Humi", data, date);
};

//차트그리기 스케줄러
const drawChart = () => {
    // 매달 자정에 파일 생성
    const jobs = schedule.scheduleJob('0 0 01 * *', function() {
        basename();
    });
};

이미지 그리기 코드

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
const ChartJsImage = require('chartjs-to-image');
const fs = require('fs');

const chart = new ChartJsImage();

const days = function(month,year) {
	return new Date(year, month, 0).getDate();
};

const get_Month = () => {
	const today = new Date();

	return today.getMonth() + 1;
}

const makeFolder = (dir) => {
	try {
		if (!fs.existsSync(dir)) {
			fs.mkdirSync(dir)
		}
	} catch (err) {
		console.error(err)
	}
}

const saveChart = async (filename, type, data, date) => {
    // 차트 label 지정
	const labels = date;
    // 차트 그리기
	chart.setConfig({
		type: 'line',
		data: { labels: labels, datasets: [{ label: type, data }] },
	});

    // 월별 / 데이터별 파일 구분하기
	const folderName = './data/' + (get_Month() - 1);
    const monthPath = folderName + '/' + type;
	// Write file to disk
	makeFolder(folderName);
    makeFolder(monthPath);
	await chart.toFile(monthPath + "/" +  filename);
}

module.exports = saveChart;

각각의 파일은 월별 / 데이터 종류로 구분되어 저장되고 저장된 이미지를 사용자에게 전송한다.

  1. 이메일 보내기
이메일 보내기 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
// 이메일 보내기 스케줄러 시간 지정 
const mailResult = async () => {
    const userinfo = await User.findAll({
        attributes: ['uemail', 'apt_ho'],
        include: {
            model: AptHo,
            include: {
                model: AptDong,
            }
        },
    });
    userinfo.map((user) => {
        let emailParam = {
            toEmail: `${user.uemail}`,
            subject: `${get_month() -1}월 사용량입니다.`,
            text: `${get_month() - 1}월 사용량입니다.`,
            // ex)1단지101동101호
            name: `${user.AptHo.AptDong.apt_complex}${user.AptHo.AptDong.apt_dong}${user.AptHo.apt_ho}`,
            month: get_month() - 1,
        };
        
        // const rule = new schedule.RecurrenceRule();
        // const m = 50;
        // rule.minute = m;

        // 매달 1일 0시 15분 이메일 보내기 실행
        const j = schedule.scheduleJob('13 13 02 * *', function() {
        // const j = schedule.scheduleJob(rule, async function() {
            console.log("send mail");
            // await basename();
            logger.info('send mail');
            mailSender.sendGmail(emailParam);
        });
    });
};

테스트를 위해 시간을 조정하여 진행하였고 스케줄러 시간 부분만 원하는 시간으로 조정하면 정상적으로 전송이 된다.

결과


 게시 됨 업데이트 됨Projects / AptManagement

아파트 온도, 습도, 전력 실시간 데이터 관리 프로젝트 Part 1.

아파트 실시간 데이터 관리 프로젝트

아파트 실시간 데이터를 전송받아 저장하고 사용자에게 데이터를 제공하는 서비스를 만들어보았다.
Node.js, express를 기반으로 하여 서버를 구성하고 사용자가 데이터를 볼 수 있는 View는 기본적인 html로 구성하여 백엔드 구축을 중점으로 한 프로젝트이다.

실시간 데이터를 전송받기 위해 선택한 통신방법은 MQTT통신을 사용하였다.
소켓 통신을 통해 실시간 데이터 처리를 하려했던 과정에서 MQTt통신으로 방법을 변경하게 된 이유는 다음과 같은 이유였다.

  1. Socket 과 Mqtt 통신 모두 실시간으로 데이터를 전송 할 수 있지만 Socket은 데이터의 전송을 하고 응답을 기다리고 있다.
    하지만 우리의 프로젝트는 실시간 데이터를 전송만 받을 뿐 다시 응답을 돌려 주지 않기 때문에 필요없는 자원이 소모된다. 그러나 Mqtt통신은 데이터의 전송을 하지만 응답을 대기하지 않는다.
  2. 실시간 통신을 위한 서버와의 연결이 비정상적으로 해제 되었을 때 Socket은 재 연결 까지 전송 받아야 하는 데이터가 유실된다. 반면 Mqtt통신은 연결이 해제 되어도 데이터를 연결이 될 때까지 보관 후 연결시 순차적으로 전송해주기 때문에 유실 가능성이 적다.
  3. 프로젝트에서 가공하는 데이터가 온도, 습도, 전력 과 같은 데이터이기 때문에 아두이노 같은 IOT기기에 적합한 통신 방법을 사용해 보기 위해서

그렇다면 WebSocket과 Mqtt는 무엇이 다른가???

  1. WebSocket이란 TCP기반 소켓 통신을 대체할 목적에서 등장한 양방향 통신기법이다.
  2. Mqtt란 저전력, 신뢰할 수 없는 네트워크 등의 상황에서 사용하는 메시징 프로토콜이다.

두가지 모두 실시간 통신이 가능하지만 두 방식을 직접 적으로 비교할 수는 없다고 한다. 이유를 알아보니 통신 레벨의 차이와 mqtt는 통신 프로토콜에 의존하지 않으며 패킷 구조로 데이터를 전송하는 차이점이 있다. 간단하게 두가지의 차이점을 알아보고 우리는 왜 Mqtt를 선택하여 실시간 온도 등의 데이터를 전송받기로 했는가에 대한 이유를 알아보자.

자세히 보기
HOME

링크

카테고리

최근 글

태그

CodeDeploy2
Docker6
Node.js3
Nodejs15
Passport1
PostgreSQL3
Projects8
Regexp1
Ruby7
Ruby on Rails3
SQLD4
TypeORM4
aws8
aws-serverless-express2
ec27
express8
github5
javascript15
lambda2
rubymine1
sequelize3
webstorm1
×