-
全部專案項目
-
爬蟲
- 方案 1
-
方案 2
- 方案 2a
- 方案 2b
- 此處拖放檔案…
- 按此編輯…
- 李大仁
- 按此編輯…
-
工作成果
- 完成行動 1
- 完成行動 2
- 完成行動 3
-
行動 1
- 行動 1a
- 行動 1b
- 行動 2
- 行動 3
- 8/20
- 行動 4
- 行動 5
- 行動 6
-
解析
- 按此編輯…
- 王瑞凡
- 按此編輯…
- 方案 1
-
方案 2
- 方案 2a
- 方案 2b
-
工作成果
- 完成行動 1
- 完成行動 2
- 完成行動 3
- 下個月
-
行動 1
- 行動 1a
- 行動 1b
- 行動 2
- 行動 3
- 行動 4
- 行動 5
- 行動 6
- 此處拖放檔案…
-
專案 C
- 按此編輯…
- 林阿信
- 按此編輯…
- 方案 1
-
方案 2
- 方案 2a
- 方案 2b
-
工作成果
- 完成行動 1
- 完成行動 2
- 完成行動 3
- 不確定
-
行動 1
- 行動 1a
- 行動 1b
- 行動 2
- 行動 3
- 行動 4
- 行動 5
- 行動 6
- 此處拖放檔案…
-
浮動主題
-
分支主題 1
-
分支主題 1
-
分支主題 1
- 分支主題 1
- 分支主題 1
- 分支主題 1
-
爬蟲
-
公共設施地址資訊
-
說明
- 資料來源留紀錄 (網址)
- 資料清理(格式不限, 但是要結構化!!)
- 儲存
- 經緯度 優於 地址
-
加油站
- 十趴
-
警察局
- 十趴
-
YouBike
- 十趴
-
便利商店
- 帆
-
醫療
- 帆
-
百貨公司
- 帆
-
停車場
- 柏皓
-
學校
- 柏皓
-
消防局
- 柏皓
-
高速公路
- 周
-
火車站
- 周
-
三鐵、機場
- 周
-
墳墓
- 正傑
-
公園
- 正傑
-
圖書館、美術館、科博館
- 正傑
-
房屋
-
說明
-
資料庫名稱
- ex: 信義房屋網址 : http://www.sinyi.com.tw/
DB Name : sinyi.sqlite
-
資料表名稱、格式
- # create table
with sqlite3.connect('sinyi.sqlite') as conn:
c = conn.cursor()
qry = "Create Table rental (url text unique not null, soup text, nosql text, rdb text, getTime text )"
c.execute(qry)
conn.close()
-
爬資料後儲存
- 外頁儲存
- # 外頁儲存程式
# 網址
url = "http://rent.sinyi.com.tw/itemDetail.php?s=1&itemid=237065"
# 查詢是否存過, 否則執行 insertString
with sqlite3.connect('sinyi.sqlite') as conn:
c = conn.cursor()
# 執行查詢字串
queryString = "SELECT url FROM rental WHERE url = '" + url + "'"
c.execute(queryString)
if len(c.fetchall()) == 0:
# 執行insert字串
insertString = "INSERT INTO rental (url) VALUES ('" + url + "')"
print(insertString)
c.execute(insertString)
else:
print(url, '已經存過了')
conn.close()
- 內頁儲存
- insert into rental (url, soup, getTime) values ( <url> , <soup> , getTime)
-
好房網
- 十趴
-
信義房屋
- 十趴
-
住商不動產
- 帆
-
東森房屋
- 帆
-
二十一世紀
- 柏皓
-
太平洋房屋
- 柏皓
-
永慶房屋
- 周
-
中信房屋
- 周
-
有巢氏
- 正傑
-
591租屋
- 正傑
-
商家資訊
-
全國營業稅籍
-
抓檔
- 周
- 匯入
- 解散登記
- 清算登記
-
衍生商家資訊
- 基本欄位
- 分支主題 2
-
討論版
- mobile01
- ptt
-
ER Model
- 公共設施地址
- 房屋
- 商家資訊
-
討論版
- mobile01
- ptt
-
ER Model 實作
-
NoSQL
- 公共設施地址
- 商家
- 房屋
-
RDB
- 公共設施地址
- 商家
- 房屋
-
Extract
-
匯入nosql
-
資料清洗
- 公共設施地址資訊
-
房屋
- soup.select()出有用資訊
- 商家資訊
-
建模
- 學生族群
- 上班族
- 家庭
-
快樂上雲端(AWS/Azure/...)
- docker環境建置
- 資料爬取
- 匯入DB
-
資料呈現
-
網頁
-
前端
-
html
- 網頁框架
- 表單設計
-
css
- CSS簡易美化
-
JavaScript
- 地理定位API
- 使用者導覽
-
後端
- MySQL 資料select至前端
- 推薦系統
聊天機器人
- ElasticSearch
- UX測試