機械学習2014_ML2014
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[FrontPage]]
*スケジュール [#o6e1f7ed]
-順番としては下記のように進みますが項目と日付の対応は進捗...
-4/21 機械学習概論, 特徴量の導入と非線形回帰、
-4/28 推薦アルゴリズム(ゲスト講師: 産総研・神嶌敏弘)
-5/12 過学習、オッカムの剃刀、交差検定
-5/19 回帰におけるL2-正則化, L1-正則化【レポート・教師つ...
-5/26 識別モデルと生成モデル,Vapnikの原理,
-6/2 logistic回帰
-6/9 k-means, 多変量正規分布、 混合正規分布とEM
-6/16 主成分分析
-6/23 休講
-6/30 期末試験
*計算機演習 [#v5c8ce16]
-&ref(機械学習(回帰)計算機演習(20140410).pdf);
**演習課題 [#f5d4f78d]
-まずは授業スライドを読んで課題を理解し、添付の二つのソー...
-&ref(polynomial.m);
-&ref(LR_for_class_sin.m);
***提出について [#sc08efb6]
-レポートは6/2 に、機械学習の授業時に提出してください。紙...
**(参考)過去のレポートに対するコメント [#k729d98d]
***演習1 [#pd6647f4]
-λの値が書かれていないレポートが多かったです
-λ=0のリッジ回帰は通常の回帰です
-選択したパラメータの良し悪しを，グラフの概形だけで判断し...
-Nを可制御なユーザパラメタととらえている人がいましたが，...
***演習2 [#s2dc88f7]
-結論だけを書いている人がいましたが，どのような実験の結果...
-k-fold交差検定で求めている人もいました．こちらの方が手間...
-λ=0が常に最良(リッジ回帰には意味がない)としている人もい...
***演習4 [#q7f8e0fb]
-原則として，ソースコードのコメント通り(以下)なのですが，...
*配布資料等 [#e12940cc]
**資料 [#lfa4adb1]
//-&ref(機械学習(混合正規分布とEM)(20130530).pptx.pdf);
-&ref(機械学習(主成分分析)(20130530).pdf);
-&ref(機械学習(正規分布)(20140529).pdf);
-&ref(機械学習(k-means)(20140525).pdf);
-&ref(機械学習(分類)(20140509).pdf);
-&ref(機械学習(回帰)(20140410).pdf);
-&ref(機械学習(概論)(20140410).pdf);
**演習解答(全問回答があるわけではありません) [#b3d5659f]
//-&ref(機械学習演習回答(主成分分析)(20130615).pdf);
//-&ref(機械学習演習回答(正規分布)(20130615) .pdf);
//-&ref(機械学習演習回答(概論・回帰)(20130513).pdf);
//-&ref(機械学習演習回答(回帰・追加課題)(20130419).pdf);
-&ref(第六回演習課題解答((b)まで).pdf);
-&ref(第五回演習課題解答.pdf);
*コメント等 [#d9172f1d]
**第八回 [#ed0c293b]
***正規分布 [#n80d9980]
-共分散行列のスケールはベクトルの長さという理解で良い？
***主成分分析 [#x159ef51]
-必ずしも分散が大きい方が良い訳ではないのでは？
***k-means [#c544c16e]
-データ数が大きくなるとk-meansは計算コストが非常に大きく...
***misc [#ndc70e25]
-理論は分かったが、実際にデータをどのように使うか考えるの...
-触れなかった部分(混合正規分布やカーネル)の講義資料を公開...
-編入後の講義で一番面白かった
-コンビニの問題について、データマイニングのプロである先生...
**第七回 [#z38a47c0]
*** ロジスティック回帰[#n9637774]
-Xは &tex($\mathbf{X} = \begin{pmatrix} \mathbf{x}_{1}^{T...
-ロジスティック回帰をどういう事例で使うのか具体的に知りたい
***k-means [#pe9186a7]
-k-means は収束が遅そう
-ユークリッド以外の距離はどんなものがある？
-クラスタリング楽しい、直感的に分かり易い
***正規分布 [#c82d4804]
-もう少し具体的に分散と共分散の違いを説明して欲しい
***「海賊小僧ファンかどうかを予測する」の演習[#ydb1a4d9]
-&tex($\mbox{sgn}(f(x))$);が-1になるということは&tex($f(\...
-追加で集めるデータの例として、グッズを買ったかどうかが挙...
-後半の立式が分からなかった
-「~な人間がファンである」や「実際のファンのサンプルデー...
-「海賊小僧」の関連商品があるかどうかあやふやではないか。...
***計算機演習(演習２、データに適した回帰パラメータの選択...
-正則化しない方がテスト誤差が小さくなったが、これはなぜ？
-パラメータの決め方がよく分からなかった。
-次元Dがこの演習でどのような役割を果たしているのか？
***misc [#gce6474f]
-県には順序がないので 1-of-k 表記が良いとのことだったが、...
**第六回 [#jb362a33]
***ロジスティック回帰 [#r7917a35]
-交差エントロピーは何が交差しているのか？
-(導出で)&tex($\frac{\partial}{\partial x}(w^{T}x)=x$);と...
-演習 9 (a) の始まりは &tex($\frac{\partial}{\partial x}$...
-最尤推定などで log をとると収束が早くなるのか？最急降下...
-最急降下法、ニュートン法の部分で、領域の形によってεが大...
-収束判定の部分で、代入をして 0 になるのではなく、動きが...
-ニュートン法でヘシアンが 0 になったときはどうするのか？
-最急降下法は、必ず最適解が求まるわけではなく、局所解にな...
***宿題 [#m0ae928c]
-期末問題の回答 1 は複数あるという解釈でよいのか？
-データの選択とは、独立変数と従属変数になり得そうなデータ...
***misc [#nbf22420]
-配布された教師なし学習の資料を見たが、台風の雲の配置は「...
-勾配がまだよく理解できない部分がある
-欲しいデータがない辛さ
**第五回 [#k47fc77d]
***ロジスティック回帰 [#s31c8275]
-ロジスティック回帰の予測において&tex($\sigma(w^{T} x)$);...
-ロジスティック回帰の問題では 1 になる確率を求めたが、0 ...
-p55の数値例で、&tex($w_{0}, w_{1}$);の二つのモデルのうち...
***損失関数 [#hecbd2ab]
-損失というのは結局、分析に与える影響のこと？
-ヒンジ損失関数は&tex($\exp(-ax)$);などに置き換えられる？
***講義 [#v2289a82]
-演習に時間がかかりすぎていると思うので、宿題にして答え合...
-期末試験の問題を見たら目眩がした
***misc [#pde0e51b]
-尤度の値は大きい方がより尤もらしいのか？
-SVMでは決定境界をどう決めているのか？
-決定的識別モデルでは損失関数という形ではっきりした値が出...
**第四回 [#ffda2d0d]
**多クラス [#q2c5b8cd]
-多クラスの損失関数はどうするか？→授業で
-2値分類を発展させていけば多値分類も可能？→授業で
**損失関数 [#y70a9b2e]
-理想的な損失関数は微分出来ないのは意外→できたららくなん...
-理想的な損失関数の変形→授業で
-（損失関数を”二乗誤差"にしたときに、モデルがはずれ値に）...
**k-NN [#wb2752e8]
-分類が少ない場合(?), k-近接法は他に比べて有効なのか？→多...
-k近接法のkの決め方→交差検証を使います
**misc [#u202e6b9]
-回帰と分類、結局何に使うのか？→各スライドの冒頭に例を出...
-過剰にマッチしている値もはずれ値として除外すべきなのでは...
-分類で、線（決定境界）上の点をどう処理するか→現実的には...
**第三回 [#o27861fc]
**演習 [#s46d1d46]
-演習の訓練誤差とテスト誤差の違いがわからない、どうしてt=...
-電卓つかいます→是非使ってください
**汎化誤差 [#of915f63]
-テストデータはp(x)から発生しているがp(x)は未知。なぜテス...
-汎化誤差というのは未知のデータに予測誤差がどれぐらあるか...
-どうせ求められないなら汎化誤差はいらない？テスト誤差だけ...
-汎化誤差は積分をするので二乗する意味はない？→積分だって...
-訓練誤差と汎化誤差の関係(p50)は常になりたつ？→なかなかす...
-汎化誤差を求めるときにfをつかいますが、fは未知なのでは？...
**特徴量 [#e33734c3]
-ガウスカーネルの定義おしえて→授業で
-特徴量で線形分離可能にするのはすばらしいアイディア→私も...
-過学習はどんなときに発生するのか？→特徴量の次元数が高い...
-四角い図の意味がわからなかった→どれ？？？
-データに異常値がふくまれていたりサンプル数が小さいとうま...
-(回帰の図で)横軸が何を表しているかわかりません。横軸は、...
**k-fold交差検証 [#g8af222a]
-k-fold交差検証は分割ごとに学習を行う？→そのとおり
-k-fold交差検証のkはどうやってきめる？→kは大きければ大き...
**漸近性 [#mdfb2216]
-n個のパラメータで、どの程度の次数でモデルをこうちくする...
-サンプル近似によるテスト誤差はどの程度信頼できるのか？&t...
**misc [#sf2c38cd]
-正則はオートマトンや線形代数でもでてくるが？→線形代数の...
-ノンパラメトリックな手法は教師付き学習？→k-NNは教師付き...
** 第二回 [#qa5aee04]
-協調フィルタリングとコンテンツベースフィルタリングのハイ...
-大量のデータを一度に処理する場合，メモリ上に全て展開でき...
** 第一回 [#c5e42534]
-回帰の問題で，縦軸が y と t 両方使っていて，その使い分け...
-∇_x f と ∇f は同じ意味？ ∇_x の添字の x は，x で微分する...
-勾配の表記は&tex($\begin{pmatrix} a \\ b \end{pmatrix}$)...
-良いデータを選択するセンスは，様々なデータに触れる経験か...
-データの測定ミスなどで大きくずれた値があると線形回帰では...
-線形回帰におけるベクトル &tex($\mathbf{w}$);は何と呼べば...
***misc [#wce3a11f]
-オフィスアワーの時間が知りたい→月曜13時-14時半、SB1006で...
-ベクトル解析の授業が受けたい場合，どの学類の授業が良いか...
-演習と課題のどちらが成績に加わるのか？ → 演習は回収した...
**評価 [#i1d79676]
-毎回簡単な演習があります．時間があれば授業時間内に演習を...
-毎回出席をとります 出席点は評価の30%を占めます
-レポートが1回あります。 レポートはMatlabを使った演習を含...
-期末テストをします 評価の60%を占めます
--期末テストは手書き資料A4二枚に限り持込可です
**参考文献 [#q5069837]
- 機械学習をちゃんとマスターしたい人は... [[これ>http://w...
- 入門的には... [[これ>http://www.amazon.co.jp/%E8%A8%80%...
-そのほか，線形代数や確率・統計の本は一冊はもっておいた方...
終了行:
[[FrontPage]]
*スケジュール [#o6e1f7ed]
-順番としては下記のように進みますが項目と日付の対応は進捗...
-4/21 機械学習概論, 特徴量の導入と非線形回帰、
-4/28 推薦アルゴリズム(ゲスト講師: 産総研・神嶌敏弘)
-5/12 過学習、オッカムの剃刀、交差検定
-5/19 回帰におけるL2-正則化, L1-正則化【レポート・教師つ...
-5/26 識別モデルと生成モデル,Vapnikの原理,
-6/2 logistic回帰
-6/9 k-means, 多変量正規分布、 混合正規分布とEM
-6/16 主成分分析
-6/23 休講
-6/30 期末試験
*計算機演習 [#v5c8ce16]
-&ref(機械学習(回帰)計算機演習(20140410).pdf);
**演習課題 [#f5d4f78d]
-まずは授業スライドを読んで課題を理解し、添付の二つのソー...
-&ref(polynomial.m);
-&ref(LR_for_class_sin.m);
***提出について [#sc08efb6]
-レポートは6/2 に、機械学習の授業時に提出してください。紙...
**(参考)過去のレポートに対するコメント [#k729d98d]
***演習1 [#pd6647f4]
-λの値が書かれていないレポートが多かったです
-λ=0のリッジ回帰は通常の回帰です
-選択したパラメータの良し悪しを，グラフの概形だけで判断し...
-Nを可制御なユーザパラメタととらえている人がいましたが，...
***演習2 [#s2dc88f7]
-結論だけを書いている人がいましたが，どのような実験の結果...
-k-fold交差検定で求めている人もいました．こちらの方が手間...
-λ=0が常に最良(リッジ回帰には意味がない)としている人もい...
***演習4 [#q7f8e0fb]
-原則として，ソースコードのコメント通り(以下)なのですが，...
*配布資料等 [#e12940cc]
**資料 [#lfa4adb1]
//-&ref(機械学習(混合正規分布とEM)(20130530).pptx.pdf);
-&ref(機械学習(主成分分析)(20130530).pdf);
-&ref(機械学習(正規分布)(20140529).pdf);
-&ref(機械学習(k-means)(20140525).pdf);
-&ref(機械学習(分類)(20140509).pdf);
-&ref(機械学習(回帰)(20140410).pdf);
-&ref(機械学習(概論)(20140410).pdf);
**演習解答(全問回答があるわけではありません) [#b3d5659f]
//-&ref(機械学習演習回答(主成分分析)(20130615).pdf);
//-&ref(機械学習演習回答(正規分布)(20130615) .pdf);
//-&ref(機械学習演習回答(概論・回帰)(20130513).pdf);
//-&ref(機械学習演習回答(回帰・追加課題)(20130419).pdf);
-&ref(第六回演習課題解答((b)まで).pdf);
-&ref(第五回演習課題解答.pdf);
*コメント等 [#d9172f1d]
**第八回 [#ed0c293b]
***正規分布 [#n80d9980]
-共分散行列のスケールはベクトルの長さという理解で良い？
***主成分分析 [#x159ef51]
-必ずしも分散が大きい方が良い訳ではないのでは？
***k-means [#c544c16e]
-データ数が大きくなるとk-meansは計算コストが非常に大きく...
***misc [#ndc70e25]
-理論は分かったが、実際にデータをどのように使うか考えるの...
-触れなかった部分(混合正規分布やカーネル)の講義資料を公開...
-編入後の講義で一番面白かった
-コンビニの問題について、データマイニングのプロである先生...
**第七回 [#z38a47c0]
*** ロジスティック回帰[#n9637774]
-Xは &tex($\mathbf{X} = \begin{pmatrix} \mathbf{x}_{1}^{T...
-ロジスティック回帰をどういう事例で使うのか具体的に知りたい
***k-means [#pe9186a7]
-k-means は収束が遅そう
-ユークリッド以外の距離はどんなものがある？
-クラスタリング楽しい、直感的に分かり易い
***正規分布 [#c82d4804]
-もう少し具体的に分散と共分散の違いを説明して欲しい
***「海賊小僧ファンかどうかを予測する」の演習[#ydb1a4d9]
-&tex($\mbox{sgn}(f(x))$);が-1になるということは&tex($f(\...
-追加で集めるデータの例として、グッズを買ったかどうかが挙...
-後半の立式が分からなかった
-「~な人間がファンである」や「実際のファンのサンプルデー...
-「海賊小僧」の関連商品があるかどうかあやふやではないか。...
***計算機演習(演習２、データに適した回帰パラメータの選択...
-正則化しない方がテスト誤差が小さくなったが、これはなぜ？
-パラメータの決め方がよく分からなかった。
-次元Dがこの演習でどのような役割を果たしているのか？
***misc [#gce6474f]
-県には順序がないので 1-of-k 表記が良いとのことだったが、...
**第六回 [#jb362a33]
***ロジスティック回帰 [#r7917a35]
-交差エントロピーは何が交差しているのか？
-(導出で)&tex($\frac{\partial}{\partial x}(w^{T}x)=x$);と...
-演習 9 (a) の始まりは &tex($\frac{\partial}{\partial x}$...
-最尤推定などで log をとると収束が早くなるのか？最急降下...
-最急降下法、ニュートン法の部分で、領域の形によってεが大...
-収束判定の部分で、代入をして 0 になるのではなく、動きが...
-ニュートン法でヘシアンが 0 になったときはどうするのか？
-最急降下法は、必ず最適解が求まるわけではなく、局所解にな...
***宿題 [#m0ae928c]
-期末問題の回答 1 は複数あるという解釈でよいのか？
-データの選択とは、独立変数と従属変数になり得そうなデータ...
***misc [#nbf22420]
-配布された教師なし学習の資料を見たが、台風の雲の配置は「...
-勾配がまだよく理解できない部分がある
-欲しいデータがない辛さ
**第五回 [#k47fc77d]
***ロジスティック回帰 [#s31c8275]
-ロジスティック回帰の予測において&tex($\sigma(w^{T} x)$);...
-ロジスティック回帰の問題では 1 になる確率を求めたが、0 ...
-p55の数値例で、&tex($w_{0}, w_{1}$);の二つのモデルのうち...
***損失関数 [#hecbd2ab]
-損失というのは結局、分析に与える影響のこと？
-ヒンジ損失関数は&tex($\exp(-ax)$);などに置き換えられる？
***講義 [#v2289a82]
-演習に時間がかかりすぎていると思うので、宿題にして答え合...
-期末試験の問題を見たら目眩がした
***misc [#pde0e51b]
-尤度の値は大きい方がより尤もらしいのか？
-SVMでは決定境界をどう決めているのか？
-決定的識別モデルでは損失関数という形ではっきりした値が出...
**第四回 [#ffda2d0d]
**多クラス [#q2c5b8cd]
-多クラスの損失関数はどうするか？→授業で
-2値分類を発展させていけば多値分類も可能？→授業で
**損失関数 [#y70a9b2e]
-理想的な損失関数は微分出来ないのは意外→できたららくなん...
-理想的な損失関数の変形→授業で
-（損失関数を”二乗誤差"にしたときに、モデルがはずれ値に）...
**k-NN [#wb2752e8]
-分類が少ない場合(?), k-近接法は他に比べて有効なのか？→多...
-k近接法のkの決め方→交差検証を使います
**misc [#u202e6b9]
-回帰と分類、結局何に使うのか？→各スライドの冒頭に例を出...
-過剰にマッチしている値もはずれ値として除外すべきなのでは...
-分類で、線（決定境界）上の点をどう処理するか→現実的には...
**第三回 [#o27861fc]
**演習 [#s46d1d46]
-演習の訓練誤差とテスト誤差の違いがわからない、どうしてt=...
-電卓つかいます→是非使ってください
**汎化誤差 [#of915f63]
-テストデータはp(x)から発生しているがp(x)は未知。なぜテス...
-汎化誤差というのは未知のデータに予測誤差がどれぐらあるか...
-どうせ求められないなら汎化誤差はいらない？テスト誤差だけ...
-汎化誤差は積分をするので二乗する意味はない？→積分だって...
-訓練誤差と汎化誤差の関係(p50)は常になりたつ？→なかなかす...
-汎化誤差を求めるときにfをつかいますが、fは未知なのでは？...
**特徴量 [#e33734c3]
-ガウスカーネルの定義おしえて→授業で
-特徴量で線形分離可能にするのはすばらしいアイディア→私も...
-過学習はどんなときに発生するのか？→特徴量の次元数が高い...
-四角い図の意味がわからなかった→どれ？？？
-データに異常値がふくまれていたりサンプル数が小さいとうま...
-(回帰の図で)横軸が何を表しているかわかりません。横軸は、...
**k-fold交差検証 [#g8af222a]
-k-fold交差検証は分割ごとに学習を行う？→そのとおり
-k-fold交差検証のkはどうやってきめる？→kは大きければ大き...
**漸近性 [#mdfb2216]
-n個のパラメータで、どの程度の次数でモデルをこうちくする...
-サンプル近似によるテスト誤差はどの程度信頼できるのか？&t...
**misc [#sf2c38cd]
-正則はオートマトンや線形代数でもでてくるが？→線形代数の...
-ノンパラメトリックな手法は教師付き学習？→k-NNは教師付き...
** 第二回 [#qa5aee04]
-協調フィルタリングとコンテンツベースフィルタリングのハイ...
-大量のデータを一度に処理する場合，メモリ上に全て展開でき...
** 第一回 [#c5e42534]
-回帰の問題で，縦軸が y と t 両方使っていて，その使い分け...
-∇_x f と ∇f は同じ意味？ ∇_x の添字の x は，x で微分する...
-勾配の表記は&tex($\begin{pmatrix} a \\ b \end{pmatrix}$)...
-良いデータを選択するセンスは，様々なデータに触れる経験か...
-データの測定ミスなどで大きくずれた値があると線形回帰では...
-線形回帰におけるベクトル &tex($\mathbf{w}$);は何と呼べば...
***misc [#wce3a11f]
-オフィスアワーの時間が知りたい→月曜13時-14時半、SB1006で...
-ベクトル解析の授業が受けたい場合，どの学類の授業が良いか...
-演習と課題のどちらが成績に加わるのか？ → 演習は回収した...
**評価 [#i1d79676]
-毎回簡単な演習があります．時間があれば授業時間内に演習を...
-毎回出席をとります 出席点は評価の30%を占めます
-レポートが1回あります。 レポートはMatlabを使った演習を含...
-期末テストをします 評価の60%を占めます
--期末テストは手書き資料A4二枚に限り持込可です
**参考文献 [#q5069837]
- 機械学習をちゃんとマスターしたい人は... [[これ>http://w...
- 入門的には... [[これ>http://www.amazon.co.jp/%E8%A8%80%...
-そのほか，線形代数や確率・統計の本は一冊はもっておいた方...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
